Обучение под присмотром

Парадигма машинного обучения

Обучение с учителем ( SL ) — это парадигма машинного обучения , в которой входные объекты (например, вектор переменных-предсказателей) и желаемое выходное значение (также известное как контрольный сигнал , помеченный человеком ) обучают модель. Обучающие данные обрабатываются, создавая функцию, которая сопоставляет новые данные с ожидаемыми выходными значениями. ^[1] Оптимальный сценарий позволит алгоритму правильно определить выходные значения для невидимых экземпляров. Это требует от алгоритма обучения «разумного» обобщения обучающих данных на невидимые ситуации (см. Индуктивное смещение ). Это статистическое качество алгоритма измеряется через так называемую ошибку обобщения .

Тенденция к использованию в задаче контролируемых и неконтролируемых методов. Названия задач, выходящие за границы круга, созданы намеренно. Это показывает, что классическое разделение творческих задач (слева) с использованием неконтролируемых методов размыто в современных схемах обучения.

Шаги, которые необходимо выполнить

Для решения данной задачи контролируемого обучения необходимо выполнить следующие шаги:

1. Определите тип обучающих примеров. Прежде чем делать что-либо еще, пользователь должен решить, какие данные будут использоваться в качестве обучающего набора. Например, в случае анализа почерка это может быть один рукописный символ, целое рукописное слово, целое рукописное предложение или, возможно, целый рукописный абзац.
2. Соберите тренировочный набор . Обучающий набор должен быть репрезентативным для реального использования функции. Таким образом, собирается набор входных объектов, а также собираются соответствующие выходные данные либо от экспертов, либо в результате измерений.
3. Определите входное представление изучаемой функции . Точность изученной функции сильно зависит от того, как представлен входной объект. Обычно входной объект преобразуется в вектор признаков , который содержит ряд признаков, описывающих объект. Число функций не должно быть слишком большим из-за проклятия размерности ; но должен содержать достаточно информации, чтобы точно предсказать результат.
4. Определите структуру изучаемой функции и соответствующий алгоритм обучения. Например, инженер может использовать машины опорных векторов или деревья решений .
5. Завершите дизайн. Запустите алгоритм обучения на собранном обучающем наборе. Некоторые алгоритмы обучения с учителем требуют от пользователя определения определенных параметров управления . Эти параметры можно настроить путем оптимизации производительности на подмножестве (называемом набором проверки ) обучающего набора или с помощью перекрестной проверки .
6. Оцените точность изученной функции. После настройки параметров и обучения производительность результирующей функции должна быть измерена на тестовом наборе , отдельном от обучающего набора.

Выбор алгоритма

Доступен широкий спектр алгоритмов обучения с учителем, каждый из которых имеет свои сильные и слабые стороны. Не существует единого алгоритма обучения, который лучше всего работал бы для всех задач обучения с учителем (см. теорему «Нет бесплатных обедов» ).

При контролируемом обучении необходимо учитывать четыре основных вопроса:

Компромисс смещения и дисперсии

Первый вопрос – это компромисс между предвзятостью и дисперсией . ^[2] Представьте, что у нас есть несколько разных, но одинаково хороших наборов обучающих данных. Алгоритм обучения является смещенным для конкретного входного сигнала , если при обучении на каждом из этих наборов данных он систематически неверен при прогнозировании правильного результата для . Алгоритм обучения имеет высокую дисперсию для конкретного входного сигнала, если он прогнозирует разные выходные значения при обучении на разных обучающих наборах. Ошибка прогнозирования обученного классификатора связана с суммой систематической ошибки и дисперсии алгоритма обучения. ^[3] Как правило, существует компромисс между предвзятостью и дисперсией. Алгоритм обучения с низким смещением должен быть «гибким», чтобы хорошо соответствовать данным. Но если алгоритм обучения слишком гибкий, он будет по-разному подходить к каждому набору обучающих данных и, следовательно, иметь высокую дисперсию. Ключевым аспектом многих методов обучения с учителем является то, что они способны регулировать этот компромисс между смещением и дисперсией (либо автоматически, либо путем предоставления параметра смещения/дисперсии, который может регулировать пользователь). ${\displaystyle x}$ ${\displaystyle x}$ ${\displaystyle x}$

Сложность функции и объем обучающих данных

Вторая проблема связана с объемом доступных обучающих данных относительно сложности «истинной» функции (классификатора или функции регрессии). Если истинная функция проста, то «негибкий» алгоритм обучения с высоким смещением и низкой дисперсией сможет изучить ее на небольшом объеме данных. Но если истинная функция очень сложна (например, потому что она включает в себя сложные взаимодействия между множеством различных входных функций и ведет себя по-разному в разных частях входного пространства), тогда функция сможет обучаться только с большим объемом парных обучающих данных. с «гибким» алгоритмом обучения с низким смещением и высокой дисперсией.

Размерность входного пространства

Третья проблема — размерность входного пространства. Если входные векторы признаков имеют большие размеры, изучение функции может быть затруднено, даже если истинная функция зависит только от небольшого числа этих признаков. Это связано с тем, что множество «дополнительных» измерений могут запутать алгоритм обучения и привести к его высокой дисперсии. Следовательно, входные данные больших размеров обычно требуют настройки классификатора для обеспечения низкой дисперсии и высокого смещения. На практике, если инженер сможет вручную удалить ненужные функции из входных данных, это, скорее всего, повысит точность изученной функции. Кроме того, существует множество алгоритмов выбора признаков , которые стремятся идентифицировать значимые признаки и отбросить ненужные. Это пример более общей стратегии уменьшения размерности , которая стремится отобразить входные данные в пространство меньшей размерности перед запуском алгоритма обучения с учителем.

Шум в выходных значениях

Четвертая проблема – это степень шума в желаемых выходных значениях (целевых переменных контроля ). Если желаемые выходные значения часто неверны (из-за человеческой ошибки или ошибок датчиков), то алгоритм обучения не должен пытаться найти функцию, которая точно соответствует примерам обучения. Попытка слишком тщательно подогнать данные приводит к переобучению . Вы можете переобучиться, даже если нет ошибок измерения (стохастический шум), если функция, которую вы пытаетесь изучить, слишком сложна для вашей модели обучения. В такой ситуации часть целевой функции, которую невозможно смоделировать, «искажает» ваши обучающие данные — это явление получило название детерминированного шума . Когда присутствует любой тип шума, лучше использовать систему оценки с более высоким смещением и меньшей дисперсией.

На практике существует несколько подходов к снижению шума в выходных значениях, таких как ранняя остановка для предотвращения переобучения , а также обнаружение и удаление зашумленных обучающих примеров перед обучением алгоритма обучения с учителем. Существует несколько алгоритмов, которые идентифицируют зашумленные примеры обучения, а удаление подозрительных зашумленных примеров обучения перед обучением снижает ошибку обобщения со статистической значимостью . ^{[4] [5]}

Другие факторы, которые следует учитывать

Другие факторы, которые следует учитывать при выборе и применении алгоритма обучения, включают следующее:

• Неоднородность данных. Если векторы признаков включают признаки разных типов (дискретные, дискретно упорядоченные, числовые, непрерывные значения), некоторые алгоритмы применять легче, чем другие. Многие алгоритмы, включая машины опорных векторов , линейную регрессию , логистическую регрессию , нейронные сети и методы ближайшего соседа , требуют, чтобы входные признаки были числовыми и масштабировались до аналогичных диапазонов (например, до интервала [-1,1]). Особенно чувствительны к этому методы, использующие функцию расстояния, такие как методы ближайшего соседа и машины опорных векторов с ядрами Гаусса . Преимущество деревьев решений заключается в том, что они легко обрабатывают разнородные данные.
• Избыточность данных. Если входные признаки содержат избыточную информацию (например, высококоррелированные признаки), некоторые алгоритмы обучения (например, линейная регрессия , логистическая регрессия и методы, основанные на расстоянии ) будут работать плохо из-за числовой нестабильности. Эти проблемы часто можно решить, введя некоторую форму регуляризации .
• Наличие взаимодействий и нелинейностей. Если каждая из функций вносит независимый вклад в выходные данные, то алгоритмы, основанные на линейных функциях (например, линейная регрессия , логистическая регрессия , машины опорных векторов , наивный Байес ) и функциях расстояния (например, методы ближайшего соседа , машины опорных векторов) с ядрами Гаусса ) обычно работают хорошо. Однако если между функциями существуют сложные взаимодействия, то такие алгоритмы, как деревья решений и нейронные сети, работают лучше, поскольку они специально разработаны для обнаружения этих взаимодействий. Линейные методы также могут применяться, но при их использовании инженер должен вручную указывать взаимодействия.

Рассматривая новое приложение, инженер может сравнить несколько алгоритмов обучения и экспериментально определить, какой из них лучше всего подходит для решения поставленной задачи (см. перекрестную проверку ). Настройка производительности алгоритма обучения может занять очень много времени. Учитывая фиксированные ресурсы, часто лучше потратить больше времени на сбор дополнительных обучающих данных и более информативных функций, чем тратить дополнительное время на настройку алгоритмов обучения.

Алгоритмы

Наиболее широко используемые алгоритмы обучения:

• Машины опорных векторов
• Линейная регрессия
• Логистическая регрессия
• Наивный Байес
• Линейный дискриминантный анализ
• Деревья решений
• Алгоритм K-ближайшего соседа
• Нейронные сети ( Многослойный перцептрон )
• Обучение по сходству

Как работают алгоритмы контролируемого обучения

Учитывая набор обучающих примеров такой формы , которая является вектором признаков -го примера и является его меткой (т. е. классом), алгоритм обучения ищет функцию , где — входное пространство, а — выходное пространство. Функция — это элемент некоторого пространства возможных функций , обычно называемого пространством гипотез . Иногда удобно использовать функцию оценки , которая определяется как возвращающая значение, дающее наивысший балл: . Пусть обозначает пространство скоринговых функций. ${\displaystyle N}$ ${\displaystyle \{(x_{1},y_{1}),...,(x_{N},\;y_{N})\}}$ ${\displaystyle x_{i}}$ ${\displaystyle i}$ ${\displaystyle y_{i}}$ ${\displaystyle g:X\to Y}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle g}$ ${\displaystyle G}$ ${\displaystyle g}$ ${\displaystyle f:X\times Y\to \mathbb {R} }$ ${\displaystyle g}$ ${\displaystyle y}$ ${\displaystyle g(x)={\underset {y}{\arg \max }}\;f(x,y)}$ ${\displaystyle F}$

Хотя и может быть любым пространством функций, многие алгоритмы обучения представляют собой вероятностные модели, которые принимают форму условно-вероятностной модели или принимают форму совместной вероятностной модели . Например, наивный байесовский и линейный дискриминантный анализ представляют собой модели совместной вероятности, тогда как логистическая регрессия представляет собой модель условной вероятности. ${\displaystyle G}$ ${\displaystyle F}$ ${\displaystyle g}$ ${\displaystyle g(x)={\underset {y}{\arg \max }}\;P(y|x)}$ ${\displaystyle f}$ ${\displaystyle f(x,y)=P(x,y)}$

Существует два основных подхода к выбору или : минимизация эмпирического риска и минимизация структурного риска . ^[6] Минимизация эмпирического риска ищет функцию, которая лучше всего соответствует данным обучения. Структурная минимизация риска включает штрафную функцию , которая контролирует компромисс между смещением и дисперсией. ${\displaystyle f}$ ${\displaystyle g}$

В обоих случаях предполагается, что обучающая выборка состоит из выборки независимых и одинаково распределенных пар , . Чтобы измерить, насколько хорошо функция соответствует обучающим данным, определяется функция потерь . Для примера обучения потеря прогнозирования значения равна . ${\displaystyle (x_{i},\;y_{i})}$ ${\displaystyle L:Y\times Y\to \mathbb {R} ^{\geq 0}}$ ${\displaystyle (x_{i},\;y_{i})}$ ${\displaystyle {\hat {y}}}$ ${\displaystyle L(y_{i},{\hat {y}})}$

Риск функции определяется как ожидаемая потеря . Это можно оценить на основе обучающих данных как ${\displaystyle R(g)}$ ${\displaystyle g}$ ${\displaystyle g}$

${\displaystyle R_{emp}(g)={\frac {1}{N}}\sum _{i}L(y_{i},g(x_{i}))}$.

Минимизация эмпирического риска

При минимизации эмпирического риска алгоритм обучения с учителем ищет функцию, которая минимизирует . Следовательно, алгоритм обучения с учителем может быть построен путем применения алгоритма оптимизации для поиска . ${\displaystyle g}$ ${\displaystyle R(g)}$ ${\displaystyle g}$

Когда условное распределение вероятностей и функция потерь представляет собой отрицательный логарифм правдоподобия: , тогда эмпирическая минимизация риска эквивалентна оценке максимального правдоподобия . ${\displaystyle g}$ ${\displaystyle P(y|x)}$ ${\displaystyle L(y,{\hat {y}})=-\log P(y|x)}$

Когда содержится много функций-кандидатов или обучающий набор недостаточно велик, минимизация эмпирического риска приводит к высокой дисперсии и плохому обобщению. Алгоритм обучения способен запоминать обучающие примеры без каких-либо обобщений. Это называется переоснащением . ${\displaystyle G}$

Структурная минимизация рисков

Минимизация структурного риска направлена ​​на предотвращение переоснащения путем включения в оптимизацию штрафа за регуляризацию . Штраф за регуляризацию можно рассматривать как реализацию бритвы Оккама , которая предпочитает более простые функции более сложным.

Были применены самые разнообразные штрафы, соответствующие разным определениям сложности. Например, рассмотрим случай, когда функция является линейной функцией вида ${\displaystyle g}$

${\displaystyle g(x)=\sum _{j=1}^{d}\beta _{j}x_{j}}$.

Популярным штрафом за регуляризацию является , который представляет собой квадрат евклидовой нормы весов, также известный как норма. Другие нормы включают норму и «норму» , которая представляет собой количество ненулевых значений. Штраф будет обозначаться . ${\displaystyle \sum _{j}\beta _{j}^{2}}$ ${\displaystyle L_{2}}$ ${\displaystyle L_{1}}$ ${\displaystyle \sum _{j}|\beta _{j}|}$ ${\displaystyle L_{0}}$ ${\displaystyle \beta _{j}}$ ${\displaystyle C(g)}$

Задача оптимизации обучения с учителем состоит в том, чтобы найти функцию , которая минимизирует ${\displaystyle g}$

${\displaystyle J(g)=R_{emp}(g)+\lambda C(g).}$

Параметр контролирует компромисс между смещением и дисперсией. Когда это дает минимизацию эмпирического риска с низким смещением и высокой дисперсией. Когда оно велико, алгоритм обучения будет иметь высокую предвзятость и низкую дисперсию. Значение может быть выбрано эмпирически посредством перекрестной проверки . ${\displaystyle \lambda }$ ${\displaystyle \lambda =0}$ ${\displaystyle \lambda }$ ${\displaystyle \lambda }$

Штраф за сложность имеет байесовскую интерпретацию как отрицательную логарифмическую априорную вероятность , и в этом случае это апостериорная вероятность . ${\displaystyle g}$ ${\displaystyle -\log P(g)}$ ${\displaystyle J(g)}$ ${\displaystyle g}$

Генеративное обучение

Описанные выше методы обучения являются дискриминативными методами обучения, поскольку они стремятся найти функцию , которая хорошо различает различные выходные значения (см. дискриминативную модель ). В особом случае, когда совместное распределение вероятностей и функция потерь представляет собой отрицательную логарифмическую вероятность, говорят, что алгоритм минимизации риска выполняет генеративное обучение , поскольку его можно рассматривать как генеративную модель , которая объясняет, как были сгенерированы данные. Алгоритмы генеративного обучения часто проще и более эффективны в вычислительном отношении, чем алгоритмы дискриминационного обучения. В некоторых случаях решение можно вычислить в замкнутой форме, как в наивном байесовском и линейном дискриминантном анализе . ${\displaystyle g}$ ${\displaystyle f(x,y)=P(x,y)}$ ${\displaystyle -\sum _{i}\log P(x_{i},y_{i}),}$ ${\displaystyle f}$

Обобщения

Есть несколько способов обобщить стандартную задачу обучения с учителем:

• Обучение с полуконтролем или слабый контроль : желаемые выходные значения предоставляются только для подмножества обучающих данных. Остальные данные не помечены или помечены неточно.
• Активное обучение . Вместо того, чтобы предполагать, что все обучающие примеры даны в начале, алгоритмы активного обучения в интерактивном режиме собирают новые примеры, обычно отправляя запросы пользователю-человеку. Часто запросы основаны на немаркированных данных, что представляет собой сценарий, сочетающий полуконтролируемое обучение с активным обучением.
• Структурированное предсказание . Если желаемое выходное значение представляет собой сложный объект, например дерево синтаксического анализа или помеченный граф, необходимо расширить стандартные методы.
• Обучение ранжированию : когда входными данными является набор объектов, а желаемым результатом является ранжирование этих объектов, тогда снова необходимо расширить стандартные методы.

Подходы и алгоритмы

• Аналитическое обучение
• Искусственная нейронная сеть
• Обратное распространение ошибки
• Бустинг (метаалгоритм)
• Байесовская статистика
• Рассуждение на основе прецедентов
• Обучение дереву решений
• Индуктивное логическое программирование
• Регрессия гауссовского процесса
• Генетическое программирование
• Групповой метод обработки данных
• Оценщики ядра
• Обучающиеся автоматы
• Обучение системам классификаторов
• Обучение векторному квантованию
• Минимальная длина сообщения ( деревья решений , графы решений и т. д.)
• Мультилинейное обучение подпространству
• Наивный классификатор Байеса
• Классификатор максимальной энтропии
• Условное случайное поле
• Алгоритм ближайшего соседа
• Вероятно, приблизительно правильное обучение (PAC) обучение
• Правила Ripple Down , методология приобретения знаний
• Символьные алгоритмы машинного обучения
• Алгоритмы субсимвольного машинного обучения
• Машины опорных векторов
• Машины минимальной сложности (МКМ)
• Случайные леса
• Ансамбли классификаторов
• Порядковая классификация
• Предварительная обработка данных
• Обработка несбалансированных наборов данных
• Статистическое реляционное обучение
• Proaftn — алгоритм многокритериальной классификации.

Приложения

• Биоинформатика
• Хеминформатика
  • Количественная связь структура-активность
• Маркетинг баз данных
• Распознавание рукописного ввода
• Поиск информации
  • Учимся ранжировать
• Извлечение информации
• Распознавание объектов в компьютерном зрении
• Оптическое распознавание символов
• Обнаружение спама
• Распознавание образов
• Распознавание речи
• Обучение с учителем — это особый случай нисходящей причинно-следственной связи в биологических системах.
• Классификация рельефа с использованием спутниковых снимков ^[7]
• Классификация расходов в процессах закупок ^[8]

Общие вопросы

• Теория вычислительного обучения
• Индуктивное смещение
• Переобучение (машинное обучение)
• (Некалиброванные) вероятности членства в классе
• Обучение без присмотра
• Пространства версий

Смотрите также

• Список наборов данных для исследований в области машинного обучения

Рекомендации

1. Мехриар Мори , Афшин Ростамизаде, Амит Талвалкар (2012) Основы машинного обучения , The MIT Press ISBN  9780262018258 .
2. С. Геман, Э. Биненшток и Р. Дурса (1992). Нейронные сети и дилемма смещения/дисперсии. Нейронные вычисления 4, 1–58.
3. Дж. Джеймс (2003) Дисперсия и смещение для общих функций потерь, Machine Learning 51, 115-135. (http://www-bcf.usc.edu/~gareth/research/bv.pdf)
4. CE Brodely и MA Friedl (1999). Выявление и устранение неправильно помеченных примеров обучения, Журнал исследований искусственного интеллекта 11, 131–167. (http://jair.org/media/606/live-606-1803-jair.pdf)
5. Г-н Смит и Т. Мартинес (2011). «Повышение точности классификации путем выявления и удаления экземпляров, которые следует неправильно классифицировать». Материалы Международной совместной конференции по нейронным сетям (IJCNN, 2011) . стр. 2690–2697. CiteSeerX 10.1.1.221.1371 . doi : 10.1109/IJCNN.2011.6033571. 
6. Вапник, В.Н. Природа статистической теории обучения (2-е изд.), Springer Verlag, 2000.
7. А. Майти (2016). «Контролируемая классификация поляриметрических данных RADARSAT-2 для различных объектов суши». arXiv : 1608.00501 [cs.CV].
8. «Ключевые технологии для гибких закупок | Публикации SIPMM» . публикация.sipmm.edu.sg . 09.10.2020 . Проверено 16 июня 2022 г.

Внешние ссылки

• Программное обеспечение с открытым исходным кодом для машинного обучения (MLOSS)