Машинное обучение

Изучение алгоритмов, которые автоматически улучшаются с опытом

Машинное обучение ( МО ) — это область исследований в области искусственного интеллекта, занимающаяся разработкой и изучением статистических алгоритмов , которые могут обучаться на основе данных и обобщать их на невидимые данные, и, таким образом, выполнять задачи без явных инструкций . ^[1] Быстрый прогресс в области глубокого обучения , начавшийся в 2010-х годах, позволил нейронным сетям превзойти многие предыдущие подходы по производительности. ^[2]

Машинное обучение находит применение во многих областях, включая обработку естественного языка , компьютерное зрение , распознавание речи , фильтрацию электронной почты , сельское хозяйство и медицину . ^{[3] [4]} Применение машинного обучения к бизнес-задачам известно как предиктивная аналитика .

Статистика и методы математической оптимизации (математическое программирование) составляют основу машинного обучения. Анализ данных — смежная область исследований, фокусирующаяся на исследовательском анализе данных (EDA) посредством неконтролируемого обучения . ^{[6] [7]}

С теоретической точки зрения, вероятно приблизительно правильное (PAC) обучение обеспечивает основу для описания машинного обучения.

История

Термин «машинное обучение» был придуман в 1959 году Артуром Сэмюэлем , сотрудником IBM и пионером в области компьютерных игр и искусственного интеллекта . ^{[8] [9]} В этот период времени также использовался синоним «самообучающиеся компьютеры» . ^{[10] [11]}

Хотя самая ранняя модель машинного обучения была представлена ​​в 1950-х годах, когда Артур Сэмюэл изобрел программу , которая вычисляла шансы на победу в шашках для каждой стороны, история машинного обучения уходит корнями в десятилетия человеческого желания и усилий по изучению человеческих когнитивных процессов. ^[12] В 1949 году канадский психолог Дональд Хебб опубликовал книгу «Организация поведения» , в которой он представил теоретическую нейронную структуру , образованную определенными взаимодействиями между нервными клетками . ^[13] Модель Хебба нейронов , взаимодействующих друг с другом, заложила основу того, как ИИ и алгоритмы машинного обучения работают в узлах или искусственных нейронах, используемых компьютерами для передачи данных. ^[12] Другие исследователи, изучавшие человеческие когнитивные системы, также внесли свой вклад в современные технологии машинного обучения, включая логика Уолтера Питтса и Уоррена Маккалока , которые предложили ранние математические модели нейронных сетей для разработки алгоритмов, которые отражают мыслительные процессы человека. ^[12]

К началу 1960-х годов экспериментальная «обучающаяся машина» с памятью на перфоленте , названная Cybertron, была разработана компанией Raytheon Company для анализа сигналов сонара , электрокардиограмм и речевых шаблонов с использованием элементарного обучения с подкреплением . Она многократно «обучалась» оператором-человеком/учителем распознавать шаблоны и была снабжена кнопкой « goof », чтобы заставить ее переоценивать неверные решения. ^[14] Представительной книгой по исследованиям в области машинного обучения в 1960-х годах была книга Нильссона «Обучающиеся машины», посвященная в основном машинному обучению для классификации шаблонов. ^[15] Интерес, связанный с распознаванием шаблонов, продолжался и в 1970-х годах, как описано Дудой и Хартом в 1973 году. ^[16] В 1981 году был представлен отчет об использовании стратегий обучения, чтобы искусственная нейронная сеть научилась распознавать 40 символов (26 букв, 10 цифр и 4 специальных символа) с компьютерного терминала. ^[17]

Том М. Митчелл дал широко цитируемое, более формальное определение алгоритмов, изучаемых в области машинного обучения: «Говорят, что компьютерная программа обучается на опыте E в отношении некоторого класса задач T и показателя производительности P, если ее производительность в задачах из T , измеряемая P , улучшается с опытом E ». ^[18] Это определение задач, в которых задействовано машинное обучение, предлагает фундаментально операциональное определение , а не определение области в когнитивных терминах. Это следует предложению Алана Тьюринга в его статье « Вычислительная техника и интеллект », в которой вопрос «Могут ли машины думать?» заменен вопросом «Могут ли машины делать то, что можем делать мы (как мыслящие существа)?». ^[19]

Современное машинное обучение имеет две цели. Одна из них — классифицировать данные на основе разработанных моделей; другая цель — делать прогнозы будущих результатов на основе этих моделей. Гипотетический алгоритм, специфичный для классификации данных, может использовать компьютерное зрение родинок в сочетании с контролируемым обучением, чтобы научить его классифицировать раковые родинки. Алгоритм машинного обучения для торговли акциями может информировать трейдера о будущих потенциальных прогнозах. ^[20]

Связь с другими полями

Искусственный интеллект

Машинное обучение как подраздел ИИ ^[21]

Как научное начинание, машинное обучение выросло из поиска искусственного интеллекта (ИИ). На заре ИИ как академической дисциплины некоторые исследователи были заинтересованы в том, чтобы машины обучались на основе данных. Они пытались подойти к проблеме с помощью различных символических методов, а также того, что тогда называлось « нейронными сетями »; это были в основном персептроны и другие модели , которые позже оказались переосмыслениями обобщенных линейных моделей статистики. ^[22] Вероятностные рассуждения также использовались, особенно в автоматизированной медицинской диагностике . ^{[23] : 488}

Однако растущий акцент на логическом подходе, основанном на знаниях, вызвал раскол между ИИ и машинным обучением. Вероятностные системы страдали от теоретических и практических проблем сбора и представления данных. ^{[23] : 488} К 1980 году экспертные системы стали доминировать в ИИ, и статистика оказалась в немилости. ^[24] Работа над символьным/основанным на знаниях обучением продолжалась в рамках ИИ, что привело к индуктивному логическому программированию (ILP), но более статистическое направление исследований теперь находилось за пределами области собственно ИИ, в распознавании образов и поиске информации . ^{[23] : 708–710, 755} Исследования нейронных сетей были заброшены ИИ и компьютерной наукой примерно в то же время. Это направление также было продолжено за пределами области ИИ/КС, как « коннекционизм », исследователями из других дисциплин, включая Хопфилда , Румельхарта и Хинтона . Их главный успех пришелся на середину 1980-х годов с переосмыслением обратного распространения . ^{[23] : 25}

Машинное обучение (МО), реорганизованное и признанное как отдельная область, начало процветать в 1990-х годах. Область изменила свою цель с достижения искусственного интеллекта на решение решаемых проблем практического характера. Она сместила фокус с символических подходов, унаследованных от ИИ, на методы и модели, заимствованные из статистики, нечеткой логики и теории вероятностей . ^[24]

Сжатие данных

Существует тесная связь между машинным обучением и сжатием. Система, которая предсказывает апостериорные вероятности последовательности, учитывая всю ее историю, может использоваться для оптимального сжатия данных (используя арифметическое кодирование выходного распределения). И наоборот, оптимальный компрессор может использоваться для предсказания (находя символ, который сжимает лучше всего, учитывая предыдущую историю). Эта эквивалентность использовалась в качестве обоснования использования сжатия данных в качестве эталона для «общего интеллекта». ^{[25] [26] [27]}

Альтернативный взгляд может показать, что алгоритмы сжатия неявно отображают строки в неявные векторы пространства признаков , а меры подобия на основе сжатия вычисляют подобие в этих пространствах признаков. Для каждого компрессора C(.) мы определяем связанное векторное пространство ℵ, так что C(.) отображает входную строку x, соответствующую векторной норме ||~x||. Исчерпывающее исследование пространств признаков, лежащих в основе всех алгоритмов сжатия, исключается из-за нехватки пространства; вместо этого векторы признаков выбирают для проверки три репрезентативных метода сжатия без потерь: LZW, LZ77 и PPM. ^[28]

Согласно теории AIXI , связь, более прямо объясненная в премии Хуттера , наилучшее возможное сжатие x — это наименьшее возможное программное обеспечение, которое генерирует x. Например, в этой модели сжатый размер zip-файла включает как zip-файл, так и программное обеспечение для распаковки, поскольку вы не можете распаковать его без обоих, но может быть даже меньшая объединенная форма.

Примерами программного обеспечения для сжатия аудио/видео на базе ИИ являются NVIDIA Maxine , AIVC. ^[29] Примерами программного обеспечения, которое может выполнять сжатие изображений на базе ИИ, являются OpenCV , TensorFlow , MATLAB 's Image Processing Toolbox (IPT) и High-Fidelity Generative Image Compression. ^[30]

В неконтролируемом машинном обучении кластеризация k-средних может использоваться для сжатия данных путем группировки схожих точек данных в кластеры. Этот метод упрощает обработку обширных наборов данных, в которых отсутствуют предопределенные метки, и находит широкое применение в таких областях, как сжатие изображений . ^[31]

Сжатие данных направлено на уменьшение размера файлов данных, повышение эффективности хранения и ускорение передачи данных. Кластеризация k-средних, неконтролируемый алгоритм машинного обучения, используется для разбиения набора данных на определенное количество кластеров, k, каждый из которых представлен центроидом своих точек. Этот процесс уплотняет обширные наборы данных в более компактный набор репрезентативных точек. Особенно полезная при обработке изображений и сигналов , кластеризация k-средних помогает в сокращении данных, заменяя группы точек данных их центроидами, тем самым сохраняя основную информацию исходных данных и значительно уменьшая требуемое пространство для хранения. ^[32]

Большие языковые модели (LLM) также способны к сжатию данных без потерь, как продемонстрировано исследованием DeepMind с моделью Chinchilla 70B. Разработанная DeepMind, Chinchilla 70B эффективно сжимает данные, превосходя традиционные методы, такие как Portable Network Graphics (PNG) для изображений и Free Lossless Audio Codec (FLAC) для аудио. Он достиг сжатия данных изображений и аудио до 43,4% и 16,4% от их исходных размеров соответственно. ^[33]

Сбор данных

Машинное обучение и интеллектуальный анализ данных часто используют одни и те же методы и в значительной степени пересекаются, но в то время как машинное обучение фокусируется на прогнозировании на основе известных свойств, извлеченных из обучающих данных, интеллектуальный анализ данных фокусируется на обнаружении (ранее) неизвестных свойств в данных (это этап анализа обнаружения знаний в базах данных). Интеллектуальный анализ данных использует много методов машинного обучения, но с разными целями; с другой стороны, машинное обучение также использует методы интеллектуального анализа данных как « неконтролируемое обучение » или как этап предварительной обработки для повышения точности обучающегося. Большая часть путаницы между этими двумя исследовательскими сообществами (которые часто проводят отдельные конференции и издают отдельные журналы, основным исключением является ECML PKDD ) возникает из-за основных предположений, с которыми они работают: в машинном обучении производительность обычно оценивается с точки зрения способности воспроизводить известные знания, в то время как в обнаружении знаний и интеллектуальном анализе данных (KDD) ключевой задачей является обнаружение ранее неизвестных знаний. При оценке с учетом известных знаний неинформированный (неконтролируемый) метод будет легко уступать другим контролируемым методам, в то время как в типичной задаче KDD контролируемые методы не могут быть использованы из-за отсутствия обучающих данных.

Машинное обучение также тесно связано с оптимизацией : многие проблемы обучения формулируются как минимизация некоторой функции потерь на обучающем наборе примеров. Функции потерь выражают расхождение между прогнозами обучаемой модели и фактическими экземплярами проблемы (например, при классификации требуется присвоить метку экземплярам, ​​и модели обучаются правильно предсказывать предварительно назначенные метки набора примеров). ^[34]

Обобщение

Характеристика обобщения различных алгоритмов обучения является активной темой современных исследований, особенно в области алгоритмов глубокого обучения .

Статистика

Машинное обучение и статистика являются тесно связанными областями с точки зрения методов, но различаются по своей основной цели: статистика делает выводы о популяции из выборки , в то время как машинное обучение находит обобщаемые прогностические модели. ^[35] По словам Майкла И. Джордана , идеи машинного обучения, от методологических принципов до теоретических инструментов, имели долгую предысторию в статистике. ^[36] Он также предложил термин «наука о данных» в качестве заполнителя для обозначения всей области. ^[36]

Обычный статистический анализ требует априорного выбора модели, наиболее подходящей для набора данных исследования. Кроме того, для анализа включаются только значимые или теоретически значимые переменные, основанные на предыдущем опыте. Напротив, машинное обучение не строится на предварительно структурированной модели; скорее, данные формируют модель, выявляя базовые закономерности. Чем больше переменных (входных данных) используется для обучения модели, тем точнее будет конечная модель. ^[37]

Лео Брейман различал две парадигмы статистического моделирования: модель данных и алгоритмическую модель, ^[38] где «алгоритмическая модель» в большей или меньшей степени означает алгоритмы машинного обучения, такие как случайный лес .

Некоторые статистики переняли методы машинного обучения, что привело к созданию комбинированной области, которую они называют статистическим обучением . ^[39]

Статистическая физика

Аналитические и вычислительные методы, полученные из глубоко укоренившейся физики неупорядоченных систем, могут быть распространены на крупномасштабные проблемы, включая машинное обучение, например, для анализа весового пространства глубоких нейронных сетей . ^[40] Таким образом, статистическая физика находит применение в области медицинской диагностики . ^[41]

Теория

Основная цель обучающегося — обобщать свой опыт. ^{[5] [42]} Обобщение в этом контексте — это способность обучающейся машины точно выполнять новые, невиданные примеры/задачи после того, как она испытала набор обучающих данных. Обучающие примеры берутся из некоторого, как правило, неизвестного распределения вероятностей (считающегося репрезентативным для пространства событий), и обучающийся должен построить общую модель этого пространства, которая позволит ему производить достаточно точные прогнозы в новых случаях.

Вычислительный анализ алгоритмов машинного обучения и их производительности — это раздел теоретической компьютерной науки, известный как теория вычислительного обучения через модель вероятного приблизительно правильного обучения (PAC). Поскольку обучающие наборы конечны, а будущее неопределенно, теория обучения обычно не дает гарантий производительности алгоритмов. Вместо этого довольно распространены вероятностные границы производительности. Разложение смещения-дисперсии — один из способов количественной оценки ошибки обобщения .

Для наилучшей производительности в контексте обобщения сложность гипотезы должна соответствовать сложности функции, лежащей в основе данных. Если гипотеза менее сложна, чем функция, то модель не соответствует данным. Если сложность модели увеличивается в ответ, то ошибка обучения уменьшается. Но если гипотеза слишком сложна, то модель подвержена переобучению, и обобщение будет хуже. ^[43]

В дополнение к ограничениям производительности, теоретики обучения изучают временную сложность и осуществимость обучения. В теории вычислительного обучения вычисление считается осуществимым, если его можно выполнить за полиномиальное время . Существует два вида результатов временной сложности : Положительные результаты показывают, что определенный класс функций может быть изучен за полиномиальное время. Отрицательные результаты показывают, что определенные классы не могут быть изучены за полиномиальное время.

Подходы

Подходы к машинному обучению традиционно делятся на три широкие категории, которые соответствуют парадигмам обучения в зависимости от характера «сигнала» или «обратной связи», доступных обучающейся системе:

• Контролируемое обучение : компьютеру предоставляются примеры входных данных и их желаемых выходных данных, заданные «учителем», а цель состоит в том, чтобы выучить общее правило, которое сопоставляет входные данные с выходными данными.
• Неконтролируемое обучение : обучающему алгоритму не присваиваются никакие метки, что оставляет его в одиночестве, чтобы найти структуру во входных данных. Неконтролируемое обучение может быть само по себе целью (обнаружение скрытых закономерностей в данных) или средством достижения цели ( обучение признакам ).
• Обучение с подкреплением : компьютерная программа взаимодействует с динамической средой, в которой она должна выполнить определенную цель (например, управлять транспортным средством или играть в игру против противника). Когда она перемещается по своему проблемному пространству, программа получает обратную связь, которая аналогична вознаграждениям, которые она пытается максимизировать. ^[5]

Хотя каждый алгоритм имеет свои преимущества и ограничения, ни один алгоритм не подходит для всех проблем. ^{[44] [45] [46]}

Контролируемое обучение

Машина опорных векторов — это контролируемая модель обучения, которая делит данные на области, разделенные линейной границей . Здесь линейная граница отделяет черные круги от белых.

Контролируемые алгоритмы обучения создают математическую модель набора данных, которая содержит как входы, так и желаемые выходы. ^[47] Данные, известные как данные обучения , состоят из набора примеров обучения. Каждый пример обучения имеет один или несколько входов и желаемый выход, также известный как контрольный сигнал. В математической модели каждый пример обучения представлен массивом или вектором, иногда называемым вектором признаков , а данные обучения представлены матрицей . С помощью итеративной оптимизации целевой функции контролируемые алгоритмы обучения изучают функцию, которая может использоваться для прогнозирования выходных данных, связанных с новыми входами. ^[48] Оптимальная функция позволяет алгоритму правильно определять выходные данные для входов, которые не были частью данных обучения. Говорят, что алгоритм, который повышает точность своих выходных данных или предсказаний с течением времени, научился выполнять эту задачу. ^[18]

Типы алгоритмов контролируемого обучения включают активное обучение , классификацию и регрессию . ^[49] Алгоритмы классификации используются, когда выходные данные ограничены ограниченным набором значений, а алгоритмы регрессии используются, когда выходные данные могут иметь любое числовое значение в пределах диапазона. Например, для алгоритма классификации, который фильтрует электронные письма, входными данными будет входящее электронное письмо, а выходными данными будет имя папки, в которой будет сохранено электронное письмо. Примерами регрессии могут быть прогнозирование роста человека или будущей температуры. ^[50]

Обучение на основе сходства — это область контролируемого машинного обучения, тесно связанная с регрессией и классификацией, но ее цель — учиться на примерах, используя функцию сходства, которая измеряет, насколько похожи или связаны два объекта. Она применяется в ранжировании , рекомендательных системах , визуальном отслеживании идентичности, проверке лиц и проверке говорящего.

Неконтролируемое обучение

Алгоритмы неконтролируемого обучения находят структуры в данных, которые не были помечены, классифицированы или категоризированы. Вместо того, чтобы реагировать на обратную связь, алгоритмы неконтролируемого обучения выявляют общности в данных и реагируют на основе наличия или отсутствия таких общностей в каждом новом фрагменте данных. Основные приложения неконтролируемого машинного обучения включают кластеризацию, снижение размерности ^[7] и оценку плотности ^[51] . Алгоритмы неконтролируемого обучения также упростили процесс идентификации больших гаплотипов на основе инделей интересующего гена из пангенома ^[52] .

Кластеризация с помощью Large Indel Permuted Slopes, CLIPS, ^[53] превращает изображение выравнивания в задачу регрессии обучения. Различные оценки наклона ( b ) между каждой парой сегментов ДНК позволяют идентифицировать сегменты, разделяющие один и тот же набор инделей.

Кластерный анализ — это распределение набора наблюдений по подмножествам (называемым кластерами ), так что наблюдения в пределах одного кластера схожи по одному или нескольким заранее заданным критериям, тогда как наблюдения, полученные из разных кластеров, отличаются. Различные методы кластеризации делают разные предположения о структуре данных, часто определяемой некоторой метрикой сходства и оцениваемой, например, по внутренней компактности , или сходству между членами одного кластера, и разделению , различию между кластерами. Другие методы основаны на оценочной плотности и связности графа .

Особый тип неконтролируемого обучения, называемый самоконтролируемым обучением , подразумевает обучение модели путем генерации контрольного сигнала из самих данных. ^{[54] [55]}

Полуконтролируемое обучение

Полуконтролируемое обучение находится между неконтролируемым обучением (без каких-либо маркированных обучающих данных) и контролируемым обучением (с полностью маркированными обучающими данными). В некоторых примерах обучения отсутствуют обучающие метки, однако многие исследователи машинного обучения обнаружили, что немаркированные данные, используемые в сочетании с небольшим количеством маркированных данных, могут значительно улучшить точность обучения.

При слабо контролируемом обучении обучающие метки являются шумными, ограниченными или неточными; однако эти метки часто дешевле получить, что приводит к более крупным эффективным обучающим наборам. ^[56]

Обучение с подкреплением

Обучение с подкреплением — это область машинного обучения, связанная с тем, как программные агенты должны выполнять действия в среде, чтобы максимизировать некоторое понятие кумулятивного вознаграждения. Из-за своей общности эта область изучается во многих других дисциплинах, таких как теория игр , теория управления , исследование операций , теория информации , оптимизация на основе моделирования , многоагентные системы , роевой интеллект , статистика и генетические алгоритмы . В обучении с подкреплением среда обычно представляется как марковский процесс принятия решений (MDP). Многие алгоритмы обучения с подкреплением используют методы динамического программирования . ^[57] Алгоритмы обучения с подкреплением не предполагают знания точной математической модели MDP и используются, когда точные модели неосуществимы. Алгоритмы обучения с подкреплением используются в автономных транспортных средствах или при обучении игре против человеческого противника.

Уменьшение размерности

Снижение размерности — это процесс уменьшения числа рассматриваемых случайных величин путем получения набора главных переменных. ^[58] Другими словами, это процесс уменьшения размерности набора признаков , также называемый «количеством признаков». Большинство методов снижения размерности можно рассматривать как исключение или извлечение признаков . Одним из популярных методов снижения размерности является анализ главных компонент (PCA). PCA включает в себя изменение многомерных данных (например, 3D) на меньшее пространство (например, 2D). Гипотеза многообразия предполагает, что многомерные наборы данных лежат вдоль многообразий малой размерности , и многие методы снижения размерности делают это предположение, что приводит к области обучения многообразий и регуляризации многообразий .

Другие типы

Были разработаны другие подходы, которые не вписываются в эту тройную категоризацию, и иногда одна и та же система машинного обучения использует более одного подхода. Например, тематическое моделирование , метаобучение . ^[59]

Самообучение

Самообучение как парадигма машинного обучения было представлено в 1982 году вместе с нейронной сетью, способной к самообучению, названной перекрестной адаптивной матрицей (CAA). ^[60] Это обучение без внешних вознаграждений и без внешних советов учителя. Алгоритм самообучения CAA вычисляет перекрестным способом как решения о действиях, так и эмоции (чувства) о ситуациях последствий. Система управляется взаимодействием между познанием и эмоциями. ^[61] Алгоритм самообучения обновляет матрицу памяти W =||w(a,s)|| таким образом, что на каждой итерации выполняет следующую процедуру машинного обучения:

1. в ситуации s выполнить действие a
2. получить последствия ситуации s'
3. вычислить эмоцию пребывания в ситуации последствий v(s')
4. обновить память кроссбара w'(a,s) = w(a,s) + v(s')

Это система только с одним входом, ситуацией, и только одним выходом, действием (или поведением) a. Нет ни отдельного подкрепляющего входа, ни советующего входа из окружающей среды. Обратно распространяемое значение (вторичное подкрепление) - это эмоция по отношению к ситуации последствий. CAA существует в двух средах, одна - это поведенческая среда, где он себя ведет, а другая - генетическая среда, откуда он изначально и только один раз получает начальные эмоции о ситуациях, с которыми предстоит столкнуться в поведенческой среде. После получения вектора генома (вида) из генетической среды CAA учится целенаправленному поведению в среде, которая содержит как желательные, так и нежелательные ситуации. ^[62]

Особенности обучения

Несколько алгоритмов обучения нацелены на обнаружение лучших представлений входных данных, предоставленных во время обучения. ^[63] Классические примеры включают анализ главных компонент и кластерный анализ. Алгоритмы обучения признакам, также называемые алгоритмами обучения представлениям, часто пытаются сохранить информацию во входных данных, но также преобразовать ее таким образом, чтобы сделать ее полезной, часто в качестве шага предварительной обработки перед выполнением классификации или прогнозирования. Этот метод позволяет реконструировать входные данные, поступающие из неизвестного распределения, генерирующего данные, при этом не обязательно будучи верным конфигурациям, которые неправдоподобны при этом распределении. Это заменяет ручную разработку признаков и позволяет машине как изучать признаки, так и использовать их для выполнения определенной задачи.

Обучение признакам может быть как контролируемым, так и неконтролируемым. При обучении признакам с учителем признаки изучаются с использованием маркированных входных данных. Примерами являются искусственные нейронные сети , многослойные персептроны и контролируемое обучение словарю . При обучении признакам без учителя признаки изучаются с использованием немаркированных входных данных. Примерами являются обучение словарю, независимый компонентный анализ , автокодировщики , матричная факторизация ^[64] и различные формы кластеризации . ^{[65] [66] [67]}

Многообразные алгоритмы обучения пытаются сделать это при ограничении, что изученное представление является низкоразмерным. Разреженные алгоритмы кодирования пытаются сделать это при ограничении, что изученное представление является разреженным, что означает, что математическая модель имеет много нулей. Многолинейные алгоритмы обучения подпространства направлены на изучение низкоразмерных представлений непосредственно из тензорных представлений для многомерных данных, не преобразуя их в многомерные векторы. ^{[68] Алгоритмы} глубокого обучения обнаруживают несколько уровней представления или иерархию признаков, с более высокоуровневыми, более абстрактными признаками, определенными в терминах (или генерирующими) признаков более низкого уровня. Утверждалось, что интеллектуальная машина — это та, которая изучает представление, которое распутывает основные факторы вариации, которые объясняют наблюдаемые данные. ^[69]

Изучение признаков мотивируется тем фактом, что задачи машинного обучения, такие как классификация, часто требуют ввода, который математически и вычислительно удобен для обработки. Однако реальные данные, такие как изображения, видео и сенсорные данные, не дали попыток алгоритмически определить конкретные признаки. Альтернативой является обнаружение таких признаков или представлений посредством проверки, без опоры на явные алгоритмы.

Скудное изучение словаря

Обучение по разреженному словарю — это метод обучения признакам, в котором обучающий пример представляется в виде линейной комбинации базисных функций и предполагается, что это разреженная матрица . Метод является строго NP-трудным и его трудно решить приближенно. ^[70] Популярным эвристическим методом обучения по разреженному словарю является алгоритм k -SVD . Обучение по разреженному словарю применялось в нескольких контекстах. В классификации проблема заключается в определении класса, к которому принадлежит ранее не виданный обучающий пример. Для словаря, где каждый класс уже был построен, новый обучающий пример связывается с классом, который наилучшим образом разреженно представлен соответствующим словарем. Обучение по разреженному словарю также применялось при удалении шума с изображений . Ключевая идея заключается в том, что чистый фрагмент изображения может быть разреженно представлен словарем изображений, но шум не может. ^[71]

Обнаружение аномалий

В интеллектуальном анализе данных обнаружение аномалий, также известное как обнаружение выбросов, представляет собой идентификацию редких элементов, событий или наблюдений, которые вызывают подозрения, существенно отличаясь от большинства данных. ^[72] Как правило, аномальные элементы представляют собой проблему, такую ​​как банковское мошенничество , структурный дефект, медицинские проблемы или ошибки в тексте. Аномалии называются выбросами , новинками, шумом, отклонениями и исключениями. ^[73]

В частности, в контексте обнаружения злоупотреблений и сетевых вторжений, интересными объектами часто являются не редкие объекты, а неожиданные всплески бездействия. Эта модель не соответствует общему статистическому определению выброса как редкого объекта. Многие методы обнаружения выбросов (в частности, неконтролируемые алгоритмы) не сработают с такими данными, если они не будут агрегированы надлежащим образом. Вместо этого алгоритм кластерного анализа может обнаружить микрокластеры, образованные этими моделями. ^[74]

Существуют три широкие категории методов обнаружения аномалий. ^[75] Методы обнаружения аномалий без учителя обнаруживают аномалии в немаркированном тестовом наборе данных, предполагая, что большинство экземпляров в наборе данных являются нормальными, путем поиска экземпляров, которые кажутся наименее подходящими к остальной части набора данных. Методы обнаружения аномалий с учителем требуют набора данных, который был помечен как «нормальный» и «ненормальный», и включают обучение классификатора (ключевое отличие от многих других задач статистической классификации заключается в изначально несбалансированном характере обнаружения выбросов). Методы обнаружения аномалий с учителем под учителем создают модель, представляющую нормальное поведение, из заданного нормального набора данных для обучения, а затем проверяют вероятность того, что модель сгенерирует тестовый экземпляр.

Обучение роботов

Обучение роботов вдохновлено множеством методов машинного обучения, начиная с контролируемого обучения, обучения с подкреплением ^{[76] [77]} и, наконец, метаобучения (например, MAML).

Правила ассоциации

Обучение правилам ассоциации — это метод машинного обучения на основе правил для обнаружения связей между переменными в больших базах данных. Он предназначен для выявления сильных правил, обнаруженных в базах данных, с использованием некоторой меры «интересности». ^[78]

Машинное обучение на основе правил — это общий термин для любого метода машинного обучения, который идентифицирует, изучает или развивает «правила» для хранения, обработки или применения знаний. Определяющей характеристикой алгоритма машинного обучения на основе правил является идентификация и использование набора реляционных правил, которые в совокупности представляют знания, полученные системой. Это контрастирует с другими алгоритмами машинного обучения, которые обычно идентифицируют единственную модель, которая может быть универсально применена к любому экземпляру для того, чтобы сделать прогноз. ^[79] Подходы машинного обучения на основе правил включают системы классификаторов обучения , обучение правил ассоциаций и искусственные иммунные системы .

Основываясь на концепции строгих правил, Ракеш Агравал , Томаш Имелински и Арун Свами ввели правила ассоциации для обнаружения закономерностей между продуктами в крупномасштабных данных транзакций, записанных системами точек продаж (POS) в супермаркетах. ^[80] Например, правило, найденное в данных о продажах супермаркета, будет указывать, что если клиент покупает лук и картофель вместе, он, скорее всего, также купит мясо для гамбургера. Такая информация может быть использована в качестве основы для принятия решений о маркетинговых мероприятиях, таких как рекламные цены или размещение продукта . Помимо анализа рыночной корзины , правила ассоциации сегодня используются в таких областях применения, как анализ использования Интернета , обнаружение вторжений , непрерывное производство и биоинформатика . В отличие от анализа последовательностей , изучение правил ассоциации обычно не учитывает порядок элементов ни в рамках транзакции, ни между транзакциями. ${\displaystyle \{\mathrm {onions,potatoes} \}\Rightarrow \{\mathrm {burger} \}}$

Системы классификаторов обучения (LCS) представляют собой семейство алгоритмов машинного обучения на основе правил, которые объединяют компонент обнаружения, обычно генетический алгоритм , с компонентом обучения, выполняя либо контролируемое обучение , либо обучение с подкреплением , либо неконтролируемое обучение . Они стремятся определить набор контекстно-зависимых правил, которые коллективно хранят и применяют знания кусочно для того, чтобы делать прогнозы. ^[81]

Индуктивное логическое программирование (ILP) — это подход к изучению правил, использующий логическое программирование в качестве единообразного представления для входных примеров, фоновых знаний и гипотез. При наличии кодировки известных фоновых знаний и набора примеров, представленных в виде логической базы данных фактов, система ILP выведет гипотетическую логическую программу, которая включает все положительные и ни одного отрицательного примера. Индуктивное программирование — это смежная область, которая рассматривает любой язык программирования для представления гипотез (и не только логического программирования), например, функциональные программы .

Индуктивное логическое программирование особенно полезно в биоинформатике и обработке естественного языка . Гордон Плоткин и Эхуд Шапиро заложили первоначальную теоретическую основу для индуктивного машинного обучения в логической обстановке. ^{[82] [83] [84]} Шапиро построил свою первую реализацию (систему вывода моделей) в 1981 году: программу на Прологе, которая индуктивно выводила логические программы из положительных и отрицательных примеров. ^[85] Термин «индуктивный» здесь относится к философской индукции, предлагающей теорию для объяснения наблюдаемых фактов, а не к математической индукции , доказывающей свойство для всех членов хорошо упорядоченного множества.

Модели

АМодель машинного обучения — это типматематической модели, которая после «обучения» на заданном наборе данных может использоваться для прогнозирования или классификации новых данных. Во время обучения алгоритм обучения итеративно корректирует внутренние параметры модели, чтобы минимизировать ошибки в ее прогнозах.^[86]В более широком смысле термин «модель» может относиться к нескольким уровням специфичности, от общего класса моделей и связанных с ними алгоритмов обучения до полностью обученной модели со всеми ее настроенными внутренними параметрами.^[87]

Для систем машинного обучения использовались и исследовались различные типы моделей; выбор лучшей модели для задачи называется выбором модели .

Искусственные нейронные сети

Искусственная нейронная сеть — это взаимосвязанная группа узлов, похожая на обширную сеть нейронов в мозге . Здесь каждый круглый узел представляет собой искусственный нейрон , а стрелка представляет собой соединение от выхода одного искусственного нейрона к входу другого.

Искусственные нейронные сети (ИНС) или коннекционистские системы — это вычислительные системы, смутно вдохновлённые биологическими нейронными сетями , которые составляют мозг животных . Такие системы «учатся» выполнять задачи, рассматривая примеры, как правило, без программирования каких-либо специфических для задачи правил.

ANN — это модель, основанная на наборе связанных единиц или узлов, называемых « искусственными нейронами », которые в общих чертах моделируют нейроны в биологическом мозге. Каждое соединение, как и синапсы в биологическом мозге, может передавать информацию, «сигнал», от одного искусственного нейрона к другому. Искусственный нейрон, который получает сигнал, может обработать его, а затем подать сигнал дополнительным искусственным нейронам, подключенным к нему. В обычных реализациях ANN сигнал в соединении между искусственными нейронами является действительным числом , а выход каждого искусственного нейрона вычисляется некоторой нелинейной функцией суммы его входов. Соединения между искусственными нейронами называются «ребрами». Искусственные нейроны и ребра обычно имеют вес , который корректируется по мере обучения. Вес увеличивает или уменьшает силу сигнала в соединении. Искусственные нейроны могут иметь порог, так что сигнал отправляется только в том случае, если совокупный сигнал пересекает этот порог. Обычно искусственные нейроны объединяются в слои. Различные слои могут выполнять различные виды преобразований на своих входах. Сигналы передаются от первого слоя (входного слоя) к последнему слою (выходному слою), возможно, после многократного прохождения слоев.

Первоначальной целью подхода ANN было решение проблем таким же образом, как это делает человеческий мозг . Однако со временем внимание переместилось на выполнение конкретных задач, что привело к отклонениям от биологии . Искусственные нейронные сети использовались для решения различных задач, включая компьютерное зрение , распознавание речи , машинный перевод , фильтрацию социальных сетей , настольные и видеоигры , а также медицинскую диагностику .

Глубокое обучение состоит из нескольких скрытых слоев в искусственной нейронной сети. Этот подход пытается смоделировать способ, которым человеческий мозг обрабатывает свет и звук в зрение и слух. Некоторые успешные приложения глубокого обучения — это компьютерное зрение и распознавание речи. ^[88]

Деревья решений

Дерево решений, показывающее вероятность выживания пассажиров Титаника

Обучение на основе дерева решений использует дерево решений в качестве предсказательной модели для перехода от наблюдений за элементом (представленных в ветвях) к выводам о целевом значении элемента (представленном в листьях). Это один из подходов предсказательного моделирования, используемых в статистике, интеллектуальном анализе данных и машинном обучении. Древовидные модели, в которых целевая переменная может принимать дискретный набор значений, называются деревьями классификации; в этих древовидных структурах листья представляют метки классов, а ветви представляют конъюнкции признаков, которые приводят к этим меткам классов. Деревья решений, в которых целевая переменная может принимать непрерывные значения (обычно действительные числа ), называются деревьями регрессии. В анализе решений дерево решений может использоваться для визуального и явного представления решений и принятия решений . В интеллектуальном анализе данных дерево решений описывает данные, но полученное в результате дерево классификации может быть входными данными для принятия решений.

Машины опорных векторов

Машины опорных векторов (SVM), также известные как сети опорных векторов, представляют собой набор связанных контролируемых методов обучения, используемых для классификации и регрессии. Учитывая набор обучающих примеров, каждый из которых помечен как принадлежащий к одной из двух категорий, алгоритм обучения SVM строит модель, которая предсказывает, попадает ли новый пример в одну категорию. ^[89] Алгоритм обучения SVM является не вероятностным , бинарным , линейным классификатором , хотя существуют такие методы, как масштабирование Платта, для использования SVM в вероятностной обстановке классификации. В дополнение к выполнению линейной классификации, SVM могут эффективно выполнять нелинейную классификацию, используя то, что называется трюком ядра , неявно отображая свои входные данные в многомерные пространства признаков.

Регрессионный анализ

Иллюстрация линейной регрессии на наборе данных

Регрессионный анализ охватывает большое разнообразие статистических методов для оценки взаимосвязи между входными переменными и связанными с ними признаками. Его наиболее распространенной формой является линейная регрессия , где одна линия рисуется для наилучшего соответствия заданным данным в соответствии с математическим критерием, таким как обычные наименьшие квадраты . Последний часто расширяется методами регуляризации для смягчения переобучения и смещения, как в гребневой регрессии . При работе с нелинейными задачами переходные модели включают полиномиальную регрессию (например, используемую для подгонки линии тренда в Microsoft Excel ^[90] ), логистическую регрессию (часто используемую в статистической классификации ) или даже ядерную регрессию , которая вводит нелинейность, используя преимущество трюка с ядром для неявного отображения входных переменных в многомерное пространство.

Байесовские сети

Простая байесовская сеть. Дождь влияет на то, активируется ли разбрызгиватель, а дождь и разбрызгиватель влияют на то, мокрая ли трава.

Байесовская сеть, сеть убеждений или направленная ациклическая графическая модель — это вероятностная графическая модель , которая представляет набор случайных величин и их условную независимость с направленным ациклическим графом (DAG). Например, байесовская сеть может представлять вероятностные связи между заболеваниями и симптомами. При наличии симптомов сеть может использоваться для вычисления вероятностей наличия различных заболеваний. Существуют эффективные алгоритмы, которые выполняют вывод и обучение. Байесовские сети, которые моделируют последовательности переменных, такие как речевые сигналы или последовательности белков , называются динамическими байесовскими сетями . Обобщения байесовских сетей, которые могут представлять и решать проблемы принятия решений в условиях неопределенности, называются диаграммами влияния .

Гауссовские процессы

Пример регрессии гауссовского процесса (прогнозирование) по сравнению с другими моделями регрессии ^[91]

Гауссовский процесс — это стохастический процесс , в котором каждый конечный набор случайных величин в процессе имеет многомерное нормальное распределение и опирается на предопределенную ковариационную функцию , или ядро, которое моделирует, как пары точек соотносятся друг с другом в зависимости от их местоположения.

При наличии набора наблюдаемых точек или примеров «вход-выход» распределение (ненаблюдаемого) выхода новой точки как функции ее входных данных можно напрямую вычислить, рассмотрев наблюдаемые точки и ковариации между этими точками и новой ненаблюдаемой точкой.

Гауссовские процессы являются популярными суррогатными моделями в байесовской оптимизации, используемыми для оптимизации гиперпараметров .

Генетические алгоритмы

Генетический алгоритм (ГА) — это алгоритм поиска и эвристический метод, который имитирует процесс естественного отбора , используя такие методы, как мутация и кроссинговер, для генерации новых генотипов в надежде найти хорошие решения для данной проблемы. В машинном обучении генетические алгоритмы использовались в 1980-х и 1990-х годах. ^{[92] [93]} И наоборот, методы машинного обучения использовались для улучшения производительности генетических и эволюционных алгоритмов . ^[94]

Функции убеждения

Теория функций убеждений, также называемая теорией доказательств или теорией Демпстера–Шейфера, представляет собой общую структуру для рассуждений с неопределенностью, с понятными связями с другими структурами, такими как теории вероятности , возможности и неточные теории вероятностей . Эти теоретические структуры можно рассматривать как своего рода обучающийся и имеют некоторые аналогичные свойства того, как объединяются доказательства (например, правило объединения Демпстера), точно так же, как в байесовском подходе на основе pmf ^{[ необходимо разъяснение ]} объединяются вероятности. Однако существует множество оговорок относительно этих функций убеждений по сравнению с байесовскими подходами для включения невежества и количественной оценки неопределенности . Эти подходы к функциям убеждений, которые реализованы в области машинного обучения, обычно используют подход слияния различных методов ансамбля для лучшей обработки границы решения обучающегося , низких выборок и неоднозначных проблем класса, которые стандартный подход машинного обучения, как правило, с трудом решает. ^{[4] [9]} Однако вычислительная сложность этих алгоритмов зависит от количества предложений (классов) и может привести к значительно большему времени вычислений по сравнению с другими подходами машинного обучения.

Модели обучения

Обычно модели машинного обучения требуют большого количества надежных данных для выполнения точных прогнозов. При обучении модели машинного обучения инженерам машинного обучения необходимо нацелиться и собрать большую и репрезентативную выборку данных. Данные из обучающего набора могут быть такими же разнообразными, как корпус текста , набор изображений, данные датчиков и данные, собранные от отдельных пользователей сервиса. Переобучение — это то, на что следует обращать внимание при обучении модели машинного обучения. Обученные модели, полученные из предвзятых или неоцененных данных, могут привести к искаженным или нежелательным прогнозам. Предвзятые модели могут привести к пагубным результатам, тем самым усугубляя негативное воздействие на общество или цели. Алгоритмическая предвзятость — потенциальный результат того, что данные не полностью подготовлены для обучения. Этика машинного обучения становится областью изучения и, в частности, интегрируется в команды инженеров машинного обучения.

Федеративное обучение

Федеративное обучение — это адаптированная форма распределенного искусственного интеллекта для обучения моделей машинного обучения, которая децентрализует процесс обучения, позволяя сохранять конфиденциальность пользователей, не отправляя их данные на централизованный сервер. Это также повышает эффективность за счет децентрализации процесса обучения на множество устройств. Например, Gboard использует федеративное машинное обучение для обучения моделей прогнозирования поисковых запросов на мобильных телефонах пользователей без необходимости отправлять отдельные поисковые запросы обратно в Google . ^[95]

Приложения

Существует множество приложений для машинного обучения, в том числе:

• Сельское хозяйство
• Анатомия
• Адаптивный веб-сайт
• Аффективные вычисления
• Астрономия
• Автоматизированное принятие решений
• Банковское дело
• Бихевиоризм
• Биоинформатика
• Интерфейсы мозг-машина
• Хеминформатика
• Гражданская наука
• Климатическая наука
• Компьютерные сети
• Компьютерное зрение
• Обнаружение мошенничества с кредитными картами
• Качество данных
• классификация последовательности ДНК
• Экономика
• Анализ финансового рынка ^[96]
• Общая игра
• Распознавание почерка
• Здравоохранение
• Поиск информации
• Страхование
• Обнаружение интернет-мошенничества
• Встраивание графа знаний
• Лингвистика
• Управление машинным обучением
• Машинное восприятие
• Машинный перевод
• Маркетинг
• Медицинская диагностика
• Обработка естественного языка
• Понимание естественного языка
• Интернет-реклама
• Оптимизация
• Рекомендательные системы
• Передвижение робота
• Поисковые системы
• Анализ настроений
• Последовательная добыча
• Программная инженерия
• Распознавание речи
• Мониторинг состояния конструкций
• Синтаксическое распознавание образов
• Телекоммуникации
• Доказательство теоремы
• Прогнозирование временных рядов
• Томографическая реконструкция ^[97]
• Аналитика поведения пользователей

В 2006 году поставщик медиа-услуг Netflix провел первый конкурс « Netflix Prize », чтобы найти программу для лучшего прогнозирования предпочтений пользователей и повышения точности своего существующего алгоритма рекомендации фильмов Cinematch как минимум на 10%. Совместная команда, состоящая из исследователей из AT&T Labs -Research в сотрудничестве с командами Big Chaos и Pragmatic Theory, построила ансамблевую модель , чтобы выиграть главный приз в 2009 году в размере 1 миллиона долларов. ^[98] Вскоре после вручения премии Netflix понял, что рейтинги зрителей не являются лучшими индикаторами их моделей просмотра («все является рекомендацией»), и они соответствующим образом изменили свой механизм рекомендаций. ^[99] В 2010 году The Wall Street Journal написал о фирме Rebellion Research и их использовании машинного обучения для прогнозирования финансового кризиса. ^[100] В 2012 году соучредитель Sun Microsystems Винод Хосла предсказал, что 80% рабочих мест врачей будут потеряны в течение следующих двух десятилетий из-за автоматизированного машинного обучения медицинского диагностического программного обеспечения. ^[101] В 2014 году сообщалось, что алгоритм машинного обучения был применен в области истории искусств для изучения картин изобразительного искусства и что он, возможно, выявил ранее нераспознанные влияния среди художников. ^[102] В 2019 году Springer Nature опубликовал первую исследовательскую книгу, созданную с использованием машинного обучения. ^[103] В 2020 году технология машинного обучения была использована для помощи в постановке диагнозов и помощи исследователям в разработке лекарства от COVID-19. ^[104] Недавно машинное обучение было применено для прогнозирования проэкологического поведения путешественников. ^[105] Недавно технология машинного обучения также была применена для оптимизации производительности смартфона и теплового поведения на основе взаимодействия пользователя с телефоном. ^{[106] [107] [108]} При правильном применении алгоритмы машинного обучения (MLA) могут использовать широкий спектр характеристик компании для прогнозирования доходности акций без переобучения . Используя эффективную разработку признаков и объединяя прогнозы, MLA могут генерировать результаты, которые намного превосходят результаты, полученные с помощью базовых линейных методов, таких как OLS . ^[109]

Недавние достижения в области машинного обучения распространились на область квантовой химии, где новые алгоритмы теперь позволяют прогнозировать влияние растворителей на химические реакции, тем самым предлагая химикам новые инструменты для адаптации экспериментальных условий для получения оптимальных результатов. ^[110]

Машинное обучение становится полезным инструментом для исследования и прогнозирования принятия решений об эвакуации в случае крупномасштабных и мелкомасштабных катастроф. Были протестированы различные решения для прогнозирования того, решат ли и когда домовладельцы эвакуироваться во время лесных пожаров и ураганов. ^{[111] [112] [113]} Другие приложения были сосредоточены на решениях до эвакуации при пожарах в зданиях. ^{[114] [115]}

Ограничения

Хотя машинное обучение и стало преобразующим фактором в некоторых областях, программы машинного обучения часто не дают ожидаемых результатов. ^{[116] [117] [118]} Причин тому множество: отсутствие (подходящих) данных, отсутствие доступа к данным, предвзятость данных, проблемы с конфиденциальностью, неправильно выбранные задачи и алгоритмы, неправильные инструменты и люди, отсутствие ресурсов и проблемы оценки. ^[119]

« Теория черного ящика » представляет собой еще одну, но существенную проблему. Черный ящик относится к ситуации, когда алгоритм или процесс создания выходных данных полностью непрозрачен, что означает, что даже кодировщики алгоритма не могут проверить шаблон, который машина извлекла из данных. ^[120] Специальный комитет Палаты лордов, который утверждал, что такая «система разведки», которая может иметь «существенное влияние на жизнь человека», не будет считаться приемлемой, если она не предоставит «полного и удовлетворительного объяснения решений», которые она принимает. ^[120]

В 2018 году беспилотный автомобиль Uber не смог обнаружить пешехода, который погиб в результате столкновения. ^[121] Попытки использовать машинное обучение в здравоохранении с помощью системы IBM Watson не увенчались успехом даже после многих лет и миллиардов долларов инвестиций. ^{[122] [123] Сообщается, что чат-бот} Bing Chat от Microsoft вызывает враждебную и оскорбительную реакцию по отношению к своим пользователям. ^[124]

Машинное обучение использовалось в качестве стратегии для обновления доказательств, связанных с систематическим обзором и возросшей нагрузкой на рецензента, связанной с ростом биомедицинской литературы. Хотя оно улучшилось с обучающими наборами, оно еще не достаточно развито, чтобы уменьшить нагрузку на рабочую нагрузку, не ограничивая необходимую чувствительность для самих исследований результатов. ^[125]

Предвзятость

Различные подходы к машинному обучению могут страдать от различных предубеждений в данных. Система машинного обучения, специально обученная на текущих клиентах, может оказаться неспособной предсказать потребности новых групп клиентов, которые не представлены в обучающих данных. При обучении на созданных человеком данных машинное обучение, скорее всего, подхватит конституционные и бессознательные предубеждения, уже присутствующие в обществе. ^[126]

Было показано, что языковые модели, полученные из данных, содержат человеческие предубеждения. ^{[127] [128]} В эксперименте, проведенном ProPublica , организацией журналистских расследований , алгоритм машинного обучения, анализирующий показатели рецидивизма среди заключенных, ложно помечал «чернокожих обвиняемых с высоким риском в два раза чаще, чем белых обвиняемых». ^[129] В 2015 году Google Photos часто помечал черных людей как горилл, ^[129] и в 2018 году эта проблема все еще не была решена, но Google, как сообщается, все еще использовал обходной путь для удаления всех горилл из обучающих данных и, таким образом, вообще не мог распознавать настоящих горилл. ^[130] Аналогичные проблемы с распознаванием небелых людей были обнаружены во многих других системах. ^[131] В 2016 году Microsoft протестировала Tay , чат-бота , который обучался у Twitter, и он быстро уловил расистский и сексистский язык. ^[132]

Из-за таких проблем эффективное использование машинного обучения может занять больше времени, чтобы быть принятым в других областях. ^[133] Озабоченность по поводу справедливости в машинном обучении, то есть снижения предвзятости в машинном обучении и продвижения его использования для блага человека, все чаще выражается учеными в области искусственного интеллекта, включая Фэй-Фэй Ли , который напоминает инженерам, что «в ИИ нет ничего искусственного. Он вдохновлен людьми, он создан людьми и — что самое важное — он влияет на людей. Это мощный инструмент, который мы только начинаем понимать, и это огромная ответственность». ^[134]

Объяснимость

Объяснимый ИИ (XAI), или Интерпретируемый ИИ, или Объяснимое машинное обучение (XML) — это искусственный интеллект (ИИ), в котором люди могут понимать решения или прогнозы, сделанные ИИ. ^[135] Он контрастирует с концепцией «черного ящика» в машинном обучении, где даже его разработчики не могут объяснить, почему ИИ пришел к определенному решению. ^[136] Уточняя ментальные модели пользователей систем, работающих на основе ИИ, и разрушая их заблуждения, XAI обещает помочь пользователям действовать более эффективно. XAI может быть реализацией социального права на объяснение.

Переобучение

Синяя линия может быть примером переобучения линейной функции из-за случайного шума.

Остановка на плохой, слишком сложной теории, переделанной для соответствия всем прошлым тренировочным данным, известна как переобучение. Многие системы пытаются уменьшить переобучение, вознаграждая теорию в соответствии с тем, насколько хорошо она соответствует данным, но наказывая теорию в соответствии с тем, насколько она сложна. ^[137]

Другие ограничения и уязвимости

Учащиеся также могут разочаровать, «усвоив неправильный урок». Игрушечный пример: классификатор изображений, обученный только на фотографиях коричневых лошадей и черных кошек, может прийти к выводу, что все коричневые пятна, скорее всего, являются лошадьми. ^[138] Реальный пример: в отличие от людей, современные классификаторы изображений часто не выносят суждений на основе пространственных отношений между компонентами изображения, а изучают отношения между пикселями, которые люди не замечают, но которые все еще коррелируют с изображениями определенных типов реальных объектов. Изменение этих шаблонов на законном изображении может привести к «состязательным» изображениям, которые система неправильно классифицирует. ^{[139] [140]}

Уязвимости состязательных систем также могут возникать в нелинейных системах или в результате нешаблонных возмущений. Для некоторых систем возможно изменить вывод, изменив только один выбранный состязательным образом пиксель. ^[141] Модели машинного обучения часто уязвимы для манипуляций и/или уклонения посредством состязательного машинного обучения . ^[142]

Исследователи продемонстрировали, как бэкдоры могут быть незаметно размещены в классифицирующих (например, для категорий «спам» и хорошо видимых «не спам» сообщений) моделях машинного обучения, которые часто разрабатываются и/или обучаются третьими лицами. Стороны могут изменить классификацию любых входных данных, в том числе в случаях, когда предоставляется тип прозрачности данных/программного обеспечения , возможно, включая доступ к «белому ящику» . ^{[143] [144] [145]}

Оценки моделей

Классификация моделей машинного обучения может быть проверена с помощью методов оценки точности, таких как метод удержания , который разделяет данные на обучающий и тестовый набор (обычно 2/3 обучающего набора и 1/3 тестового набора) и оценивает производительность обучающей модели на тестовом наборе. Для сравнения, метод перекрестной проверки K-кратности случайным образом разделяет данные на K подмножеств, а затем выполняется K экспериментов, каждый из которых рассматривает 1 подмножество для оценки и оставшиеся K-1 подмножеств для обучения модели. В дополнение к методам удержания и перекрестной проверки, для оценки точности модели можно использовать бутстрап , который выбирает n экземпляров с заменой из набора данных. ^[146]

В дополнение к общей точности исследователи часто сообщают о чувствительности и специфичности , имея в виду истинно положительный показатель (TPR) и истинно отрицательный показатель (TNR) соответственно. Аналогично исследователи иногда сообщают ложноположительный показатель (FPR), а также ложноотрицательный показатель (FNR). Однако эти показатели являются отношениями, которые не раскрывают их числители и знаменатели. Общая рабочая характеристика (TOC) является эффективным методом выражения диагностической способности модели. TOC показывает числители и знаменатели ранее упомянутых показателей, таким образом, TOC предоставляет больше информации, чем обычно используемая рабочая характеристика приемника (ROC) и связанная с ROC площадь под кривой (AUC). ^[147]

Этика

Машинное обучение ставит множество этических вопросов . Системы, которые обучаются на наборах данных, собранных с предубеждениями, могут демонстрировать эти предубеждения при использовании ( алгоритмическое предубеждение ), тем самым оцифровывая культурные предрассудки. ^[148] Например, в 1988 году Комиссия по расовому равенству Великобритании обнаружила, что Медицинская школа Св. Георгия использовала компьютерную программу, обученную на данных предыдущих сотрудников приемной комиссии, и что эта программа отклонила почти 60 кандидатов, которые оказались либо женщинами, либо имели неевропейские имена. ^[126] Использование данных о найме на работу из фирмы с расистской политикой найма может привести к тому, что система машинного обучения будет дублировать предубеждение, оценивая кандидатов на работу по сходству с предыдущими успешными кандидатами. ^{[149] [150]} Другой пример включает в себя предиктивный алгоритм компании Geolitica , занимающейся полицейской деятельностью , который привел к «непропорционально высокому уровню чрезмерного надзора в малообеспеченных и меньшинственных общинах» после обучения на исторических данных о преступлениях. ^[129]

Хотя ответственный сбор данных и документирование алгоритмических правил, используемых системой, считаются важнейшей частью машинного обучения, некоторые исследователи винят недостаточное участие и представительство меньшинств в области ИИ в уязвимости машинного обучения к предвзятости. ^[151] Фактически, согласно исследованию, проведенному Ассоциацией компьютерных исследований (CRA) в 2021 году, «женщины-преподаватели составляют всего 16,1%» всех преподавателей, которые занимаются ИИ в нескольких университетах по всему миру. ^[152] Кроме того, среди группы «новых выпускников аспирантуры по ИИ в США» 45% идентифицированы как белые, 22,4% как азиаты, 3,2% как латиноамериканцы и 2,4% как афроамериканцы, что еще раз демонстрирует отсутствие разнообразия в области ИИ. ^[152]

ИИ может быть хорошо оснащен для принятия решений в технических областях, которые в значительной степени опираются на данные и историческую информацию. Эти решения опираются на объективность и логическое обоснование. ^[153] Поскольку человеческие языки содержат предубеждения, машины, обученные на языковых корпусах , обязательно также изучат эти предубеждения. ^{[154] [155]}

Другие формы этических проблем, не связанные с личными предубеждениями, наблюдаются в здравоохранении. Среди специалистов в области здравоохранения существуют опасения, что эти системы могут быть разработаны не в интересах общественности, а как машины для получения дохода. ^[156] Это особенно актуально в Соединенных Штатах, где существует давняя этическая дилемма улучшения здравоохранения, но также и увеличения прибыли. Например, алгоритмы могут быть разработаны для предоставления пациентам ненужных тестов или лекарств, в которых владельцы алгоритма имеют долю. Существует потенциал для машинного обучения в здравоохранении, чтобы предоставить специалистам дополнительный инструмент для диагностики, лечения и планирования путей восстановления для пациентов, но для этого необходимо смягчить эти предубеждения. ^[157]

Аппаратное обеспечение

Начиная с 2010-х годов, достижения как в алгоритмах машинного обучения, так и в компьютерном оборудовании привели к более эффективным методам обучения глубоких нейронных сетей (определенная узкая подобласть машинного обучения), которые содержат много слоев нелинейных скрытых единиц. ^[158] К 2019 году графические процессоры ( GPU ), часто со специфическими для ИИ усовершенствованиями, вытеснили CPU в качестве доминирующего метода обучения крупномасштабного коммерческого облачного ИИ. ^[159] OpenAI оценила аппаратные вычисления, используемые в крупнейших проектах глубокого обучения от AlexNet (2012) до AlphaZero (2017), и обнаружила 300 000-кратное увеличение объема требуемых вычислений с трендом времени удвоения в 3,4 месяца. ^{[160] [161]}

Нейроморфные/физические нейронные сети

Физическая нейронная сеть или нейроморфный компьютер — это тип искусственной нейронной сети , в которой электрически регулируемый материал используется для эмуляции функции нейронного синапса . «Физическая» нейронная сеть используется для того, чтобы подчеркнуть зависимость от физического оборудования, используемого для эмуляции нейронов, в отличие от подходов, основанных на программном обеспечении. В более общем смысле этот термин применим к другим искусственным нейронным сетям, в которых мемристор или другой электрически регулируемый материал сопротивления используется для эмуляции нейронного синапса. ^{[162] [163]}

Встроенное машинное обучение

Встроенное машинное обучение — это подраздел машинного обучения, в котором модель машинного обучения запускается на встроенных системах с ограниченными вычислительными ресурсами, таких как носимые компьютеры , периферийные устройства и микроконтроллеры . ^{[164] [165] [166]} Запуск модели машинного обучения на встроенных устройствах устраняет необходимость передачи и хранения данных на облачных серверах для дальнейшей обработки, в дальнейшем сокращая утечки данных и конфиденциальности, происходящие из-за передачи данных, а также сводит к минимуму кражу интеллектуальной собственности, персональных данных и деловых секретов. Встроенное машинное обучение может применяться с помощью нескольких методов, включая аппаратное ускорение , ^{[167] [168]} использование приближенных вычислений , ^[169] оптимизацию моделей машинного обучения и многое другое. ^{[170] [171]} Обрезка , квантование, дистилляция знаний , низкоранговая факторизация, поиск сетевой архитектуры (NAS) и совместное использование параметров — вот лишь некоторые из методов, используемых для оптимизации моделей машинного обучения.

Программное обеспечение

Программные пакеты , содержащие различные алгоритмы машинного обучения, включают в себя следующее:

Бесплатное программное обеспечение с открытым исходным кодом

• Кафе
• Глубокое обучение4j
• DeepSpeed
• ЕЛКИ
• GoogleJAX-
• Infer.NET
• Керас
• Kubeflow
• LightGBM
• Погонщик лошадей
• Молоток
• Набор когнитивных инструментов Microsoft
• МЛ.НЕТ
• млпакет
• MXNet
• OpenNN
• Апельсин
• панды (программное обеспечение)
• ROOT (TMVA с ROOT)
• scikit-learn
• Сёгун
• SparkMLlib
• СистемаML
• TensorFlow
• Факел / PyTorch
• Века / МОА
• XGBoost
• Ёорика

Проприетарное программное обеспечение с бесплатными и открытыми версиями

• НОЖ
• RapidMiner

Собственное программное обеспечение

• Машинное обучение Amazon
• Angoss KnowledgeSTUDIO
• Машинное обучение Azure
• IBM Watson Studio
• Google Cloud Vertex ИИ
• API прогнозирования Google
• IBM SPSS Modeler
• KXEN Моделировщик
• LIONsolver
• Математика
• МАТЛАБ
• Нейронный конструктор
• НейроРешения
• Oracle Data Mining
• Облачный сервис Oracle AI Platform
• ПолиАналитик
• RCASE
• SAS Enterprise Майнер
• ПоследовательностьL
• Сплунц
• STATISTICA Data Miner

Журналы

• Журнал исследований машинного обучения
• Машинное обучение
• Природа Машинный Интеллект
• Нейронные вычисления
• Труды IEEE по анализу образов и машинному интеллекту

Конференции

• Конференция AAAI по искусственному интеллекту
• Ассоциация компьютерной лингвистики ( ACL )
• Европейская конференция по машинному обучению и принципам и практике обнаружения знаний в базах данных ( ECML PKDD )
• Международная конференция по методам вычислительного интеллекта для биоинформатики и биостатистики ( CIBB )
• Международная конференция по машинному обучению ( ICML )
• Международная конференция по обучению репрезентациям ( ICLR )
• Международная конференция по интеллектуальным роботам и системам ( IROS )
• Конференция по поиску знаний и интеллектуальному анализу данных ( KDD )
• Конференция по нейронным системам обработки информации ( NeurIPS )

Смотрите также

• Автоматизированное машинное обучение  – процесс автоматизации применения машинного обучения.
• Большие данные  – чрезвычайно большие или сложные наборы данных
• Глубокое обучение — раздел машинного обучения, занимающийся искусственными нейронными сетями.
• Дифференцируемое программирование  – Парадигма программирования
• Список важных публикаций по машинному обучению
• Список наборов данных для исследований в области машинного обучения
• М-теория (структура обучения)

Ссылки

1. Определение «без явного программирования» часто приписывается Артуру Сэмюэлю , который ввел термин «машинное обучение» в 1959 году, но эта фраза не встречается дословно в этой публикации и может быть парафразом , появившимся позже. Confer «Перефразируя Артура Сэмюэля (1959), вопрос заключается в следующем: как компьютеры могут научиться решать проблемы без явного программирования?» в Koza, John R.; Bennett, Forrest H.; Andre, David; Keane, Martin A. (1996). «Автоматизированное проектирование как топологии, так и размеров аналоговых электрических схем с использованием генетического программирования». Искусственный интеллект в дизайне '96 . Искусственный интеллект в дизайне '96. Springer, Dordrecht. стр. 151–170. doi :10.1007/978-94-009-0279-4_9. ISBN 978-94-010-6610-5.
2. "Что такое машинное обучение?". IBM . 22 сентября 2021 г. Архивировано из оригинала 2023-12-27 . Получено 2023-06-27 .
3. Ху, Джунян; Ниу, Ханлинь; Карраско, Хоакин; Леннокс, Барри; Арвин, Фаршад (2020). «Автономное исследование неизвестных сред с использованием многороботов на основе Вороного с помощью глубокого обучения с подкреплением». Труды IEEE по транспортным технологиям . 69 (12): 14413–14423. doi : 10.1109/tvt.2020.3034800 . ISSN  0018-9545. S2CID  228989788.
4. Yoosefzadeh-Najafabadi, Mohsen; Hugh, Earl; Tulpan, Dan; Sulik, John; Eskandari, Milad (2021). «Применение алгоритмов машинного обучения в селекции растений: прогнозирование урожайности по гиперспектральному отражению сои?». Front. Plant Sci . 11 : 624273. doi : 10.3389/fpls.2020.624273 . PMC 7835636. PMID  33510761 . 
5. Bishop, CM (2006), Распознавание образов и машинное обучение , Springer, ISBN 978-0-387-31073-2
6. Машинное обучение и распознавание образов «можно рассматривать как две грани одной области». ^{[5] : vii}
7. Фридман, Джером Х. (1998). «Интеллектуальный анализ данных и статистика: в чем связь?». Вычислительная наука и статистика . 29 (1): 3–9.
8. Сэмюэл, Артур (1959). «Некоторые исследования машинного обучения с использованием игры в шашки». IBM Journal of Research and Development . 3 (3): 210–229. CiteSeerX 10.1.1.368.2254 . doi :10.1147/rd.33.0210. S2CID  2126705. 
9. Р. Кохави и Ф. Провост, «Словарь терминов», Машинное обучение, т. 30, № 2–3, стр. 271–274, 1998.
10. Герович, Слава (9 апреля 2015 г.). «Как компьютер отомстил Советскому Союзу». Nautilus . Архивировано из оригинала 22 сентября 2021 г. Получено 19 сентября 2021 г.
11. Линдсей, Ричард П. (1 сентября 1964 г.). «Влияние автоматизации на государственное управление». Western Political Quarterly . 17 (3): 78–81. doi : 10.1177/106591296401700364. ISSN  0043-4078. S2CID  154021253. Архивировано из оригинала 6 октября 2021 г. . Получено 6 октября 2021 г. .
12. "История и эволюция машинного обучения: хронология". WhatIs . Архивировано из оригинала 2023-12-08 . Получено 2023-12-08 .
13. Милнер, Питер М. (1993). «Разум и Дональд О. Хебб». Scientific American . 268 (1): 124–129. Bibcode : 1993SciAm.268a.124M. doi : 10.1038/scientificamerican0193-124. ISSN  0036-8733. JSTOR  24941344. PMID  8418480. Архивировано из оригинала 20.12.2023 . Получено 09.12.2023 .
14. «Наука: кнопка глупости», Time (журнал) , 18 августа 1961 г.
15. Нильссон Н. Обучающиеся машины, McGraw Hill, 1965.
16. Дуда, Р., Харт П. Распознавание образов и анализ сцен, Wiley Interscience, 1973
17. S. Bozinovski «Teaching space: A representation concept for Adaptive Pattern classification» Технический отчет COINS № 81-28, Кафедра компьютерных и информационных наук, Массачусетский университет в Амхерсте, штат Массачусетс, 1981. https://web.cs.umass.edu/publication/docs/1981/UM-CS-1981-028.pdf Архивировано 25.02.2021 на Wayback Machine
18. Mitchell, T. (1997). Машинное обучение . McGraw Hill. стр. 2. ISBN 978-0-07-042807-2.
19. Харнад, Стеван (2008), «Игра в аннотации: по Тьюрингу (1950) о вычислениях, машинах и интеллекте», в Эпштейн, Роберт; Питерс, Грейс (ред.), Справочник по тесту Тьюринга: философские и методологические вопросы в поисках мыслящего компьютера , Kluwer, стр. 23–66, ISBN 9781402067082, архивировано из оригинала 2012-03-09 , извлечено 2012-12-11
20. "Введение в ИИ Часть 1". Издание . 2020-12-08. Архивировано из оригинала 2021-02-18 . Получено 2020-12-09 .
21. Синдху В., Ниведха С., Пракаш М. (февраль 2020 г.). «Эмпирическое научное исследование биоинформатики в машинном обучении». Журнал механики сплошных сред и математических наук (7). doi : 10.26782/jmcms.spl.7/2020.02.00006 .
22. Сарл, Уоррен С. (1994). «Нейронные сети и статистические модели». SUGI 19: труды девятнадцатой ежегодной международной конференции SAS Users Group . Институт SAS. стр. 1538–50. ISBN 9781555446116. OCLC  35546178.
23. Рассел, Стюарт ; Норвиг, Питер (2003) [1995]. Искусственный интеллект: современный подход (2-е изд.). Prentice Hall. ISBN 978-0137903955.
24. Лэнгли, Пэт (2011). «Изменение науки машинного обучения». Машинное обучение . 82 (3): 275–9. doi : 10.1007/s10994-011-5242-y .
25. Махони, Мэтт. «Обоснование для эталонного теста сжатия большого текста». Флоридский технологический институт . Получено 5 марта 2013 г.
26. Shmilovici A.; Kahiri Y.; Ben-Gal I.; Hauser S. (2009). «Измерение эффективности внутридневного рынка Forex с помощью универсального алгоритма сжатия данных» (PDF) . Computational Economics . 33 (2): 131–154. CiteSeerX 10.1.1.627.3751 . doi :10.1007/s10614-008-9153-3. S2CID  17234503. Архивировано (PDF) из оригинала 2009-07-09. 
27. I. Ben-Gal (2008). «Об использовании мер сжатия данных для анализа надежных конструкций» (PDF) . IEEE Transactions on Reliability . 54 (3): 381–388. doi :10.1109/TR.2005.853280. S2CID  9376086.
28. D. Scully; Carla E. Brodley (2006). "Сжатие и машинное обучение: новый взгляд на векторы пространства признаков". Конференция по сжатию данных (DCC'06) . стр. 332. doi :10.1109/DCC.2006.13. ISBN 0-7695-2545-8. S2CID  12311412.
29. Гэри Эдкок (5 января 2023 г.). «Что такое сжатие видео с помощью ИИ?». massive.io . Получено 6 апреля 2023 г. .
30. Ментцер, Фабиан; Тодеричи, Джордж; Тшаннен, Майкл; Агустссон, Эйрикур (2020). «Высокоточная генеративная компрессия изображений». arXiv : 2006.09965 [eess.IV].
31. «Что такое неконтролируемое обучение? | IBM». www.ibm.com . 23 сентября 2021 г. . Получено 2024-02-05 .
32. "Дифференциально частная кластеризация для крупномасштабных наборов данных". blog.research.google . 2023-05-25 . Получено 2024-03-16 .
33. Эдвардс, Бендж (28.09.2023). «Модели языка ИИ могут превзойти PNG и FLAC по сжатию без потерь, говорится в исследовании». Ars Technica . Получено 07.03.2024 .
34. Le Roux, Nicolas; Bengio, Yoshua; Fitzgibbon, Andrew (2012). «Улучшение методов первого и второго порядка путем моделирования неопределенности». В Sra, Suvrit; Nowozin, Sebastian; Wright, Stephen J. (ред.). Оптимизация для машинного обучения . MIT Press. стр. 404. ISBN 9780262016469. Архивировано из оригинала 2023-01-17 . Получено 2020-11-12 .
35. Бздок, Данило; Альтман, Наоми ; Крживинский, Мартин (2018). «Статистика против машинного обучения». Nature Methods . 15 (4): 233–234. doi :10.1038/nmeth.4642. PMC 6082636. PMID  30100822 . 
36. Майкл И. Джордан (2014-09-10). "статистика и машинное обучение". reddit. Архивировано из оригинала 2017-10-18 . Получено 2014-10-01 .
37. Хунг и др. Алгоритмы для измерения эффективности хирурга и прогнозирования клинических результатов в роботизированной хирургии. JAMA Surg. 2018
38. Библиотека Корнеллского университета (август 2001 г.). «Breiman: Statistical Modeling: The Two Cultures (with comments and a replicand by the author)». Статистическая наука . 16 (3). doi : 10.1214/ss/1009213726 . S2CID  62729017. Архивировано из оригинала 26 июня 2017 г. Получено 8 августа 2015 г.
39. Гарет Джеймс; Даниэла Виттен; Тревор Хасти; Роберт Тибширани (2013). Введение в статистическое обучение. Springer. стр. vii. Архивировано из оригинала 2019-06-23 . Получено 2014-10-25 .
40. Ramezanpour, A.; Beam, AL; Chen, JH; Mashaghi, A. (17 ноября 2020 г.). «Статистическая физика для медицинской диагностики: алгоритмы обучения, вывода и оптимизации». Диагностика . 10 (11): 972. doi : 10.3390/diagnostics10110972 . PMC 7699346. PMID  33228143 . 
41. Mashaghi, A.; Ramezanpour, A. (16 марта 2018 г.). «Статистическая физика медицинской диагностики: исследование вероятностной модели». Physical Review E. 97 ( 3–1): 032118. arXiv : 1803.10019 . Bibcode : 2018PhRvE..97c2118M. doi : 10.1103/PhysRevE.97.032118. PMID  29776109. S2CID  4955393.
42. Мори, Мехриар ; Ростамизаде, Афшин; Талвалкар, Амит (2012). Основы машинного обучения . США, Массачусетс: MIT Press. ISBN 9780262018258.
43. Alpaydin, Ethem (2010). Введение в машинное обучение . Лондон: The MIT Press. ISBN 978-0-262-01243-0. Получено 4 февраля 2017 г.
44. Jordan, MI; Mitchell, TM (17 июля 2015 г.). «Машинное обучение: тенденции, перспективы и перспективы». Science . 349 (6245): 255–260. Bibcode :2015Sci...349..255J. doi :10.1126/science.aaa8415. PMID  26185243. S2CID  677218.
45. Эль Нака, Иссам; Мерфи, Мартин Дж. (2015). «Что такое машинное обучение?». Машинное обучение в радиационной онкологии . стр. 3–11. doi :10.1007/978-3-319-18305-3_1. ISBN 978-3-319-18304-6. S2CID  178586107.
46. Околи, Джуд А.; Сэвидж, Шона; Огбага, Чуквума К.; Гунес, Бурку (июнь 2022 г.). «Оценка потенциала методов машинного обучения для изучения удаления фармацевтических препаратов из сточных вод с использованием биоугля или активированного угля». Total Environment Research Themes . 1–2 : 100001. Bibcode : 2022TERT....100001O. doi : 10.1016/j.totert.2022.100001 . S2CID  249022386.
47. Рассел, Стюарт Дж.; Норвиг, Питер (2010). Искусственный интеллект: современный подход (третье изд.). Prentice Hall. ISBN 9780136042594.
48. Мори, Мехриар; Ростамизаде, Афшин; Талвалкар, Амит (2012). Основы машинного обучения . Массачусетский технологический институт Пресс. ISBN 9780262018258.
49. Алпайдин, Этем (2010). Введение в машинное обучение. MIT Press. стр. 9. ISBN 978-0-262-01243-0. Архивировано из оригинала 2023-01-17 . Получено 2018-11-25 .
50. "Заметки к лекции 2: контролируемое обучение". www.cs.cornell.edu . Получено 01.07.2024 .
51. Jordan, Michael I.; Bishop, Christopher M. (2004). "Нейронные сети". В Allen B. Tucker (ред.). Computer Science Handbook, второе издание (Раздел VII: Интеллектуальные системы) . Boca Raton, Florida: Chapman & Hall/CRC Press LLC. ISBN 978-1-58488-360-9.
52. Чжан, Бозен; Хуан, Хайянь; Тиббс-Кортес, Лора Э.; Ванус, Адам; Чжан, Чжиу; Сангвине, Карен; Гарланд-Кэмпбелл, Кимберли А.; Ю, Цзяньмин; Ли, Сяньрань (2023). «Оптимизация неконтролируемого машинного обучения для исследования и графического отображения гаплотипов на основе инделей из пангеномов». Molecular Plant . 16 (6): 975–978. doi : 10.1016/j.molp.2023.05.005 . PMID  37202927.
53. Чжан, Бозен; Хуан, Хайянь; Тиббс-Кортес, Лора Э.; Ванус, Адам; Чжан, Чжиу; Сангвине, Карен; Гарланд-Кэмпбелл, Кимберли А.; Ю, Цзяньмин; Ли, Сяньрань (2023-02-13). Оптимизация неконтролируемого машинного обучения для исследования и графического отображения гаплотипов на основе инделей из пангеномов (Отчет). doi :10.1101/2023.02.11.527743.
54. Мисра, Ишан; Маатен, Лоренс ван дер (2020). Самоконтролируемое обучение инвариантным по претексту представлениям. Конференция IEEE/CVF 2020 года по компьютерному зрению и распознаванию образов (CVPR). Сиэтл, Вашингтон, США: IEEE . стр. 6707–6717. arXiv : 1912.01991 . doi : 10.1109/CVPR42600.2020.00674.
55. Джайсвал, Ашиш; Бабу, Эшвин Рамеш; Заде, Мохаммад Заки; Банерджи, Дебаприя; Македон, Филлия (март 2021 г.). «Обзор контрастного самоконтролируемого обучения». Технологии . 9 (1): 2. arXiv : 2011.00362 . doi : 10.3390/technologies9010002 . ISSN  2227-7080.
56. Алекс Ратнер; Стивен Бах; Парома Варма; Крис. «Слабое руководство: новая парадигма программирования для машинного обучения». hazyresearch.github.io . ссылается на работы многих других членов Hazy Research. Архивировано из оригинала 2019-06-06 . Получено 2019-06-06 .
57. Ван Оттерло, М.; Виринг, М. (2012). «Обучение с подкреплением и марковские процессы принятия решений». Обучение с подкреплением . Адаптация, обучение и оптимизация. Том 12. С. 3–42. doi :10.1007/978-3-642-27645-3_1. ISBN 978-3-642-27644-6.
58. Roweis, Sam T.; Saul, Lawrence K. (22 декабря 2000 г.). «Нелинейное снижение размерности путем локально-линейного вложения». Science . 290 (5500): 2323–2326. Bibcode :2000Sci...290.2323R. doi :10.1126/science.290.5500.2323. PMID  11125150. S2CID  5987139. Архивировано из оригинала 15 августа 2021 г. Получено 17 июля 2023 г.
59. Павел Браздил; Кристоф Жиро Карриер; Карлос Соарес; Рикардо Вилалта (2009). Метаобучение: приложения к интеллектуальному анализу данных (четвертое изд.). Springer Science+Business Media . стр. 10–14, везде . ISBN 978-3540732624.
60. Бозиновски, С. (1982). «Система самообучения с использованием вторичного подкрепления». В Траппл, Роберт (ред.). Кибернетика и системные исследования: Труды шестой европейской встречи по кибернетике и системным исследованиям. Северная Голландия. С. 397–402. ISBN 978-0-444-86488-8 . 
61. Бозиновски, Стево (2014) «Моделирование механизмов взаимодействия познания и эмоций в искусственных нейронных сетях с 1981 года». Procedia Computer Science, стр. 255-263
62. Бозиновски, С. (2001) «Самообучающиеся агенты: коннекционистская теория эмоций, основанная на перекрестных оценочных суждениях». Кибернетика и системы 32(6) 637–667.
63. Y. Bengio; A. Courville; P. Vincent (2013). «Обучение представлениям: обзор и новые перспективы». Труды IEEE по анализу шаблонов и машинному интеллекту . 35 (8): 1798–1828. arXiv : 1206.5538 . doi : 10.1109/tpami.2013.50. PMID  23787338. S2CID  393948.
64. Натан Сребро; Джейсон Д.М. Ренни; Томми С. Яаккола (2004). Факторизация матрицы максимальной маржи . НИПС .
65. Коутс, Адам; Ли, Хонглак; Нг, Эндрю Й. (2011). Анализ однослойных сетей в неконтролируемом обучении признаков (PDF) . Международная конференция по ИИ и статистике (AISTATS). Архивировано из оригинала (PDF) 2017-08-13 . Получено 2018-11-25 .
66. Csurka, Gabriella; Dance, Christopher C.; Fan, Lixin; Willamowski, Jutta; Bray, Cédric (2004). Визуальная категоризация с мешками ключевых точек (PDF) . Семинар ECCV по статистическому обучению в области компьютерного зрения. Архивировано (PDF) из оригинала 13.07.2019 . Получено 29.08.2019 .
67. Дэниел Джурафски; Джеймс Х. Мартин (2009). Обработка речи и языка . Pearson Education International. С. 145–146.
68. Lu, Haiping; Plataniotis, KN; Venetsanopoulos, AN (2011). "Обзор многолинейного обучения подпространства для тензорных данных" (PDF) . Распознавание образов . 44 (7): 1540–1551. Bibcode :2011PatRe..44.1540L. doi :10.1016/j.patcog.2011.01.004. Архивировано (PDF) из оригинала 2019-07-10 . Получено 2015-09-04 .
69. Йошуа Бенджио (2009). Изучение глубоких архитектур для ИИ. Now Publishers Inc. стр. 1–3. ISBN 978-1-60198-294-0. Архивировано из оригинала 2023-01-17 . Получено 2016-02-15 .
70. Тиллманн, AM (2015). «О вычислительной неразрешимости точного и приближенного обучения словарям». IEEE Signal Processing Letters . 22 (1): 45–49. arXiv : 1405.6664 . Bibcode : 2015ISPL...22...45T. doi : 10.1109/LSP.2014.2345761. S2CID  13342762.
71. Аарон, М. , М. Элад и А. Брукштейн. 2006. «K-SVD: алгоритм проектирования сверхполных словарей для разреженного представления. Архивировано 23 ноября 2018 г. в Wayback Machine ». Обработка сигналов, IEEE Transactions on 54 (11): 4311–4322
72. Зимек, Артур; Шуберт, Эрих (2017), «Обнаружение выбросов», Энциклопедия систем баз данных , Springer New York, стр. 1–5, doi :10.1007/978-1-4899-7993-3_80719-1, ISBN 9781489979933
73. Hodge, VJ; Austin, J. (2004). "Обзор методов обнаружения выбросов" (PDF) . Artificial Intelligence Review . 22 (2): 85–126. CiteSeerX 10.1.1.318.4023 . doi :10.1007/s10462-004-4304-y. S2CID  59941878. Архивировано (PDF) из оригинала 22-06-2015 . Получено 25-11-2018 . 
74. Докас, Пол; Эртоз, Левент; Кумар, Випин; Лазаревич, Александр; Шривастава, Джайдип; Тан, Панг-Нин (2002). "Интеллектуальный анализ данных для обнаружения сетевых вторжений" (PDF) . Труды семинара NSF по интеллектуальному анализу данных следующего поколения . Архивировано (PDF) из оригинала 2015-09-23 . Получено 2023-03-26 .
75. Чандола, В.; Банерджи, А.; Кумар, В. (2009). «Обнаружение аномалий: обзор». ACM Computing Surveys . 41 (3): 1–58. doi :10.1145/1541880.1541882. S2CID  207172599.
76. Fleer, S.; Moringen, A.; Klatzky, RL; Ritter, H. (2020). «Обучение эффективному исследованию тактильной формы с помощью жесткой матрицы тактильных датчиков», S. Fleer, A. Moringen, R. Klatzky, H. Ritter». PLOS ONE . ​​15 (1): e0226880. arXiv : 1902.07501 . doi : 10.1371/journal.pone.0226880 . PMC 6940144 . PMID  31896135. 
77. Моринген, Александра; Флер, Саша; Вальк, Гийом; Риттер, Хельге (2020), Ниски, Илана; Хартчер-О'Брайен, Джесс; Виртлевски, Михаэль; Смитс, Йерун (ред.), «Обучение роботов тактильному взаимодействию на основе внимания», Haptics: Science, Technology, Applications , Lecture Notes in Computer Science, т. 12272, Cham: Springer International Publishing, стр. 462–470, doi : 10.1007/978-3-030-58147-3_51 , ISBN 978-3-030-58146-6, S2CID  220069113
78. Пятецкий-Шапиро, Грегори (1991), Открытие, анализ и представление строгих правил , в Пятецкий-Шапиро, Грегори; и Фроули, Уильям Дж.; ред., Открытие знаний в базах данных , AAAI/MIT Press, Кембридж, Массачусетс.
79. Bassel, George W.; Glaab, Enrico; Marquez, Julietta; Holdsworth, Michael J.; Bacardit, Jaume (2011-09-01). «Построение функциональной сети в Arabidopsis с использованием машинного обучения на основе правил на больших наборах данных». The Plant Cell . 23 (9): 3101–3116. doi :10.1105/tpc.111.088153. ISSN  1532-298X. PMC 3203449. PMID 21896882  . 
80. Агравал, Р.; Имелински, Т.; Свами, А. (1993). "Разработка правил ассоциации между наборами элементов в больших базах данных". Труды международной конференции ACM SIGMOD 1993 года по управлению данными - SIGMOD '93 . стр. 207. CiteSeerX 10.1.1.40.6984 . doi :10.1145/170035.170072. ISBN  978-0897915922. S2CID  490415.
81. Урбанович, Райан Дж.; Мур, Джейсон Х. (2009-09-22). «Системы классификаторов обучения: полное введение, обзор и дорожная карта». Журнал искусственной эволюции и приложений . 2009 : 1–25. doi : 10.1155/2009/736398 . ISSN  1687-6229.
82. Плоткин Г.Д. Автоматические методы индуктивного вывода. Архивировано 22 декабря 2017 г. в Wayback Machine , докторская диссертация, Эдинбургский университет, 1970 г.
83. Шапиро, Эхуд Й. Индуктивный вывод теорий из фактов. Архивировано 21 августа 2021 г. в Wayback Machine , Исследовательский отчет 192, Йельский университет, Кафедра компьютерных наук, 1981 г. Перепечатано в J.-L. Lassez, G. Plotkin (ред.), Computational Logic, The MIT Press, Кембридж, Массачусетс, 1991 г., стр. 199–254.
84. Шапиро, Эхуд И. (1983). Алгоритмическая отладка программ . Кембридж, Массачусетс: MIT Press. ISBN 0-262-19218-7 
85. Шапиро, Эхуд Й. «Система вывода модели. Архивировано 06.04.2023 в Wayback Machine ». Труды 7-й международной совместной конференции по искусственному интеллекту. Том 2. Morgan Kaufmann Publishers Inc., 1981.
86. Бурков, Андрей (2019). Стостраничная книга о машинном обучении . Польша: Андрей Бурков. ISBN 978-1-9995795-0-0.
87. Рассел, Стюарт Дж.; Норвиг, Питер (2021). Искусственный интеллект: современный подход . Серия Пирсона по искусственному интеллекту (Четвертое изд.). Хобокен: Пирсон. ISBN 978-0-13-461099-3.
88. Хонглак Ли, Роджер Гросс, Раджеш Ранганат, Эндрю Й. Нг. «Сверточные сети глубоких убеждений для масштабируемого неконтролируемого обучения иерархических представлений. Архивировано 18 октября 2017 г. в Wayback Machine ». Труды 26-й ежегодной международной конференции по машинному обучению, 2009 г.
89. Кортес, Коринна ; Вапник, Владимир Н. (1995). «Сети опорных векторов». Машинное обучение . 20 (3): 273–297. doi : 10.1007/BF00994018 .
90. Стивенсон, Кристофер. "Учебник: Полиномиальная регрессия в Excel". Facultystaff.richmond.edu . Архивировано из оригинала 2 июня 2013 г. Получено 22 января 2017 г.
91. Документация по scikit-learn также содержит похожие примеры. Архивировано 2022-11-02 на Wayback Machine .
92. Голдберг, Дэвид Э.; Холланд, Джон Х. (1988). «Генетические алгоритмы и машинное обучение» (PDF) . Машинное обучение . 3 (2): 95–99. doi : 10.1007/bf00113892 . S2CID  35506513. Архивировано (PDF) из оригинала 2011-05-16 . Получено 2019-09-03 .
93. Мичи, Д.; Шпигельхальтер, Д.Дж.; Тейлор, К.С. (1994). «Машинное обучение, нейронная и статистическая классификация». Серия Эллиса Хорвуда по искусственному интеллекту . Bibcode :1994mlns.book.....M.
94. Чжан, Цзюнь; Чжан, Чжи-хуэй; Линь, Ин; Чен, Ни; Гун, Юэ-цзяо; Чжун, Цзин-хуэй; Чанг, Генри С.Х.; Ли, Юн; Ши, Юй-хуэй (2011). «Эволюционные вычисления встречаются с машинным обучением: опрос». Журнал вычислительной разведки . 6 (4): 68–75. дои : 10.1109/mci.2011.942584. S2CID  6760276.
95. "Федеральное обучение: совместное машинное обучение без централизованных данных обучения". Блог Google AI . 6 апреля 2017 г. Архивировано из оригинала 2019-06-07 . Получено 2019-06-08 .
96. Машинное обучение включено в учебную программу CFA (обсуждение сверху вниз); см.: Кэтлин ДеРоуз и Кристоф Ле Ланно (2020). «Машинное обучение» Архивировано 13 января 2020 г. на Wayback Machine .
97. Иваненко, Михаил; Смолик, Вальдемар Т.; Ванта, Дамиан; Мидура, Матеуш; Врублевский, Прземыслав; Хоу, Сяохань; Янь, Сяохэн (2023). «Реконструкция изображений с использованием контролируемого обучения в носимой электроимпедансной томографии грудной клетки». Датчики . 23 (18): 7774. Bibcode :2023Senso..23.7774I. doi : 10.3390/s23187774 . PMC 10538128 . PMID  37765831. 
98. "Домашняя страница BelKor" research.att.com
99. "The Netflix Tech Blog: Рекомендации Netflix: за пределами 5 звезд (часть 1)". 2012-04-06. Архивировано из оригинала 31 мая 2016 года . Получено 8 августа 2015 года .
100. Скотт Паттерсон (13 июля 2010 г.). «Пусть машины решают». The Wall Street Journal . Архивировано из оригинала 24 июня 2018 г. Получено 24 июня 2018 г.
101. Винод Хосла (10 января 2012 г.). «Нужны ли нам врачи или алгоритмы?». Tech Crunch. Архивировано из оригинала 18 июня 2018 г. Получено 20 октября 2016 г.
102. Когда алгоритм машинного обучения изучал картины изобразительного искусства, он увидел вещи, которые историки искусства никогда не замечали Архивировано 2016-06-04 в Wayback Machine , блог The Physics at ArXiv
103. Винсент, Джеймс (2019-04-10). «Первый учебник, созданный ИИ, показывает, в чем на самом деле хороши роботы-писатели». The Verge . Архивировано из оригинала 2019-05-05 . Получено 2019-05-05 .
104. Вайшья, Раджу; Джаваид, Мохд; Хан, Ибрагим Халим; Халим, Абид (1 июля 2020 г.). «Применение искусственного интеллекта (ИИ) при пандемии COVID-19». Диабет и метаболический синдром: клинические исследования и обзоры . 14 (4): 337–339. doi : 10.1016/j.dsx.2020.04.012 . PMC 7195043. PMID  32305024 . 
105. Резапурагдам, Хамед; Ахшик, Араш; Рамкиссун, Хайванти (10 марта 2021 г.). «Применение машинного обучения для прогнозирования зеленого поведения посетителей в морских охраняемых районах: доказательства с Кипра». Журнал устойчивого туризма . 31 (11): 2479–2505. doi : 10.1080/09669582.2021.1887878 . hdl : 10037/24073 .
106. Дей, Сомдип; Сингх, Амит Кумар; Ван, Сяохан; Макдональд-Майер, Клаус (15.06.2020). «Обучение с подкреплением с учетом взаимодействия с пользователем для повышения энергоэффективности и тепловой эффективности мобильных MPSoC CPU-GPU». Конференция и выставка по проектированию, автоматизации и тестированию в Европе 2020 года (ДАТА) (PDF) . стр. 1728–1733. doi :10.23919/DATE48585.2020.9116294. ISBN 978-3-9819263-4-7. S2CID  219858480. Архивировано из оригинала 2021-12-13 . Получено 2022-01-20 .
107. Квестед, Тони. «Смартфоны становятся умнее с инновациями Эссекса». Business Weekly . Архивировано из оригинала 24.06.2021 . Получено 17.06.2021 .
108. Уильямс, Рианнон (21.07.2020). «Будущие смартфоны «продлят срок службы своих аккумуляторов, отслеживая поведение владельцев». i . Архивировано из оригинала 24.06.2021 . Получено 17.06.2021 .
109. Rasekhschaffe, Keywan Christian; Jones, Robert C. (2019-07-01). «Машинное обучение для выбора акций». Financial Analysts Journal . 75 (3): 70–88. doi : 10.1080/0015198X.2019.1596678. ISSN  0015-198X. S2CID  108312507. Архивировано из оригинала 26.11.2023 . Получено 26.11.2023 .
110. Chung, Yunsie; Green, William H. (2024). «Машинное обучение на основе квантовой химии для прогнозирования экспериментальных эффектов растворителя на скорости реакции». Chemical Science . 15 (7): 2410–2424. doi :10.1039/D3SC05353A. ISSN  2041-6520. PMC 10866337 . PMID  38362410. Архивировано из оригинала 2024-05-19 . Получено 2024-04-21 . 
111. Сан, Юран; Хуан, Ши-Кай; Чжао, Силэй (2024-02-01). «Прогнозирование решений об эвакуации во время урагана с помощью интерпретируемых методов машинного обучения». Международный журнал науки о риске катастроф . 15 (1): 134–148. arXiv : 2303.06557 . Bibcode :2024IJDRS..15..134S. doi : 10.1007/s13753-024-00541-1 . ISSN  2192-6395.
112. Сан, Юран; Чжао, Силей; Ловреглио, Руджеро; Кулиговски, Эрика (01.01.2024), Насер, МЗ (ред.), «8 — ИИ для крупномасштабного моделирования эвакуации: обещания и проблемы», Интерпретируемое машинное обучение для анализа, проектирования, оценки и принятия обоснованных решений для гражданской инфраструктуры , Серия издательства Woodhead Publishing по гражданскому и структурному проектированию, Woodhead Publishing, стр. 185–204, ISBN 978-0-12-824073-1, заархивировано из оригинала 2024-05-19 , извлечено 2024-05-19
113. Сюй, Нинчжэ; Ловреглио, Руджеро; Кулиговски, Эрика Д.; Кова, Томас Дж.; Нильссон, Дэниел; Чжао, Силей (2023-03-01). «Прогнозирование и оценка принятия решений об эвакуации при лесных пожарах с использованием машинного обучения: выводы из пожара в Кинкейде 2019 года». Fire Technology . 59 (2): 793–825. doi :10.1007/s10694-023-01363-1. ISSN  1572-8099. Архивировано из оригинала 2024-05-19 . Получено 2024-05-19 .
114. Ван, Кэ; Ши, Сюпэн; Го, Альджен Пэй Сюань; Цянь, Шуньчжи (2019-06-01). «Исследование динамики движения пешеходов при экстренной эвакуации на основе машинного обучения». Fire Safety Journal . 106 : 163–176. Bibcode : 2019FirSJ.106..163W. doi : 10.1016/j.firesaf.2019.04.008. hdl : 10356/143390 . ISSN  0379-7112. Архивировано из оригинала 2024-05-19 . Получено 2024-05-19 .
115. Чжао, Силей; Ловреглио, Руджеро; Нильссон, Даниэль (2020-05-01). «Моделирование и интерпретация принятия решений перед эвакуацией с использованием машинного обучения». Автоматизация в строительстве . 113 : 103140. doi : 10.1016/j.autcon.2020.103140. ISSN  0926-5805. Архивировано из оригинала 2024-05-19 . Получено 2024-05-19 .
116. «Почему модели машинного обучения часто не обучаются: QuickTake Q&A». Bloomberg.com . 2016-11-10. Архивировано из оригинала 2017-03-20 . Получено 10 апреля 2017 .
117. «Первая волна корпоративного ИИ обречена на провал». Harvard Business Review . 2017-04-18. Архивировано из оригинала 2018-08-21 . Получено 2018-08-20 .
118. "Почему эйфория ИИ обречена на провал". VentureBeat . 2016-09-18. Архивировано из оригинала 2018-08-19 . Получено 2018-08-20 .
119. "9 причин, по которым ваш проект машинного обучения потерпит неудачу". www.kdnuggets.com . Архивировано из оригинала 2018-08-21 . Получено 2018-08-20 .
120. Babuta, Alexander; Oswald, Marion; Rinik, Christine (2018). Transparency and Alligibility (Report). Королевский объединенный институт оборонных исследований (RUSI). стр. 17–22. Архивировано из оригинала 2023-12-09 . Получено 2023-12-09 .
121. "Почему беспилотный автомобиль Uber убил пешехода". The Economist . Архивировано из оригинала 21-08-2018 . Получено 20-08-2018 .
122. "Уотсон из IBM рекомендовал „небезопасные и неправильные“ методы лечения рака – STAT". STAT . 2018-07-25. Архивировано из оригинала 2018-08-21 . Получено 2018-08-21 .
123. Эрнандес, Даниэла; Гринвальд, Тед (2018-08-11). «IBM Has a Watson Dilemma» (У IBM дилемма Уотсона). The Wall Street Journal . ISSN  0099-9660. Архивировано из оригинала 21-08-2018 . Получено 21-08-2018 .
124. Эллин, Бобби (27 февраля 2023 г.). «Как эксперимент Microsoft в области искусственного интеллекта дал обратный эффект». National Public Radio . Архивировано из оригинала 8 декабря 2023 г. . Получено 8 декабря 2023 г. .
125. Reddy, Shivani M.; Patel, Sheila; Weyrich, Meghan; Fenton, Joshua; Viswanathan, Meera (2020). «Сравнение традиционного подхода к систематическому обзору с обзором обзоров и полуавтоматизацией как стратегиями обновления доказательств». Systematic Reviews . 9 (1): 243. doi : 10.1186/s13643-020-01450-2 . ISSN  2046-4053. PMC 7574591 . PMID  33076975. 
126. Garcia, Megan (2016). «Расист в машине». World Policy Journal . 33 (4): 111–117. doi :10.1215/07402775-3813015. ISSN  0740-2775. S2CID  151595343.
127. Caliskan, Aylin; Bryson, Joanna J.; Narayanan, Arvind (2017-04-14). «Семантика, автоматически полученная из языковых корпусов, содержит человеческие предубеждения». Science . 356 (6334): 183–186. arXiv : 1608.07187 . Bibcode :2017Sci...356..183C. doi :10.1126/science.aal4230. ISSN  0036-8075. PMID  28408601. S2CID  23163324.
128. Ван, Синан; Дасгупта, Санджой (2016), Ли, ДД; Сугияма, М.; Люксбург, УВ; Гийон, И. (ред.), «Алгоритм поиска ближайшего соседа L1 с помощью монотонного встраивания» (PDF) , Достижения в области нейронных систем обработки информации 29 , Curran Associates, Inc., стр. 983–991, архивировано (PDF) из оригинала 2017-04-07 , извлечено 2018-08-20
129. Silva, Selena; Kenney, Martin (2018). «Алгоритмы, платформы и этническая предвзятость: интегративное эссе» (PDF) . Phylon . 55 (1 & 2): 9–37. ISSN  0031-8906. JSTOR  26545017. Архивировано (PDF) из оригинала 27 января 2024 г.
130. Винсент, Джеймс (12 января 2018 г.). «Google «исправил» свой расистский алгоритм, удалив горилл из своей технологии маркировки изображений». The Verge . Архивировано из оригинала 21-08-2018 . Получено 20-08-2018 .
131. Кроуфорд, Кейт (25 июня 2016 г.). «Мнение | Проблема белого парня в искусственном интеллекте» . New York Times . Архивировано из оригинала 14.01.2021 . Получено 20.08.2018 .
132. Метц, Рэйчел (24 марта 2016 г.). «Почему Microsoft случайно выпустила на свободу неонацистского секс-бота» . MIT Technology Review . Архивировано из оригинала 2018-11-09 . Получено 2018-08-20 .
133. Simonite, Tom (30 марта 2017 г.). «Microsoft: AI Isn't yet an Adaptable Enough to Help Businesses» (Майкрософт: ИИ еще недостаточно адаптивен, чтобы помочь бизнесу). MIT Technology Review . Архивировано из оригинала 2018-11-09 . Получено 2018-08-20 .
134. Хемпель, Джесси (13.11.2018). «Попытка Фэй-Фэй Ли сделать машины лучше для человечества». Wired . ISSN  1059-1028. Архивировано из оригинала 14.12.2020 . Получено 17.02.2019 .
135. Рудин, Синтия (2019). «Перестаньте объяснять модели машинного обучения черного ящика для решений с высокими ставками и вместо этого используйте интерпретируемые модели». Nature Machine Intelligence . 1 (5): 206–215. doi :10.1038/s42256-019-0048-x. PMC 9122117 . PMID  35603010. 
136. Ху, Тонгси; Чжан, Сюэсун; Борер, Гил; Лю, Яньлань; Чжоу, Юйюй; Мартин, Джей; ЛИ, Ян; Чжао, Кайгуан (2023). «Прогнозирование урожайности с помощью объяснимого ИИ и интерпретируемого машинного обучения: опасности моделей черного ящика для оценки воздействия изменения климата на урожайность». Сельскохозяйственная и лесная метеорология . 336 : 109458. doi : 10.1016/j.agrformet.2023.109458 . S2CID  258552400.
137. Домингос 2015, Глава 6, Глава 7.
138. Домингос 2015, стр. 286.
139. "Изменение одного пикселя обманывает программы ИИ". BBC News . 3 ноября 2017 г. Архивировано из оригинала 22 марта 2018 г. Получено 12 марта 2018 г.
140. «У ИИ проблема с галлюцинациями, которую трудно исправить». WIRED . 2018. Архивировано из оригинала 12 марта 2018 года . Получено 12 марта 2018 года .
141. Мадри, А.; Макелов, А.; Шмидт, Л.; Ципрас, Д.; Владу, А. (4 сентября 2019 г.). «На пути к моделям глубокого обучения, устойчивым к состязательным атакам». arXiv : 1706.06083 [stat.ML].
142. "Adversarial Machine Learning – CLTC UC Berkeley Center for Long-Term Cybersecurity". CLTC . Архивировано из оригинала 2022-05-17 . Получено 2022-05-25 .
143. "Модели машинного обучения уязвимы для необнаруживаемых бэкдоров". The Register . Архивировано из оригинала 13 мая 2022 г. Получено 13 мая 2022 г.
144. «Необнаруживаемые бэкдоры, внедряемые в любой алгоритм машинного обучения». IEEE Spectrum . 10 мая 2022 г. Архивировано из оригинала 11 мая 2022 г. Получено 13 мая 2022 г.
145. Голдвассер, Шафи; Ким, Майкл П.; Вайкунтанатан, Винод; Замир, Ор (14 апреля 2022 г.). «Внедрение необнаруживаемых бэкдоров в модели машинного обучения». arXiv : 2204.06974 [cs.LG].
146. Кохави, Рон (1995). "Исследование перекрестной проверки и бутстрапа для оценки точности и выбора модели" (PDF) . Международная объединенная конференция по искусственному интеллекту . Архивировано (PDF) из оригинала 2018-07-12 . Получено 2023-03-26 .
147. Pontius, Robert Gilmore; Si, Kangping (2014). «Общая рабочая характеристика для измерения диагностической способности для нескольких порогов». Международный журнал географической информационной науки . 28 (3): 570–583. Bibcode : 2014IJGIS..28..570P. doi : 10.1080/13658816.2013.862623. S2CID  29204880.
148. Бостром, Ник (2011). «Этика искусственного интеллекта» (PDF) . Архивировано из оригинала (PDF) 4 марта 2016 года . Получено 11 апреля 2016 года .
149. Эдионве, Толулоп. «Борьба с расистскими алгоритмами». The Outline . Архивировано из оригинала 17 ноября 2017 г. Получено 17 ноября 2017 г.
150. Джеффрис, Эдрианн. «Машинное обучение расистское, потому что интернет расистский». The Outline . Архивировано из оригинала 17 ноября 2017 г. Получено 17 ноября 2017 г.
151. Вонг, Карисса (2023-03-30). «Исследования „справедливости“ ИИ сдерживаются отсутствием разнообразия». Nature . doi :10.1038/d41586-023-00935-z. PMID  36997714. S2CID  257857012. Архивировано из оригинала 2023-04-12 . Получено 2023-12-09 .
152. Zhang, Jack Clark. "Artificial Intelligence Index Report 2021" (PDF) . Стэнфордский институт искусственного интеллекта, ориентированного на человека . Архивировано (PDF) из оригинала 2024-05-19 . Получено 2023-12-09 .
153. Бостром, Ник; Юдковски, Элиезер (2011). "ЭТИКА ИСКУССТВЕННОГО ИНТЕЛЛЕКТА" (PDF) . Ник Бостром . Архивировано (PDF) из оригинала 2015-12-20 . Получено 18-11-2020 .
154. MOR Prates; PHC Avelar; LC Lamb (11 марта 2019 г.). «Оценка гендерной предвзятости в машинном переводе — исследование случая с Google Translate». arXiv : 1809.02208 [cs.CY].
155. Нараянан, Арвинд (24 августа 2016 г.). «Язык обязательно содержит человеческие предубеждения, и машины, обученные на языковых корпусах, тоже». Свобода Tinker . Архивировано из оригинала 25 июня 2018 г. Получено 19 ноября 2016 г.
156. Чар, Дэнтон С.; Шах, Нигам Х.; Магнус, Дэвид (15.03.2018). «Внедрение машинного обучения в здравоохранение — решение этических проблем». New England Journal of Medicine . 378 (11): 981–983. doi :10.1056/NEJMp1714229. ISSN  0028-4793. PMC 5962261. PMID 29539284  . 
157. Char, DS; Shah, NH; Magnus, D. (2018). «Внедрение машинного обучения в здравоохранение — решение этических проблем». New England Journal of Medicine . 378 (11): 981–983. doi :10.1056/nejmp1714229. PMC 5962261. PMID 29539284  . 
158. Исследования, AI (23 октября 2015 г.). "Глубокие нейронные сети для акустического моделирования в распознавании речи". airesearch.com . Архивировано из оригинала 1 февраля 2016 г. Получено 23 октября 2015 г.
159. «GPUs Continue to Dominate the AI ​​Accelerator Market for Now». InformationWeek . Декабрь 2019. Архивировано из оригинала 10 июня 2020. Получено 11 июня 2020 .
160. Рэй, Тирнан (2019). «ИИ меняет всю природу вычислений». ZDNet . Архивировано из оригинала 25 мая 2020 г. Получено 11 июня 2020 г.
161. "AI and Compute". OpenAI . 16 мая 2018 г. Архивировано из оригинала 17 июня 2020 г. Получено 11 июня 2020 г.
162. «Физические нейронные сети Корнелла и NTT: «Радикальная альтернатива для внедрения глубоких нейронных сетей», которая позволяет проводить обучение произвольных физических систем | Синхронизировано». 27 мая 2021 г. Архивировано из оригинала 27 октября 2021 г. Получено 12 октября 2021 г.
163. "Нано-спагетти для решения проблемы энергопотребления нейронных сетей". Архивировано из оригинала 2021-10-06 . Получено 2021-10-12 .
164. Fafoutis, Xenofon; Marchegiani, Letizia; Elsts, Atis; Pope, James; Piechocki, Robert; Craddock, Ian (2018-05-07). «Продление срока службы батареи носимых датчиков с помощью встроенного машинного обучения». IEEE 4-й Всемирный форум по Интернету вещей (WF-IoT) 2018 года. С. 269–274. doi : 10.1109/WF-IoT.2018.8355116. hdl : 1983/b8fdb58b-7114-45c6-82e4-4ab239c1327f. ISBN 978-1-4673-9944-9. S2CID  19192912. Архивировано из оригинала 2022-01-18 . Получено 2022-01-17 .
165. "Руководство для начинающих по машинному обучению для встраиваемых систем". Журнал Analytics India . 2021-06-02. Архивировано из оригинала 2022-01-18 . Получено 2022-01-17 .
166. Синхронизировано (12.01.2022). "Google, Purdue & Harvard U's Open-Source Framework for TinyML Achieves up to 75x Speedups on FPGAs | Синхронизировано". syncedreview.com . Архивировано из оригинала 18.01.2022 . Получено 17.01.2022 .
167. Гири, Давиде; Чиу, Куан-Лин; Ди Гульельмо, Джузеппе; Мантовани, Паоло; Карлони, Лука П. (2020-06-15). «ESP4ML: Платформенно-ориентированное проектирование систем на кристалле для встроенного машинного обучения». Конференция и выставка «Проектирование, автоматизация и тестирование в Европе» 2020 г. (ДАТА) . стр. 1049–1054. arXiv : 2004.03640 . doi : 10.23919/DATE48585.2020.9116317. ISBN 978-3-9819263-4-7. S2CID  210928161. Архивировано из оригинала 2022-01-18 . Получено 2022-01-17 .
168. Луис, Марсия Сахайя; Азад, Захра; Делшадтехрани, Лейла; Гупта, Суйог; Уорден, Пит; Редди, Виджай Джанапа; Джоши, Аджай (2019). «На пути к глубокому обучению с использованием TensorFlow Lite на RISC-V». Гарвардский университет . Архивировано из оригинала 2022-01-17 . Получено 2022-01-17 .
169. Ибрагим, Али; Оста, Марио; Аламех, Мохамад; Салех, Мустафа; Чибл, Хуссейн; Валле, Маурицио (2019-01-21). «Приближенные методы вычислений для встроенного машинного обучения». 25-я Международная конференция IEEE по электронике, схемам и системам (ICECS) 2018 г. стр. 845–848. doi :10.1109/ICECS.2018.8617877. ISBN 978-1-5386-9562-3. S2CID  58670712. Архивировано из оригинала 2022-01-17 . Получено 2022-01-17 .
170. "dblp: TensorFlow Eager: многоступенчатый встроенный в Python DSL для машинного обучения". dblp.org . Архивировано из оригинала 2022-01-18 . Получено 2022-01-17 .
171. Бранко, Сержио; Феррейра, Андре Г.; Кабрал, Хорхе (2019-11-05). «Машинное обучение в ресурсо-дефицитных встроенных системах, ПЛИС и конечных устройствах: обзор». Электроника . 8 (11): 1289. doi : 10.3390/electronics8111289 . hdl : 1822/62521 . ISSN  2079-9292.

Источники

• Домингос, Педро (22 сентября 2015 г.). Верховный алгоритм: как поиски совершенной обучающейся машины изменят наш мир . Базовые книги . ISBN 978-0465065707.
• Нильссон, Нильс (1998). Искусственный интеллект: новый синтез . Морган Кауфманн. ISBN 978-1-55860-467-4. Архивировано из оригинала 26 июля 2020 . Получено 18 ноября 2019 .
• Рассел, Стюарт Дж.; Норвиг , Питер (2003), Искусственный интеллект: Современный подход (2-е изд.), Аппер Сэдл Ривер, Нью-Джерси: Prentice Hall, ISBN 0-13-790395-2.
• Пул, Дэвид; Макворт, Алан ; Гебель, Рэнди (1998). Вычислительный интеллект: логический подход. Нью-Йорк: Oxford University Press. ISBN 978-0-19-510270-3. Архивировано из оригинала 26 июля 2020 . Получено 22 августа 2020 .

Дальнейшее чтение

• Нильс Дж. Нильссон, Введение в машинное обучение. Архивировано 16 августа 2019 г. на Wayback Machine .
• Тревор Хасти , Роберт Тибширани и Джером Х. Фридман (2001). Элементы статистического обучения. Архивировано 27 октября 2013 г. в Wayback Machine , Springer. ISBN 0-387-95284-5 . 
• Педро Домингос (сентябрь 2015 г.), Верховный алгоритм , Basic Books, ISBN 978-0-465-06570-7 
• Ян Х. Виттен и Эйб Франк (2011). Data Mining: Практические инструменты и методы машинного обучения Морган Кауфманн, 664 стр., ISBN 978-0-12-374856-0 . 
• Этхем Алпайдин (2004). Введение в машинное обучение , MIT Press, ISBN 978-0-262-01243-0 . 
• Дэвид Дж. К. Маккей . Теория информации, вывод и алгоритмы обучения. Архивировано 17 февраля 2016 г. в Wayback Machine, Кембридж: Cambridge University Press, 2003. ISBN 0-521-64298-1 
• Ричард О. Дуда , Питер Э. Харт , Дэвид Г. Сторк (2001) Классификация образов (2-е издание), Wiley, Нью-Йорк, ISBN 0-471-05669-3 . 
• Кристофер Бишоп (1995). Нейронные сети для распознавания образов , Oxford University Press. ISBN 0-19-853864-2 . 
• Стюарт Рассел и Питер Норвиг, (2009). Искусственный интеллект – современный подход Архивировано 28.02.2011 в Wayback Machine . Пирсон, ISBN 9789332543515 . 
• Рэй Соломонофф , Машина индуктивного вывода , Протокол конференции IRE, Раздел теории информации, Часть 2, стр., 56–62, 1957.
• Рэй Соломонофф , Машина индуктивного вывода. Архивировано 26 апреля 2011 г. в Wayback Machine. Частный отчет с Летней исследовательской конференции по искусственному интеллекту в Дартмуте 1956 г.
• Кевин П. Мерфи (2021). Вероятностное машинное обучение: введение Архивировано 11 апреля 2021 г. в Wayback Machine , MIT Press.

Внешние ссылки

• Цитаты, связанные с машинным обучением в Wikiquote
• Международное общество машинного обучения
• mloss — это академическая база данных программного обеспечения для машинного обучения с открытым исходным кодом.