stringtranslate.com

Дополнение данных

Увеличение данных — это статистический метод, позволяющий оценивать максимальное правдоподобие на основе неполных данных. [1] [2] Увеличение данных имеет важное применение в байесовском анализе , [3] и этот метод широко используется в машинном обучении для уменьшения переобучения при обучении моделей машинного обучения, [4] достигаемое путем обучения моделей на нескольких слегка измененных копиях существующих данных.

Синтетические методы передискретизации для традиционныхмашинное обучение

Метод синтетической перевыборки меньшинства (SMOTE) — это метод, используемый для решения проблемы несбалансированных наборов данных в машинном обучении. В таких наборах данных количество образцов в разных классах значительно различается, что приводит к смещению производительности модели. Например, в наборе данных медицинской диагностики с 90 образцами, представляющими здоровых людей, и только 10 образцами, представляющими людей с определенным заболеванием, традиционные алгоритмы могут испытывать трудности с точной классификацией класса меньшинства. SMOTE перебалансирует набор данных, генерируя синтетические образцы для класса меньшинства. Например, если в классе большинства 100 образцов и 10 образцов в классе меньшинства, SMOTE может создавать синтетические образцы, случайным образом выбирая образец класса меньшинства и его ближайших соседей, а затем генерируя новые образцы вдоль отрезков линии, соединяющих этих соседей. Этот процесс помогает увеличить представительство класса меньшинства, улучшая производительность модели. [5]

Расширение данных для классификации изображений

Когда в середине 1990-х годов сверточные нейронные сети стали больше, данных для использования стало не хватать, особенно учитывая, что часть общего набора данных должна была быть сохранена для последующего тестирования. Было предложено вносить в существующие данные искажения с помощью аффинных преобразований, чтобы создавать новые примеры с теми же метками, [6] которые были дополнены так называемыми эластичными искажениями в 2003 году, [7] и эта техника широко использовалась с 2010-х годов. [8] Дополнение данных может повысить производительность CNN и действует как контрмера против атак профилирования CNN. [9]

Расширение данных стало основополагающим в классификации изображений, обогащая разнообразие обучающих наборов данных для улучшения обобщения и производительности модели. Развитие этой практики ввело широкий спектр методов, включая геометрические преобразования, корректировки цветового пространства и инъекцию шума. [10]

Геометрические преобразования

Геометрические преобразования изменяют пространственные свойства изображений для имитации различных перспектив, ориентаций и масштабов. Распространенные методы включают:

Преобразования цветового пространства

Преобразования цветового пространства изменяют цветовые свойства изображений, обращаясь к изменениям в освещении, насыщенности цвета и контрастности. Методы включают:

Шумовая инъекция

Введение шума в изображения имитирует несовершенства реального мира, обучая модели игнорировать несущественные изменения. Методы включают:

Расширение данных для обработки сигналов

Для дополнения временных рядов можно использовать остаточный или блочный бутстрап .

Биологические сигналы

Синтетическое дополнение данных имеет первостепенное значение для классификации машинного обучения, особенно для биологических данных, которые, как правило, являются многомерными и редкими. Применение роботизированного управления и дополнений к инвалидам и здоровым субъектам по-прежнему в основном опирается на анализы, специфичные для субъекта. Дефицит данных заметен в проблемах обработки сигналов, таких как сигналы электромиографии болезни Паркинсона , которые трудно получить - Занини и др. отметили, что можно использовать генеративную состязательную сеть (в частности, DCGAN) для выполнения переноса стиля с целью генерации синтетических электромиографических сигналов, которые соответствуют тем, которые демонстрируют страдающие болезнью Паркинсона. [11]

Эти подходы также важны в электроэнцефалографии (мозговые волны). Ван и др. исследовали идею использования глубоких сверточных нейронных сетей для распознавания эмоций на основе ЭЭГ, результаты показывают, что распознавание эмоций улучшается при использовании дополнения данных. [12]

Распространенный подход заключается в создании синтетических сигналов путем перестановки компонентов реальных данных. Лотте [13] предложил метод «искусственной генерации проб на основе аналогии» , где три примера данных предоставляют примеры и формируется искусственный, который является тем, что является . Преобразование применяется к , чтобы сделать его более похожим на , то же самое преобразование затем применяется к , которое генерирует . Было показано, что этот подход улучшает производительность классификатора линейного дискриминантного анализа на трех различных наборах данных.

Текущие исследования показывают, что относительно простые методы могут оказать большое влияние. Например, Фрир [14] заметил, что введение шума в собранные данные для формирования дополнительных точек данных улучшило обучаемость нескольких моделей, которые в противном случае работали относительно плохо. Цинганос и др. [15] изучили подходы к искажению величин, вейвлет-разложению и моделям синтетической поверхностной ЭМГ (генеративные подходы) для распознавания жестов рук, обнаружив повышение эффективности классификации до +16%, когда во время обучения были введены дополненные данные. Совсем недавно исследования по дополнению данных начали фокусироваться на области глубокого обучения, а именно на способности генеративных моделей создавать искусственные данные, которые затем вводятся во время процесса обучения модели классификации. В 2018 году Луо и др. [16] заметили, что полезные данные сигнала ЭЭГ могут быть сгенерированы условными генеративно-состязательными сетями Вассерштейна (GAN), которые затем были введены в обучающий набор в классической структуре обучения «тренировка-тест». Авторы обнаружили, что эффективность классификации улучшилась, когда были введены такие методы.

Механические сигналы

Прогнозирование механических сигналов на основе дополнения данных открывает новое поколение технологических инноваций, таких как новая энергетическая диспетчеризация, сфера связи 5G и инженерия управления робототехникой. [17] В 2022 году Ян и др. [17] интегрируют ограничения, оптимизацию и управление в глубокую сетевую структуру на основе дополнения и обрезки данных с пространственно-временной корреляцией данных, а также улучшают интерпретируемость, безопасность и управляемость глубокого обучения в реальных промышленных проектах с помощью явных уравнений математического программирования и аналитических решений.

Смотрите также

Ссылки

  1. ^ Демпстер, AP; Лэрд, NM; Рубин, DB (1977). «Максимальное правдоподобие неполных данных с помощью алгоритма EM». Журнал Королевского статистического общества. Серия B (методологическая) . 39 (1): 1–22. doi :10.1111/j.2517-6161.1977.tb01600.x. Архивировано из оригинала 2022-10-10 . Получено 2024-08-28 .
  2. ^ Рубин, Дональд (1987). «Комментарий: Расчет апостериорных распределений путем увеличения данных». Журнал Американской статистической ассоциации . 82 (398). doi :10.2307/2289460. JSTOR  2289460. Архивировано из оригинала 2024-08-07 . Получено 2024-08-28 .
  3. ^ Джекман, Саймон (2009). Байесовский анализ для социальных наук. John Wiley & Sons. стр. 236. ISBN 978-0-470-01154-6.
  4. ^ Shorten, Connor; Khoshgoftaar, Taghi M. (2019). «Обзор по дополнению данных изображений для глубокого обучения». Математика и компьютеры в моделировании . 6. Springer: 60. doi : 10.1186/s40537-019-0197-0 .
  5. ^ Ван, Шуцзюань; Дай, Юньтао; Шэнь, Цзихун; Сюань, Цзинсюэ (15.12.2021). «Исследование расширения и классификации несбалансированных данных на основе алгоритма SMOTE». Scientific Reports . 11 (1): 24039. Bibcode :2021NatSR..1124039W. doi :10.1038/s41598-021-03430-5. ISSN  2045-2322. PMC 8674253 . PMID  34912009. 
  6. ^ Янн Лекун и др. (1995). Алгоритмы обучения для классификации: сравнение распознавания рукописных цифр (Документ конференции) . World Scientific. стр. 261–276 . Получено 14 мая 2023 г. {{cite book}}: |website=проигнорировано ( помощь )
  7. ^ Simard, PY; Steinkraus, D.; Platt, JC (2003). «Лучшие практики для сверточных нейронных сетей, применяемых для визуального анализа документов». Седьмая международная конференция по анализу и распознаванию документов, 2003. Труды . Том 1. стр. 958–963. doi :10.1109/ICDAR.2003.1227801. ISBN 0-7695-1960-1. S2CID  4659176.
  8. ^ Хинтон, Джеффри Э.; Шривастава, Нитиш; Крижевский, Алекс; Суцкевер, Илья; Салахутдинов, Руслан Р. (2012). «Улучшение нейронных сетей путем предотвращения совместной адаптации детекторов признаков». arXiv : 1207.0580 [cs.NE].
  9. ^ Cagli, Eleonora; Dumas, Cécile; Prouff, Emmanuel (2017). «Сверточные нейронные сети с расширением данных против контрмер на основе джиттера: профилирование атак без предварительной обработки». В Fischer, Wieland; Homma, Naofumi (ред.). Криптографическое оборудование и встраиваемые системы – CHES 2017. Конспект лекций по информатике. Том 10529. Cham: Springer International Publishing. стр. 45–68. doi :10.1007/978-3-319-66787-4_3. ISBN 978-3-319-66787-4. S2CID  54088207.
  10. ^ Shorten, Connor; Khoshgoftaar, Taghi M. (2019-07-06). «Обзор по дополнению данных изображений для глубокого обучения». Журнал больших данных . 6 (1): 60. doi : 10.1186/s40537-019-0197-0 . ISSN  2196-1115.
  11. ^ Анисет Занини, Рафаэль; Луна Коломбини, Эстер (2020). «Дополнение и моделирование данных ЭМГ при болезни Паркинсона с помощью DCGAN и переноса стилей». Датчики . 20 (9): 2605. Bibcode : 2020Senso..20.2605A. doi : 10.3390/s20092605 . ISSN  1424-8220. PMC 7248755. PMID 32375217  . 
  12. ^ Ван, Фан; Чжун, Шэн-хуа; Пэн, Цзяньфэн; Цзян, Цзяньминь; Лю, Янь (2018). «Расширение данных для распознавания эмоций на основе ЭЭГ с помощью глубоких сверточных нейронных сетей». Мультимедийное моделирование . Конспект лекций по информатике. Том 10705. С. 82–93. doi :10.1007/978-3-319-73600-6_8. ISBN 978-3-319-73599-3. ISSN  0302-9743.
  13. ^ Лотте, Фабьен (2015). «Подходы к обработке сигналов для минимизации или подавления времени калибровки в интерфейсах мозг–компьютер на основе колебательной активности» (PDF) . Труды IEEE . 103 (6): 871–890. doi :10.1109/JPROC.2015.2404941. ISSN  0018-9219. S2CID  22472204. Архивировано (PDF) из оригинала 2023-04-03 . Получено 2022-11-05 .
  14. ^ Freer, Daniel; Yang, Guang-Zhong (2020). «Расширение данных для классификации двигательных образов в собственном темпе с помощью C-LSTM». Journal of Neural Engineering . 17 (1): 016041. Bibcode : 2020JNEng..17a6041F. doi : 10.1088/1741-2552/ab57c0. hdl : 10044/1/75376 . ISSN  1741-2552. PMID  31726440. S2CID  208034533.
  15. ^ Цинганос, Панайотис; Корнелис, Бруно; Корнелис, Ян; Янсен, Барт; Скодрас, Афанассиос (2020). «Дополнение данных поверхностной электромиографии для распознавания жестов рук». Датчики . 20 (17): 4892. Bibcode : 2020Senso..20.4892T. doi : 10.3390/s20174892 . ISSN  1424-8220. PMC 7506981. PMID 32872508  . 
  16. ^ Луо, Юнь; Лу, Бао-Лян (2018). «Расширение данных ЭЭГ для распознавания эмоций с использованием условной сети Вассерштейна GAN». 2018 40-я ежегодная международная конференция IEEE Engineering in Medicine and Biology Society (EMBC) . Том 2018. С. 2535–2538. doi :10.1109/EMBC.2018.8512865. ISBN 978-1-5386-3646-6. PMID  30440924. S2CID  53105445.
  17. ^ ab Yang, Yang (2022). «Прогнозирование скорости ветра с обрезкой и расширением корреляционной сети: двухфазный метод глубокого обучения». Возобновляемая энергия . 198 (1): 267–282. arXiv : 2306.01986 . Bibcode : 2022REne..198..267Y. doi : 10.1016/j.renene.2022.07.125. ISSN  0960-1481. S2CID  251511199.