Слой (глубокое обучение)

Структура модели глубокого обучения

Сравнение свертки LeNet и AlexNet , объединения и плотных слоев
(размер изображения AlexNet должен быть 227×227×3 вместо 224×224×3, поэтому математика будет правильной. В оригинальной статье были указаны другие числа, но Андрей Карпати, бывший руководитель отдела компьютерного зрения в Tesla, сказал, что должно быть 227×227×3 (он сказал, что Алекс не объяснил, почему он указал 224×224×3). Следующая свертка должна быть 11×11 с шагом 4: 55×55×96 (вместо 54×54×96). Она будет рассчитана, например, так: [(ширина входных данных 227 - ширина ядра 11) / шаг 4] + 1 = [(227 - 11) / 4] + 1 = 55. Поскольку выход ядра имеет ту же длину, что и ширина, его площадь 55×55.)

Слой в модели глубокого обучения — это структура или сетевая топология в архитектуре модели, которая берет информацию из предыдущих слоев и затем передает ее следующему слою.

Типы слоёв

Первый тип слоя — это Dense layer , также называемый полностью связанным слоем , ^{[1] [2] [3]} и используемый для абстрактных представлений входных данных. В этом слое нейроны соединяются с каждым нейроном в предыдущем слое. В многослойных сетях персептрона эти слои сложены вместе.

Сверточный слой ^[4] обычно используется для задач анализа изображений. В этом слое сеть обнаруживает края, текстуры и узоры. Выходные данные из этого слоя затем подаются в полностью связанный слой для дальнейшей обработки. См. также: Модель CNN .

Слой объединения ^[5] используется для уменьшения объема входных данных.

Рекуррентный слой используется для обработки текста с функцией памяти. Подобно сверточному слою, выходные данные рекуррентных слоев обычно подаются в полностью связанный слой для дальнейшей обработки. См. также: модель RNN . ^{[6] [7] [8]}

Слой нормализации корректирует выходные данные предыдущих слоев для достижения регулярного распределения. Это приводит к улучшению масштабируемости и обучения модели.

Скрытый слой — это любой слой нейронной сети , который не является входным или выходным слоем.

Различия в слоях неокортекса

Между слоями глубокого обучения и слоями неокортикального обучения существует существенная разница : слои глубокого обучения зависят от топологии сети , тогда как слои неокортикального обучения зависят от однородности внутри слоев .

Смотрите также

• Глубокое обучение
• Неокортекс § Слои

Ссылки

1. "CS231n Convolutional Neural Networks for Visual Recognition". CS231n Convolutional Neural Networks for Visual Recognition . 10 мая 2016 г. . Получено 27 апреля 2021 г. Полностью связанный слой: нейроны в полностью связанном слое имеют полные связи со всеми активациями в предыдущем слое, как это видно в обычных нейронных сетях.
2. "Полностью связанный слой". MATLAB . 1 марта 2021 г. . Получено 27 апреля 2021 г. Полностью связанный слой умножает входные данные на матрицу весов, а затем добавляет вектор смещения.
3. Жерон, Орельен (2019). Практическое машинное обучение с Scikit-Learn, Keras и TensorFlow: концепции, инструменты и методы для создания интеллектуальных систем . Севастополь, Калифорния: O'Reilly Media, Inc. стр. 322–323. ISBN 978-1-4920-3264-9. OCLC  1124925244.
4. Хабиби, Агдам, Хамед (2017-05-30). Руководство по сверточным нейронным сетям: практическое применение для обнаружения и классификации дорожных знаков . Херави, Эльназ Джахани. Чам, Швейцария. ISBN 9783319575490. OCLC  987790957.{{cite book}}: CS1 maint: местоположение отсутствует издатель ( ссылка ) CS1 maint: несколько имен: список авторов ( ссылка )
5. Чжан, Астон; Липтон, Закари; Ли, Му; Смола, Александр Дж. (2024). "7.5. Объединение". Погружение в глубокое обучение . Кембридж, Нью-Йорк, Порт Мельбурн, Нью-Дели, Сингапур: Cambridge University Press. ISBN 978-1-009-38943-3.
6. Дюпон, Сэмюэл (2019). «Тщательный обзор текущего прогресса структур нейронных сетей». Annual Reviews in Control . 14 : 200–230.
7. Абиодун, Олюдаре Исаак; Джантан, Аман; Омолара, Абиодун Эстер; Дада, Кеми Виктория; Мохамед, Нахаат ​​Абделатиф; Аршад, Хумайра (01 ноября 2018 г.). «Современное состояние приложений искусственных нейронных сетей: обзор». Гелион . 4 (11): e00938. Бибкод : 2018Heliy...400938A. doi : 10.1016/j.heliyon.2018.e00938 . ISSN  2405-8440. ПМК 6260436 . ПМИД  30519653. 
8. Теалаб, Ахмед (2018-12-01). «Прогнозирование временных рядов с использованием методов искусственных нейронных сетей: систематический обзор». Future Computing and Informatics Journal . 3 (2): 334–340. doi : 10.1016/j.fcij.2018.10.003 . ISSN  2314-7288.