Обрезка (искусственная нейронная сеть)

Обрезка нейронных сетей для снижения вычислительных затрат

В контексте искусственных нейронных сетей обрезка — это практика удаления параметров (которая может повлечь за собой удаление отдельных параметров или параметров в группах, например, по нейронам ) из существующей сети. ^[1] Целью этого процесса является поддержание точности сети при повышении ее эффективности . Это может быть сделано для уменьшения вычислительных ресурсов, необходимых для работы нейронной сети. Биологический процесс синаптической обрезки происходит в мозге млекопитающих во время развития ^[2] (см. также Нейронный дарвинизм ).

Обрезка узлов (нейронов)

Базовый алгоритм обрезки выглядит следующим образом: ^{[3] [4]}

1. Оцените важность каждого нейрона.
2. Расположите нейроны в соответствии с их важностью (предполагая, что существует четко определенная мера «важности»).
3. Удалите наименее важный нейрон.
4. Проверьте условие завершения (определяется пользователем), чтобы узнать, следует ли продолжать обрезку.

Обрезка краев (веса)

Большая часть работы по обрезке нейронных сетей фокусируется на удалении весов, а именно, установке их значений на ноль. Ранние работы предлагали также изменять значения необрезанных весов. ^[5]

Ссылки

1. Блэлок, Дэвис; Ортис, Хосе Хавьер Гонсалес; Франкл, Джонатан; Гуттаг, Джон (2020-03-06). «Каково состояние обрезки нейронных сетей?». arXiv : 2003.03033 [cs.LG].
2. Чечик, Гал; Мейлийсон, Айзек; Руппин, Эйтан (октябрь 1998 г.). «Синаптическая обрезка в развитии: вычислительный учет». Neural Computation . 10 (7): 1759–1777. doi :10.1162/089976698300017124. ISSN  0899-7667. PMID  9744896. S2CID  14629275.
3. Молчанов, П., Тайри, С., Каррас, Т., Айла, Т. и Каутц, Дж. (2016). Обрезка сверточных нейронных сетей для эффективного вывода ресурсов . Препринт arXiv arXiv:1611.06440.
4. Гилденблат, Якоб (2017-06-23). ​​«Обрезка глубоких нейронных сетей, чтобы сделать их быстрыми и маленькими». Github . Получено 2024-02-04 .
5. Чечик, Гал; Мейлийсон, Айзек; Руппин, Эйтан (апрель 2001 г.). «Эффективное нейронное обучение с неэффективными правилами обучения Хебба». Neural Computation . 13 (4): 817–840. doi :10.1162/089976601300014367. ISSN  0899-7667. PMID  11255571. S2CID  133186.