Обрезка (искусственная нейронная сеть)

Обрезка нейронных сетей для уменьшения вычислительных затрат

В контексте искусственных нейронных сетей обрезка — это практика удаления параметров (что может повлечь за собой удаление отдельных параметров или параметров в группах, например, по нейронам ) из существующей сети. ^[1] Целью этого процесса является поддержание точности сети при одновременном повышении ее эффективности . Это можно сделать, чтобы уменьшить вычислительные ресурсы, необходимые для работы нейронной сети. Биологический процесс обрезки синапсов происходит в мозгу млекопитающих во время развития ^[2] (см. также Нейронный дарвинизм ).

Обрезка узлов (нейронов)

Основной алгоритм обрезки следующий: ^{[3] [4]}

1. Оцените важность каждого нейрона.
2. Ранжируйте нейроны в соответствии с их важностью (при условии, что существует четко определенная мера «важности»).
3. Удалите наименее важный нейрон.
4. Проверьте условие завершения (определяемое пользователем), чтобы узнать, следует ли продолжать обрезку.

Краевая (весовая) обрезка

Большая часть работ по сокращению нейронных сетей сосредоточена на удалении весов, а именно на установке их значений на ноль. В ранних работах предлагалось также изменить значения необрезанных весов. ^[5]

Рекомендации

1. Блэлок, Дэвис; Ортис, Хосе Хавьер Гонсалес; Франкл, Джонатан; Гуттаг, Джон (06 марта 2020 г.). «Каково состояние обрезки нейронных сетей?». arXiv : 2003.03033 [cs.LG].
2. Чечик, Гал; Мейлиджсон, Исаак; Руппин, Эйтан (октябрь 1998 г.). «Синаптическая обрезка в развитии: расчет вычислений». Нейронные вычисления . 10 (7): 1759–1777. дои : 10.1162/089976698300017124. ISSN  0899-7667. PMID  9744896. S2CID  14629275.
3. Молчанов П., Тайри С., Каррас Т., Айла Т. и Каутц Дж. (2016). Обрезка сверточных нейронных сетей для эффективного вывода ресурсов . Препринт arXiv arXiv:1611.06440.
4. Гильденблат, Джейкоб (23 июня 2017 г.). «Обрезка глубоких нейронных сетей, чтобы сделать их быстрыми и маленькими». Гитхаб . Проверено 4 февраля 2024 г.
5. Чечик, Гал; Мейлиджсон, Исаак; Руппин, Эйтан (апрель 2001 г.). «Эффективное обучение нейронов с неэффективными правилами обучения Хебба». Нейронные вычисления . 13 (4): 817–840. дои : 10.1162/089976601300014367. ISSN  0899-7667. PMID  11255571. S2CID  133186.