StolicaMedia, 28 ноября. Исследователи НИУ ВШЭ — Санкт-Петербург разработали способ многократно ускорять сжатие нейросетей с помощью законов статистической физики. Метод работает без потери качества и уже доступен разработчикам. Об этом говорится в пресс-релизе НИУ ВШЭ, который имеется в распоряжении ИА StolicaMedia.
Команда ученых Лаборатории социальной и когнитивной информатики ВШЭ — Санкт-Петербург под руководством Сергея Кольцова предложила новый способ сжимать нейросети, используя методы статистической физики. Работа опубликована в журнале Physica A: Statistical Mechanics and its Applications (18+).
Современные модели ИИ становятся все больше и требуют огромных ресурсов — иногда сотни гигабайт памяти. Это создает проблемы для организаций, которые работают в закрытых системах: банков, медучреждений и госструктур. Им нужны компактные модели, способные работать на обычных серверах или даже ноутбуках.
Сжатие нейросетей обычно занимает много времени. Так, нужно по шагам уменьшать модель и каждый раз проверять ее качество. Исследователи заметили, что поведение нейросети похоже на физические системы с большим числом частиц. Так удалось найти точки, в которых модель сохраняет лучшее соотношение размера и точности — без долгих экспериментов.
Новый метод проверили на моделях с 7–10 млрд параметров. Он оказался значительно быстрее. В зависимости от архитектуры ускорение составляло от 10 до 500 раз.
Метод уже доступен для разработчиков и может быть использован в любых проектах. Сейчас ученые продолжают работу и пытаются определить, сколько слоев и блоков нужно нейросети для оптимальной работы еще до начала ее обучения.
