Исследователи факультета компьютерных наук НИУ ВШЭ усовершенствовали метод обучения генеративных потоковых нейросетей (GFlowNets), которые помогают работать со сложными и неструктурированными задачами. Новая технология позволит эффективнее искать лекарства и другие вещества с нужными свойствами. Пресс-релиз НИУ ВШЭ имеется в распоряжении ИА StolicaMedia.
Генеративные потоковые сети — это алгоритмы, которые поэтапно "собирают" сложные объекты. Их применяют, например, в биологии и фармацевтике — для поиска белков и лекарств, а также в логистике и других сферах, где нужно находить оптимальные решения.
Принцип работы можно сравнить с конструктором: сеть добавляет элемент за элементом, пока не получится цельная структура. Каждому объекту присвоена своя ценность: модель растения может быть "дороже" модели животного. В отличие от классических алгоритмов, которые стремятся получить строго один лучший вариант, GFlowNets генерируют множество решений, чаще выбирая те, что выгоднее.
Поиск решений ведётся с помощью двух связанных моделей:
- прямая — "строитель", который предсказывает следующий шаг,
- обратная — "эксперт", который восстанавливает, каким был предыдущий ход.
Чтобы система работала эффективно, модели должны быть сбалансированы. Однако это трудно. Дело в том, что обратная модель обычно слишком жесткая и не умеет подстраиваться под прямую.
Команда ВШЭ предложила способ сделать обратную модель гибкой — метод Trajectory Likelihood Maximization (TLM). Он позволяет обратной модели постоянно сверяться с действиями прямой и адаптироваться.
"Мы сделали так, что поиск оптимального решения стал похож на переговоры, в которых обе стороны готовы менять свою позицию. В задачах с большой степенью неизвестности обратная модель — лишь вспомогательный инструмент, улучшающий результаты прямой модели", —объяснил Тимофей Грицаев, стажер-исследователь Международной лаборатории стохастических алгоритмов и анализа многомерных данных.
После внедрения TLM функция вознаграждения усложнилась. При этом сама система стала работать быстрее и результативнее.
"Наш метод заметно быстрее просматривает пространство возможных решений и находит больше качественных вариантов. Этот подход в целом сближает генеративные модели с методами обучения с подкреплением",— отметил Никита Морозов, младший научный сотрудник Центра глубинного обучения и байесовских методов.
Разработчики уверены: новый подход поможет в самых разных областях — от поиска лекарств и проектирования материалов до настройки крупных языковых моделей. Благодаря улучшенной эффективности GFlowNets можно быстрее исследовать огромные пространства решений и находить оптимальные варианты с меньшими затратами вычислительных ресурсов.
Ранее ИА StolicaMedia писало, что ученые НИУ ВШЭ с помощью суперкомпьютерного моделирования изучили поведение ионов и молекул растворителя с водой внутри нанопор суперконденсаторов. Анализ показал, что даже незначительное количество воды меняет распределение заряда и влияет на емкость устройства.
