В НИУ ВШЭ — Санкт-Петербург разработали уникальный "эмоциональный словарь", который помогает искусственному интеллекту точнее распознавать человеческие эмоции. Проект подготовила команда Лаборатории языковой конвергенции под руководством Анастасии Колмогоровой и Елизаветы Куликовой. Результаты исследования опубликованы в журнале "Вопросы лексикографии". Об этом передает ИА StolicaMedia со ссылкой на пресс-релиз НИУ ВШЭ.
Исследователи собрали датасет из 909 видеофрагментов общей продолжительностью почти три часа. Каждый ролик оценивался экспертами по шести базовым эмоциям в четырех форматах: полный видеоряд со звуком, только аудио, только текст и видео без звука. Такая многоуровневая разметка позволяет обучать большие языковые модели выявлять эмоциональные оттенки не только в словах, но и в интонациях или мимике.
По словам Колмогоровой, современные нейросети способны фиксировать скрытые эмоциональные паттерны, которые люди чаще воспринимают интуитивно. В отличие от традиционного словаря, здесь используются пары "текстовый фрагмент — эмоциональная метка".
Результаты анализа показали неожиданные выводы. Так, люди точнее всего распознают эмоции по тексту и полному видео, а худший результат продемонстрировало немое видео. Радость и удивление лучше всего различимы по интонации, злость — по тексту, а страх почти полностью "читается" через речь (87 %), но практически не определяется по мимике (3,5 %).
Созданный ресурс уже применяется на практике. Например, его использовали при анализе отзывов посетителей Владимиро-Суздальского музейного заповедника и для разработки эмпатичного чат-бота Эрмитажа. Инструмент также помогает оценивать качество существующих систем распознавания эмоций: тестирование восьми популярных моделей показало, что текстовые алгоритмы работают точнее всего (до 58 %), аудиальные выдают средний результат (около 40 %), а по мимике точность не превышает 26 %.
"Эмоциональный словарь" доступен исследовательскому сообществу. В дальнейшем команда планирует расширить базу данных и изучать, как нейросети справляются со сложными смешанными эмоциями.
Ранее ИА StolicaMedia писало, что исследователи факультета компьютерных наук НИУ ВШЭ усовершенствовали метод обучения генеративных потоковых нейросетей (GFlowNets), которые помогают работать со сложными и неструктурированными задачами. Новая технология позволит эффективнее искать лекарства и другие вещества с нужными свойствами.
