360.ru: Елена Рюмина отметила, что информативность различных модальностей зависит от конкретной задачи: видео важно для оценки черт личности, а содержание речи — для выявления противоречий в поведении.

Российские ученые создали нейросеть, распознающую эмоции. Также она способна оценивать воспринимаемые черты личности и выявлять неуверенность или противоречивость поведения. Разработанная модель искусственного интеллекта получает информацию о поведении человека сразу по нескольким каналам. Она анализирует видео, голос и содержание речи, а также сгенерированное описание мимики, взгляда, позы и жестов. Таким образом нейросеть одновременно распознает эмоции, оценивает воспринимаемые черты личности и выявляет амбивалентность, — рассказали в НИУ ВШЭ. Нейросеть обучали на суперкомпьютере вуза «Харизма». Для трех задач использовали разные корпуса данных — каждый со своей разметкой. Основная сложность разработки ИИ-инструмента заключалась не только в разной разметке корпусов, но и в том, что информативность модальностей зависела от задачи. Например, для оценки воспринимаемых черт личности особенно важно видео, а для выявления амбивалентности — содержание речи, — пояснила руководитель проекта отдела прикладных технических решений НИУ ВШЭ Елена Рюмина. Следующим шагом станет внедрение нейросетевых экспертов, которые будут по-разному учитывать голос, содержание речи, мимику, жесты и другие особенности поведения в зависимости от поставленной задачи. Параллельно ученые работают над персонализированными цифровыми аватарами. #Россия #нейросеть #эмоции #мимика