Meta открыла пользователям Muse разговоры с анимированным AI-персонажем

Функция появилась у пользователей Muse в США на телефонах, в веб-версии и на Mac. Разговор запускается через значок звонка: можно оставить только звук, показать персонажа рядом с перепиской или развернуть его на весь экран. Пользователь выбирает голос и создаёт внешность персонажа; во время ответа тот меняет мимику и движения. Muse поддерживает перебивания и дополнительные просьбы по ходу диалога. Такой формат рассчитан на ситуации, когда мысль проще уточнить вслух, чем каждый раз заново формулировать текстовый запрос.

В демонстрации собеседования Muse выступает в роли рекрутера: выслушивает рассказ о предыдущем опыте и предлагает изменить порядок аргументов. В другом сценарии пользователь обсуждает с ним ужин, а агент предлагает рецепт и показывает подходящие продукты. Возможность задавать персонажу роль пригодна и для репетиции разговора: руководитель AI-направления Meta Александr Wang показал, как его персонаж Euler разыгрывает беседу с начальником. Во всех этих случаях смысл функции зависит от обмена короткими репликами и возможности сразу поправить задачу.

Meta описывала техническую основу функции на сентябрьской конференции Connect. Muse Realtime Voice генерирует токены для речи; они же служат сигналом для Muse Realtime Avatar, который строит изображение. Благодаря общей последовательности речи и видео рот персонажа и выражение лица могут меняться вместе со звучащими словами. В сгенерированное видео добавляется невидимый водяной знак для установления происхождения записи. Это существенно для клипов, которые пользователи могут сохранять и пересылать вне самого интерфейса Muse.

Первые записи пользователей показывают как персонализацию, так и шероховатости длительного разговора: одни заменили образ Muse на аниме-персонажа, другие отметили удачную синхронизацию голоса и картинки. Один из пользователей сообщил, что после перебивания Muse временами повторяет ответ или начинает говорить до окончания его фразы. Meta ранее представила Muse как персонального агента с доступом к облачной виртуальной машине для выполнения задач в приложениях. Компания также планирует перенести голосовое общение на AI-очки и отдельное носимое устройство Muse Charm, поэтому поведение агента в разговоре может стать значимым и вне экрана телефона.