ChatGPT + Instant avatar = Streaming Avatar — новое решение от HeyGen

Сервис по генерации ИИ-видео HeyGen, который мы уже использовали для оживления фото, выпустил решение, позволяющее организовать общение с виртуальным персонажем в режиме реального времени. Для этого HeyGen объединила свою технологию цифровых аватаров с ChatGPT.

Назначение Streaming Avatar — замена человека в сферах, где предполагается интерактивное видео-общение: от консультирования в интернет-магазинах до проведения вебинаров.

Бесплатно ознакомиться с Streaming Avatar можно в HeyGen Lab (требуется регистрация или вход с Google-аккаунтом). Для общения нужно запустить чат: длительность одной сессии ограничена 10 минутами. Иногда приходится подождать очереди несколько минут.

Streaming Avatar работает в двух режимах: чат и повторение. В первом случае ИИ отвечает на ваши вопросы, во втором — просто повторяет введенные фразы. Общаться можно как набирая текст, так и с помощью голосовых сообщений. Официально персонаж в демо-версии разговаривает только на английском, однако если попросить его перейти на русский — он это сделает, хотя будет говорить с очень заметным акцентом.

Дополнительно можно прописать промпт, задающий общее поведение ИИ-аватара. Например, чтобы он считал себя продавцом-консультантом или лектором онлайн-курса.

HeyGen заявляет:

Благодаря объединению инноваций в области ИИ, компьютерного зрения и генерации речи реалистичный аватар теперь реагирует в реальном времени на вербальные и невербальные сигналы.

Это означает, что такие тонкости, как выражение лица, поза и жесты плавно синхронизируются во время видеозвонков и при общении в виртуальных пространствах.

Оригинальный текст:

Combining innovations in AI, computer vision, and speech synthesis, our realistic avatar now responds in real-time to both verbal and non-verbal cues.

This means subtleties like facial expressions, posture, and gestures are seamlessly synced during video calls and in virtual spaces.

Для использования Streaming Avatar в своих задачах его нужно интегрировать по API, документация предоставляется. Решение пока в бета-версии, стоимость подключения нужно обсуждать с HeyGen индивидуально.