ElevenLabs выпустила модели v4 и v4 Turbo: клонирование голоса по 10-секундному фрагменту и 90 языков

Компания ElevenLabs в понедельник представила две новые модели синтеза речи — ElevenLabs v4 и v4 Turbo. По данным TechCrunch, они обеспечивают более тонкий контроль над выразительностью, меньшую задержку для голосовых агентов и поддержку более чем 90 языков. Предыдущая версия v3 вышла в прошлом году, а тизер новой модели компания показала на мероприятии в Варшаве ранее в этом году.

Что нового в v4

Для поколения v4 ElevenLabs перешла на новую архитектуру, которая, по словам компании, даёт лучший контроль и более быстрое клонирование. Ключевое изменение: клонировать голос теперь можно с помощью всего 10 секунд аудио.

На творческой стороне модель лучше сохраняет идентичность голоса на длинных фрагментах текста. Кроме того, она учитывает контекст текста при чтении вслух, чтобы менять выразительность. В v3 ElevenLabs ввела встроенные теги для задания выразительности; в v4 эти теги расширены — пользователи могут складывать несколько тегов, и модель следует заданной последовательности.

Предыдущая версия поддерживала 70 языков, а в новой число доведено до 90. По словам стартапа, наибольший прирост качества отмечен в японском, бразильском варианте португальского, мандаринском китайском и кантонском.

Ставка на голосовых агентов

За последний год ElevenLabs быстро масштабировала корпоративный бизнес голосовых звонков: более 55% её бизнеса приходится на крупные компании. Компания утверждает, что новая модель подходит для голосовых агентов, поскольку у неё ниже задержка, что позволяет вести более плавный разговор. Кроме того, v4 может начинать генерацию аудио, как только стоящая за ней LLM начинает генерировать ответы. Модель также по-разному обрабатывает конфронтации, эскалации и удержание на линии — для лучшего разрешения проблем.

Конкуренция и контекст

Конкуренция в области речевых моделей усилилась: выразительные модели создали такие стартапы, как Cartesia, Deepgram, Fish Audio, Boson и WellSaid Labs. Крупные игроки, включая Google и OpenAI, также улучшили свои голосовые модели.

Ранее в этом году ElevenLabs привлекла $500 млн от Sequoia в раунде, который оценил компанию в $11 млрд. Уже есть слухи о последующем раунде, который оценил бы компанию в $22 млрд. Годовая выручка ElevenLabs (annualized revenue run rate) выросла примерно с $330 млн в начале года до более $600 млн. Компания агрессивно нанимала персонал на разных рынках, включая Индию, Европу и Бразилию, а её штат превысил 800 человек.

В недавнем интервью TechCrunch соучредитель и генеральный директор компании Мати Станишевски (Mati Staniszewski) заявил, что компания нацелена на IPO «в ближайшие годы», но не назвал конкретных сроков.

Что это значит

Релиз v4 и v4 Turbo показывает, что ElevenLabs продолжает делать ставку на корпоративный сегмент голосовых агентов, где важны низкая задержка и качество синтеза. Расширение языковой поддержки до 90 и упрощение клонирования голоса снижают порог входа для новых сценариев, но одновременно усиливают конкуренцию с другими разработчиками речевых моделей и крупными технологическими компаниями. Финансовые показатели и слухи о новом раунде указывают на высокие ожидания инвесторов, однако конкретные сроки IPO остаются неопределёнными.