Хуан руководит стратегией Zoom в области ИИ. До прихода в Zoom он 30 лет проработал в Microsoft, где был техническим стипендиатом и техническим директором Azure AI, а также помогал запускать Azure OpenAI Service. Его команды достигли человеческого уровня в распознавании речи, машинном переводе, понимании естественного языка и компьютерном зрении. На его счету более 170 патентов США, а сам он входит в Национальную инженерную академию США.
Хуан поговорил с Кристианом Диной для второго выпуска нового подкаста TNW. Запись состоялась 22 сентября в Амстердаме на мероприятии Zoom перед конференцией HumanX. В первом выпуске участвовал Джим Ланцоне из Yahoo. Полную беседу можно посмотреть в видео ниже.
«Только представьте себе такую возможность. Вы можете позволить себе приглашать Стива Джобса на каждую встречу, в которой участвуете», — сказал Хуан.
Этот переход Хуан называет «C2C» — от разговора к завершению работы. Первая C — это бизнес Zoom, построенный вокруг встреч, особенно во время пандемии. Вторая — ИИ, который с разрешения пользователя выполняет задачи от его имени. По словам Хуана, 2026 год станет «годом завершения».
My Notes записывает разговоры на встречах в Zoom, Microsoft и Google, а также личные беседы, рассказал Хуан. Большинство людей не понимают, что инструмент работает и за пределами Zoom, добавил он.
Открытие доступа к Scribe API
Стартапы создавали ботов, которые подключаются к звонкам и отправляют краткие итоги, и Дина спросил, не вытеснил ли Zoom их своим инструментом My Notes.
«Я бы не сказал, что мы их вытеснили. На самом деле мы открываем эту технологию», — ответил Хуан.
Технология, лежащая в основе My Notes, доступна всем желающим через Scribe API — часть Zoom AI Services. По словам Хуана, с момента появления первой версии Scribe удерживается на вершине рейтинга Open ASR Leaderboard на Hugging Face, где сравниваются более 60 систем распознавания речи. Теперь доступна вторая версия.
Хуан рассказал, что Scribe также лежит в основе ZoomMate — ИИ-помощника Zoom — и инструментов поддержки клиентов компании. Поиск по Zoom, Google Drive и документам Microsoft дополняет контекст; доступны также интеграции со Slack, Jira и Salesforce.
Коллегия судей
Дина спросил о призывах замедлить развитие ИИ. Хуан ответил, что Zoom сосредоточена на безопасной и надёжной помощи людям с соблюдением нормативных требований и не полагается на одну-единственную модель. Такой подход он называет федеративным: несколько моделей проверяют друг друга, чтобы уменьшить число галлюцинаций и повысить точность.
«Когда вы занимаетесь гимнастикой, понимаете, зачем нужны несколько судей», — сказал он.
По словам Хуана, в тесте Humanity’s Last Exam, проверяющем знания экспертов, комбинация нескольких передовых моделей показала результат лучше, чем каждая из них по отдельности. Zoom одновременно использует модели OpenAI и Anthropic, а также собственную малую языковую модель. Простые задачи поручают небольшим моделям, а к передовым обращаются только для самых сложных.
Хуан рассказал, что Zoom самостоятельно разработала технологии распознавания речи и перевода. Модель компании для составления кратких итогов встреч не уступает ChatGPT, обходясь при этом намного дешевле, поскольку обучена выполнять только одну задачу.
Сорок лет работы над распознаванием речи
Сюэдун Хуан родился в Китае и учился в Шотландии. Работать над распознаванием речи он начал в 1982 году, будучи аспирантом в Китае. По его словам, клавиатуры создавались для западных языков, поэтому печатать на китайском было сложно. До 30 лет он устроился в Microsoft, где основал группу по технологиям распознавания речи. Основное клиентское приложение Zoom скачали более миллиарда раз, рассказал он. Эта цифра относится ко всему приложению, а не к ZoomMate или языковым функциям.
Хуан каждый день пользуется Codex, Claude Code и ZoomMate и включает My Notes на каждой встрече, лекции и семинаре. Затем он спрашивает ZoomMate, какие три важных момента упустил.
По его мнению, языковой барьер пока не преодолён. На проекте Speech Accessibility Project при Иллинойсском университете в Урбане-Шампейне доля ошибок Scribe API возрастает примерно с 3% до 5–6%. В рамках этого проекта записывают речь людей, перенёсших инсульт или испытывающих трудности с чётким произношением. Zoom предлагает наиболее точную расшифровку примерно для десяти языков, а Хуан хочет охватить все 24 официальных языка ЕС.
На вопрос, будет ли Zoom разрабатывать носимое устройство для записи разговоров, Хуан ответил, что компания не анонсирует продукты, которые ещё не выпустила. Zoom не производит оборудование, но сотрудничает с такими компаниями, как Neat, HP Poly, Logitech и Yealink, сообщили в компании.
По словам Хуана, окончательное решение по-прежнему остаётся за человеком, а ИИ лишь помогает его принять.
«Чем больше вам приходится иметь дело с низкокачественным ИИ-контентом, тем больше хочется поговорить с такими людьми, как я», — сказал Хуан.
Опубликовано 6 октября 2026 - 03:24 Наверх
