Raindrop привлекла $50 млн инвестиций для выявления сбоев ИИ-агентов в рабочей среде

«Сейчас агенты работают часами, вызывают тысячи инструментов и оперируют реальными деньгами, персональными медицинскими данными и реальными клиентами, — заявил Зубин Котича, генеральный директор Raindrop. — Когда агент дает сбой, он убедительно совершает ошибки в промышленных масштабах до тех пор, пока кто-нибудь случайно это не заметит».

Компания Raindrop привлекла инвестиции в рамках раунда Серии A под руководством CRV. Как сообщила 17 сентября базирующаяся в Сан-Франциско компания, общий объем финансирования достиг $50 млн. При этом размер самого раунда не уточняется.

Компания занимается мониторингом ИИ-агентов после их запуска в эксплуатацию. Она считывает рабочие логи (трейсы) и фиксирует то, что называет семантическими аномалиями. К ним относятся галлюцинации моделей, нецелевое использование инструментов и изменения в поведении, возникающие после обновления модели. Инженерные команды могут видеть, что именно изменилось, когда это началось и каких пользователей затронуло.

Тестирование изменений перед релизом

Одновременно с привлечением финансирования Raindrop запустила в режиме исследовательской превью-версии продукт под названием Simulations («Симуляции»). Он воспроизводит реальный рабочий трафик и существующие тестовые сценарии команды для проверки предполагаемых изменений в агенте, после чего запускает алгоритмы обнаружения аномалий по результатам проверки.

Этот подход бросает вызов традиционным методам оценки. По словам представителей Raindrop, классические инструменты оценки (evals) опираются на заранее написанные тест-кейсы. Это означает, что они в основном выявляют те сбои, о которых команда уже подумала заранее. Simulations же запускается для каждого pull request и призвана выявлять изменения в поведении, которые никто не мог предсказать.

Raindrop сослалась на исследование организации METR, показывающее, с какой скоростью развиваются технологии. Сложность задач, которые агенты способны решать самостоятельно, удваивается примерно каждые семь месяцев. Один цикл работы теперь может длиться дни и включать тысячи вызовов различных инструментов.

Компания также утверждает, что Simulations дает сторонним компаниям (не входящим в число лидеров индустрии передового ИИ) те же процессы тестирования, которые эти лидеры используют внутри себя. В качестве примера приводится исследование OpenAI, посвященное симуляции развертывания, в ходе которого генерируются заново ответы на обезличенные рабочие диалоги с помощью тестируемой модели. Кроме того, упоминается компания Anthropic, создающая синтетические вселенные для стресс-тестирования своих агентов.

Кто стоит за инвесторами

К раунду присоединились венчурные фонды Lightspeed Venture Partners и Y Combinator, уже участвовавшие в финансировании компании ранее. В качестве частных инвесторов выступили ведущие исследователи из OpenAI, Anthropic и Thinking Machines. Компания также указывает в числе инвесторов Figma Ventures и Vercel Ventures.

Среди клиентов Raindrop называет Vercel, Framer и Clay, а также неназванные компании из списка Fortune 100, работающие в сферах здравоохранения и логистики.

«Агенты принципиально отличаются от традиционного программного обеспечения. Они обладают высокой автономностью, способностью к принятию решений и не детерминированы, — отметил в своем заявлении генеральный партнер CRV Рид Кристиан. — Raindrop рассматривает сбои агентов как задачу обнаружения, точно так же, как это делала бы компания в сфере информационной безопасности».

Бакки Мур, партнер в Lightspeed, заявил в своем комментарии, что некорректное поведение ИИ со временем станет катастрофическим, указав на такие сферы с высокими ставками, как оборона.

«Если у нас возникает проблема, например неудачная сборка или зацикливание агентов, мы сразу видим это в Slack», — рассказала Бани Сингх, инженер по искусственному интеллекту в Vercel.

Котича основал Raindrop вместе с Беном Хайлаком и Алексис Гауба. В состав команды вошли инженеры, создававшие системы обнаружения мошенничества в Robinhood и системы выявления аномалий в Square. К ним также присоединились инженеры по безопасности из Segment, Semgrep и Socket.dev.

Растущая конкуренция в нише

В этот сегмент продолжает поступать капитал. В июле компания groundcover привлекла $100 млн для создания систем наблюдаемости (observability) для эпохи ИИ. В июне Scaled Cognition привлекла $100 млн от Khosla Ventures для разработки надежных ИИ-агентов. А компания Harvey в этом месяце приобрела Guardrails AI.

Разница между продуктами заключается в том, на каком этапе они вмешиваются в процесс. Raindrop делает ставку на то, что надежность агентов — это проблема детектирования, а не проектирования. Компания также исходит из того, что оптимальный момент для вмешательства — это этап создания pull request. Поскольку Simulations пока находится в режиме превью-версии, окончательный итог этой стратегии еще не предрешен.