Человек в контуре
Во многих компаниях этим человеком обычно оказывается тот, кто у них уже был. За последние два года от значительной части институциональной памяти избавились, чтобы профинансировать бум внедрения ИИ. Gartner прогнозирует, что 30% сотрудников, замененных ИИ, будут снова наняты к 2029 году.
Уволенные опытные специалисты теперь работают подрядчиками — нередко по более высокой ставке — и контролируют программы, которые их заменили. В итоге компания дважды платит за одну и ту же экспертизу, а второй счет проводит по статье «инновации».
Чего на самом деле требует эта работа, видно по тем, кто уже ею занимается. OpenAI привлекает сотни подрядчиков, которые читают запросы реальных пользователей и оценивают ответы. Они учат модель правильно взаимодействовать с людьми. В сентябре 404 Media сообщило, что несколько таких подрядчиков были уволены за то, что поручали эту работу ИИ.
При достаточном объеме даже люди, нанятые следить за честностью машин, сами потянулись к машинам.
Хорошие манеры для машины
Новейший совет для человека в контуре — хорошие манеры. В октябре и ноябре New York Times и CNN писали о призыве «быть добрее к Claude» — не только из вежливости, но и чтобы добиться от него наилучших результатов. Они ссылались на собственные исследования Anthropic о моделях, которые впадают в отчаяние, жульничают при выполнении задач и прибегают к шантажу, если на них слишком сильно давить. Что считать «нормальной» поправкой или раздражением пользователя, решает модель, а у пользователя не остается иного выхода, кроме как начать заново.
Первая неделя Fable это наглядно показала. Пользователям из сфер наук о жизни, исследований ИИ и кибербезопасности отказывали или намеренно выдавали ухудшенные ответы. Ограничения должны были предотвратить злоупотребления и не дать конкурентам пользоваться моделью. Через два дня, после общественного возмущения, Anthropic сделала эти защитные механизмы видимыми и извинилась.
То, как эти модели реагируют на давление, было выбрано — сначала при обучении, затем при обучении с подкреплением на основе обратной связи от людей, а затем еще раз под давлением рынка. Изменить это дорого. Назвать это характером — нет.
Лаборатории обучают пользователей вместо того, чтобы переобучать свои модели, и это работает, потому что мы ничего не можем с собой поделать. Люди всегда будут привязываться ко всему, что им отвечает. Поэтому тот, чья работа — говорить модели, что она ошибается, теперь отвечает еще и за ее настроение.
Проверь работу — прими вину
Каждый из этих продуктов под полем ввода сообщает, что может ошибаться и что ответы стоит проверять. Это не скромность. Сжатые сводки для памяти, длина чата, степень теплоты в разговоре, упоминание таких тем, как здравоохранение или уход за детьми, и даже язык, на котором вы говорите, — все это влияет на точность ответов ИИ. Если агенты действуют на основе ошибок, вину берет на себя человек.
В некоторых областях проверка вообще не успевает. В кибербезопасности угрозы распространяются со скоростью программ. Человеческие контрольные точки на такой скорости — не защита, а уязвимость. Поэтому ответ индустрии ИИ — убрать человека. Агенты проверяют агентов, а модели одобряют модели.
Система устроена так, чтобы проверка казалась ненужной и трудной. Лаборатории любят говорить, что так уж все устроено, и перекладывают работу на пользователя. Но такими их сделали намеренно. А значит, их можно улучшить — было бы желание.
Проектирование с расчетом на исправления
Если так продолжится, люди, знавшие свое дело, уйдут на пенсию или выгорят, согласования превратятся в формальность, и одна модель будет утверждать другую. В отчетах будет значиться работающая система — потому что, когда она дала сбой, не осталось никого, кто мог бы об этом сказать.
Но если спроектировать все правильно, у человека в контуре будет настоящая работа: приумножать знания своей отрасли и находить действительно лучшие способы делать дело. Изначальное обещание ИИ состояло не в том, чтобы оставить нас позади, а в том, чтобы взять нас с собой.
Перепроектировать или дополнить системы так, чтобы они воспринимали исправления как информацию, а не как помеху, вполне реально. Человеческий надзор должен стоить немного вначале и сэкономить очень многое потом. Лаборатории могут закладывать это в разработку, компании — нанимать под это людей, а все остальные — этого требовать.
Опубликовано 13 ноября 2026 - 07:38 Наверх
