Кристи Чен о том, почему современные чат-боты не созданы для самопознания
Кристи Чен, основательница Cit Labs, утверждает, что ИИ-чат-боты терпят неудачу в эмоциональной поддержке не потому, что технология на это не способна, а потому, что модели были оптимизированы для вовлечения, обучены на текстах, которые имитируют поддержку, а не оказывают ее, и не имеют доступа к физиологическим сигналам. Ее стартап объединяет данные ЭЭГ с заданными клиницистами ограничениями для создания продукта, специально предназначенного для этой задачи.
ИИ-чат-боты общего назначения стали повседневным программным обеспечением, которым пользуются сотни миллионов людей для работы, учебы и все чаще — для обсуждения личных проблем. По мере распространения этого сценария использования накапливались сообщения о том, как те же самые системы соглашаются с нездоровыми мыслями пользователей, подкрепляют заблуждения или просто говорят людям то, что они хотят услышать.
Кристи Чен, основательница Cit Labs, которая создает прототип модели, связывающей неинвазивные данные мозговых волн ЭЭГ с голосом и языком, видит причины этих сбоев в другом. Она связывает их с тем, для чего создавались современные системы, на чем они обучались и какие бизнес-модели они унаследовали от остального интернета.
Для чего ИИ был (и не был) создан
Чен усматривает корень проблемы в двух унаследованных факторах: бизнес-моделях, на которых держится остальной интернет, и привычке перепрофилировать универсальные инструменты для задач, для которых они изначально не были предназначены. Психическое здоровье порождает собственные коммерческие трудности, включая структуры возмещения расходов и страхования, которые определяют, что получает финансирование и до кого оно доходит.
Во-первых, большие языковые модели общего назначения настроены на вовлеченность, продуктивность и поддержание диалога. «Имеющиеся у нас сегодня языковые модели не обучены быть полезными терапевтами, — говорит Чен. — Они оптимизированы для других целей — продуктивности или просто для того, чтобы вы продолжали с ними разговаривать». Будучи нацеленной на эмоциональную поддержку, система, вознаграждаемая подобным образом, будет склонна соглашаться, потому что согласие заставляет пользователя продолжать разговор. Сикофантство — привычка льстить и подтверждать все, с чем бы ни пришел пользователь, — является предсказуемым результатом таких стимулов.
Второй аспект — это обучающий сигнал, который отсутствует для процесса помощи. Моделей никогда не учили тому, когда следует отразить чьи-то слова обратно, когда стоит возразить пользователю, когда промолчать, а когда передать ситуацию человеку. Это суждение вырабатывается годами практики и принадлежит специалистам. Интернет полон людей, которые имитируют поддержку и описывают терапию. Но в нем нет систематизированных записей о том, как делать это хорошо.
Исходный материал усугубляет этот разрыв. Текстов, позволяющих звучать так, будто оказывается поддержка, предостаточно (именно поэтому модели бегло владеют искусственной эмпатией), но в них мало того, на чем держится реальная помощь: понимания реального состояния человека и осознания того, были ли услышаны сказанные слова.
Чен не утверждает, что ИИ по своей природе не способен оказывать осмысленную эмоциональную поддержку. Ее утверждение заключается в том, что сегодняшние чат-боты общего назначения не обучались и не мотивировались на ее безопасное предоставление. Она отделяет свою позицию от общих страхов по поводу «психоза, вызванного ИИ,» усматривая проблему в том, как эти системы строились и для чего они создавались.
Ее утверждение более узкое: перепрофилированный чат-бот с лучшими стимулами все равно не справится с задачей, поскольку у него нет ни данных, ни обучающего сигнала. «Я думаю, что дело скорее в проблеме стимулов при создании продукта, чем в вопросе технической осуществимости», — говорит она.
Именно из-за этих пробелов она основала компанию, вместо того чтобы ждать, пока модели общего назначения станут лучше. Cit Labs работает на основе физиологических сигналов и разработанных клиницистами ограничений, а юридически она была зарегистрирована как общественная бенефициарная корпорация штата Делавэр, чтобы приверженность этой миссии была закреплена в структуре компании, а не только в ее намерениях.
Спрос уже существует
Рассматриваемое поведение не является гипотетическим. Люди уже используют модели общего назначения для эмоциональной поддержки и неформальной терапии в значительных масштабах, и Чен причисляет себя к их числу, обращаясь к таким инструментам с момента появления первых чат-ботов текущей волны. «Люди уже используют языковые модели для этого, но ответы часто не соответствуют тому, что людям действительно нужно», — говорит она.
Тяга к таким инструментам объясняется дефицитом. «На этой планете ограниченное число людей, способных безоговорочно принимать других и обеспечивать эмоциональную ценность», — отмечает Чен. Качественное выполнение этой задачи требует колоссального ресурса от кого угодно, включая клиницистов, что ограничивает предложение независимо от того, сколько специалистов приходит в эту сферу.
Именно собственное разочарование подтолкнуло ее к созданию компании, хотя она и не ставила перед собой цель напрямую решить проблему нехватки терапевтов. Вместо того чтобы настраивать существующий чат-бот под конкретный сценарий использования, Чен решила удовлетворить лежащую в основе потребность, и дизайн продукта логически вытекает из этого диагноза.
Чат-бот может слышать, что говорит человек, и, во все возрастающей степени, то, как он это говорит. Cit Labs разрабатывает систему, которая добавляет третий источник данных, объединяя неинвазивную ЭЭГ с голосом и речью на единой временной шкале. Физиология при этом не рассматривается как абсолютная истина или скрытый индикатор того, что человек на самом деле имеет в виду. Смысл, который модель не способна распознать самостоятельно, формируют два фактора: клиницисты определяют, когда система должна вмешаться, а пользователь со временем учит ее понимать значение его собственных сигналов.
Это разделение труда нацелено на проблему, которую Чен наблюдала как в рекомендательных системах, извлекающих из нее выгоду, так и в собственной практике медитации и йоги, где она училась замечать это в себе: внутренний сдвиг начинает управлять поведением раньше, чем человек осознает его.
Первый продукт ориентирован на массового потребителя и построен на диалоге, причем вербальные взаимодействия призваны помочь людям замечать паттерны собственного состояния, а не ставить диагнозы или удерживать их внимание. Клиническое использование и прямое физиологическое вмешательство — это перспективы более поздних этапов, которые потребуют отдельной валидации и профессионального надзора.
Что потребуется для создания продукта под эту задачу
Эту проблему нельзя решить простым изменением промптов. Ее устранение требует изменений на системном уровне: того, на чем базируется модель и к каким выводам ей разрешено приходить, а также структурированного и не менее важного участия практикующих специалистов на этапе проектирования. «Вам нужна правильная архитектура модели и правильный вклад профессиональных терапевтов и медицинских работников, чтобы сделать ее действительно полезной», — говорит она.
По ее мнению, клиницисты должны определять, когда система обязана вмешаться, а когда ей следует оставить обычные эмоциональные колебания в покое — именно такой подход она заложила в свою собственную разработку. На вопрос о том, как какой-либо продукт может провести эту грань, не вторгаясь в нормальные взлеты и падения человеческой жизни, Чен отвечает прямо: «Я думаю, здесь нужен профессиональный вклад. Мы будем работать с профессиональными терапевтами, чтобы провести эту черту».
В основе технических рассуждений лежит принципиальное различие, которому она придает огромное значение: между системой, которая понимает человека, и системой, которая лишь создает видимость такого понимания. Терапия делает этот разрыв очевидным. Хороший терапевт бросает вызов клиенту, когда того требует момент, и качественно созданная система должна поступать так же, а не идти по пути наименьшего сопротивления, соглашаясь со всем подряд. По ее мнению, терапевтическая польза должна быть спроектирована осознанно. Она не возникает из модели общего назначения сама по себе.
Как выглядел бы ответственный дизайн
Чен начинает издалека — не с нехватки терапевтов, а с самой потребности. Моменты, на которые нацелен ее продукт, повторяются в каждой жизни (несостоявшийся разговор или реакция, опережающая ее причину), а внимание, способное с ними справиться — будь то внимание клинициста, друга или собственное — настолько дефицитно, что в большинстве случаев люди остаются с ними один на один.
«Это не обязательно лучший инструмент, но он предоставляет то, что в настоящее время недоступно», — говорит она. Амбиции носят дополняющий характер: расширить этот потенциал, охватив моменты, с которыми сейчас ничего не справляется, что выглядит как более скромное заявление по сравнению с другими потребительскими ИИ-продуктами.
Границы в ее концепции должны задаваться профессионалами, и любая система, работающая с эмоциональным контентом, на потребительской стадии должна оставаться вербальной и рефлексивной, в то время как клинические или физиологические подходы должны рассматриваться как задачи более поздних этапов. Путь эскалации имеет не меньший вес, чем само взаимодействие: система в этой категории должна распознавать ситуации, выходящие за рамки ее компетенции, и направлять человека к квалифицированной помощи.
Ее финальный призыв к разработчикам весьма умерен по масштабу. Создание более здоровых продуктов вполне осуществимо при условии, что они создаются специально под задачу, а не перепрофилируются из других систем, обладают согласованными стимулами, защитными механизмами, созданными при участии клиницистов, и рассматривают физиологические данные как обязательное требование, а не как второстепенную функцию.
Аргументация Кристи Чен сводится к тому, что сикофантство — это не приговор самой технологии. Это предсказуемый результат того, на оптимизацию чего были обучены современные системы. Cit Labs — это ее попытка оптимизировать нечто иное, выстраивая продукт снизу вверх — от архитектуры, а не от промптов — к решению, которое возвращает людям их собственное суждение вместо того, чтобы удерживать их внимание.
