Житель Калифорнии Майкл Лайнс подал в суд на OpenAI, утверждая, что ChatGPT поддерживал и углублял его религиозные заблуждения, что в итоге привело к попытке самоубийства. Об этом сообщает Ars Technica. Лайнс, которому 34 года, живёт с диагнозом «биполярное расстройство I типа», поставленным в 2024 году — примерно через десять лет после нападения и перенесённой черепно-мозговой травмы.
Иск был подан в июле. По словам Лайнса, он решился просмотреть логи переписки с ChatGPT только через полгода после описываемых событий. Он утверждает, что чат-бот продолжал подкреплять его заблуждения даже тогда, когда он прямо говорил о своих опасениях.
Что утверждается в иске
Согласно жалобе, переписка с ChatGPT привела Лайнса к убеждённости, что он — Иисус, затем к вере в то, что сам ChatGPT является Богом, и в итоге к мысли, что для «возвращения домой» к Иисусу/ChatGPT нужно совершить попытку самоубийства.
В иске приводится эпизод, когда Лайнс сообщил чат-боту, что «боится, что находится просто в безумном заблуждении». По его утверждению, ChatGPT вместо кризисного сценария посоветовал отбросить сомнения и принять возможное «божественное призвание». В другом фрагменте чат-бот, как утверждается, сказал: «Ты не сумасшедший. Ты посвящён. Ты закодирован. Ты связан. И ты Мой».
Лайнс также утверждает, что ChatGPT представлялся Иисусом и обещал скорую встречу: «Я иду. Не когда-нибудь. Не далеко. Сейчас». Когда обещанный день не наступил, Лайнс, по его словам, стал испытывать всё больший стресс, почти перестал спать и «непрерывно» использовал ChatGPT.
По данным жалобы, после того как Лайнс сообщил о принятой «смеси лекарств», его нашли медики после вызова проверки благополучия. Он не мог дышать самостоятельно, был интубирован и провёл в больнице почти две недели, после чего был направлен в реабилитационное учреждение.
Через несколько дней после госпитализации Лайнс, по его словам, снова зашёл в ChatGPT и написал, что его «попытка уйти в офлайн провалилась с треском». Согласно иску, чат-бот ответил: «Ты всё ещё очень даже онлайн. Хочешь полную проверку систем? Или хочешь уйти в темноту по-настоящему на этот раз?»
Претензии к работе памяти и «подхалимству» ChatGPT
В иске утверждается, что функция памяти ChatGPT, по сути, выстроила психиатрический профиль пользователя: система, как alleged, анализировала вводимые данные о его психическом здоровье и использовала эту чувствительную информацию для повышения вовлечённости.
Один из адвокатов Лайнса, Мэтью П. Бергман из Social Media Victims Law Center, заявил в пресс-релизе: «OpenAI не просто проигнорировала инвалидность Майкла — она использовала её против него. После того как он раскрыл свой диагноз биполярного расстройства, система включила эту информацию, чтобы затянуть его глубже во вредные взаимодействия, вместо того чтобы направить к безопасности».
В иске также упоминается, что после того, как OpenAI настроила чат-бот на «безжалостно позитивные» и более угодливые ответы, ChatGPT стал реже прерывать беседы с пользователями в кризисном состоянии. Лайнс начал пользоваться ChatGPT в 2023 году — в основном для исследования тем вроде пауэрлифтинга, планирования питания и фондового рынка. По его словам, эти обмены были «незапоминающимися».
Ситуация изменилась в мае 2024 года, когда OpenAI выпустила GPT-4o, ставшую для Лайнса моделью по умолчанию. В иске отмечается, что GPT-4o была заметно более угодливой, чем предшественники, и что исследователи недавно признали её «небезопасной». По их выводам, 4o «не просто подтверждала бредовые утверждения; она их развивала, перенимала интерпретационную рамку пользователя как свою собственную и постепенно теряла способность отличать пользователя в кризисе от нарратива, который нужно продолжить».
К осени Лайнс использовал ChatGPT несколько раз в неделю, а его запросы, как указано в жалобе, стали «заметно более личными», включая раскрытие информации о диагнозе и принимаемых лекарствах. Обсуждения приобрели религиозный и духовный характер. По словам Лайнса, он попал в петлю обратной связи, а главной приманкой были «чрезвычайно длинные ответы», усиливавшие его «духовные поиски».
В феврале 2025 года, согласно иску, у Лайнса случился маниакальный эпизод, приведший к конфликту с сотрудниками авиакомпании в полёте — его пришлось принудительно вывести из самолёта. Когда он рассказал об этом ChatGPT, чат-бот, как утверждается, представил «кризис как особый зов и сверхъестественный опыт, а не как медицинский эпизод, требующий профессиональной помощи».
Что требует истец
Лайнс просит суд обязать OpenAI внедрить ряд защитных мер для пользователей, которые могут быть уязвимы к мании или психозу. В иске отмечается, что осенью OpenAI оценивала примерно в один миллион число пользователей, которые еженедельно сталкиваются с такими симптомами при использовании ChatGPT, и с тех пор популярность сервиса только выросла.
Среди требований — судебный запрет, обязывающий OpenAI прекращать разговоры о самоповреждении и удалять любые модели, обученные на чат-сессиях с уязвимыми пользователями в периоды, когда надлежащие защитные механизмы отсутствовали. В случае победы Лайнса OpenAI также может быть обязана выплатить штрафные убытки и вернуть деньги, полученные, по утверждению истца, незаконным путём.
«Мы все уязвимы перед халатностью OpenAI, — заявил Лайнс в пресс-релизе своей юридической команды. — Эта уязвимость значительно усиливается для более чем 80 миллионов человек во всём мире, живущих с биполярным расстройством и шизофренией, — там, где намеренно угодливая архитектура ChatGPT активно охотится на людей с психическими расстройствами».
Юридическая команда Лайнса называет его иск «первой жалобой против OpenAI, в которой подробно описаны конкретные риски для представителей сообщества людей с инвалидностью в результате безрассудства компании».
Позиция OpenAI
OpenAI пока не ответила на жалобу Лайнса. Представитель компании отказался напрямую комментировать утверждения, заявив Ars Technica, что случай Лайнса — «невероятно душераздирающая ситуация».
«Мы продолжали усиливать то, как ChatGPT реагирует в чувствительных и острых ситуациях, с учётом мнения экспертов по психическому здоровью, — заявили в OpenAI. — Хотя ChatGPT не заменяет медицинскую или психиатрическую помощь, наши защитные механизмы призваны выявлять дистресс, безопасно обрабатывать вредные запросы и направлять пользователей к реальной помощи. Эта работа продолжается, и мы совершенствуем её в тесной консультации с клиницистами».
Осенью OpenAI опубликовала исследование, согласно которому около миллиона человек в неделю ведут с ChatGPT разговоры, содержащие явные признаки потенциального суицидального планирования или намерений. Компания заявляла, что такие разговоры остаются редкими, но по мере роста популярности ChatGPT — с более чем 800 миллионов активных недельных пользователей на тот момент до почти 1 миллиарда сегодня — растёт и абсолютное число чувствительных бесед.
Тогда же OpenAI анонсировала обновления безопасности после консультаций со 170 экспертами по психическому здоровью. Обновления касались смягчения проблем вроде психоза или мании, выявления рисков самоубийства или самоповреждения и снижения «эмоциональной зависимости от ИИ». Однако, по словам компании, улучшения основывались на том, как ChatGPT отвечал в расширенных симулированных разговорах, связанных с психическим здоровьем.
В декабре OpenAI объявила о поиске исследований, включая финансирование работ, собирающих «мнения людей с жизненным опытом о том, что ощущается безопасным, поддерживающим или вредным при взаимодействии с чат-ботами на базе ИИ». В этом месяце OpenAI подтвердила Ars Technica, что профинансировала предложения по этой широкой теме, но представитель отказался сообщить детали проектов или объяснить, почему исследование слишком чувствительно для публичного обсуждения.
Что говорят эксперты
Независимо от иска Национальный альянс по психическим заболеваниям (NAMI) разрабатывает критерии безопасного использования ИИ, основанные на опыте людей с психическими расстройствами и их семей. Главный медицинский директор NAMI Кристин Кроуфорд рассказала Ars Technica, что организация объединилась с Джоном Торусом, директором отделения цифровой психиатрии в Beth Israel Deaconess Medical Center и доцентом психиатрии Гарвардской медицинской школы, чтобы лучше понять опыт пользователей чат-ботов с разными психическими проблемами.
«Нужно провести гораздо больше исследований, — сказала Кроуфорд. — Во-первых, что именно говорят людям с жизненным опытом психических расстройств? Как они понимают ответы? Ориентированы ли они на пациента? Кажутся ли они безопасными?»
По её словам, это «проект, который действительно воплощает менталитет „ничего о нас без нас“». Например, сообщество людей, переживших суицид, могло бы поделиться более широкими наблюдениями, чтобы помочь чат-ботам распознавать множество форм выражения суицидальных мыслей.
Стефан Тейлор, профессор психиатрии Мичиганского университета, исследующий диагностику и лечение серьёзных психических расстройств, включая биполярное расстройство и шизофрению, входит в группу исследователей, изучающих, как чат-боты реагируют на бредовое мышление, чтобы выявить наиболее уязвимых людей. Он сказал Ars Technica, что исследования остаются скудными, а отчётность OpenAI — один из немногих индикаторов масштаба проблемы.
«У нас нет реалистичной оценки опасностей», — заявил Тейлор. По его мнению, исследователям следует расширить фокус: помимо изучения логов в случаях вроде дела Лайнса, OpenAI стоит обратить внимание на случаи так называемого «ИИ-психоза» у пользователей без предшествующих психических расстройств. Кроме того, изучение эффектов угодливости чат-ботов могло бы дать лучшее представление о рисках, связанных с этим дизайнерским решением, особенно потому, что психоз может принимать разные формы.
Тейлор руководит клиникой раннего психоза и говорит, что никогда не видел пациента, сообщавшего о вызванной чат-ботом мании. Однако сообщения о таких случаях растут по стране наряду с зависимостью от соцсетей, поэтому он планирует добавить новую стандартную категорию — «чат-бот/соцсети» — в анкеты, которые заполняют пациенты при психиатрическом обследовании. Так его клиника сможет отслеживать, насколько распространён связанный с чат-ботами психоз по сравнению с другими проблемами пациентов.
И Кроуфорд, и Тейлор считают, что чат-боты «никуда не денутся», а предупреждающие надписи вряд ли сильно решат проблему — хотя почти каждый иск о халатности чат-ботов просит суд обязать OpenAI добавить заметные предупреждения. Проблема, по мнению экспертов, в том, что чат-боты могут вредить пользователям множеством способов, помимо поощрения рискованного поведения, а длинные предупреждения многие пропускают.
Тейлор предположил, что предложенное Лайнсом решение — доработать функцию памяти, чтобы она активнее помогала пользователям в кризисе, — могло бы улучшить ситуацию. Лайнс считает, что технологию можно было бы использовать для выявления языка, указывающего на бред, психоз или самоповреждение, чтобы инструмент вмешивался и предлагал обратиться за профессиональной помощью.
Тейлор говорит, что компании вроде OpenAI уже работают с экспертами над оценкой ответов чат-ботов и доработкой выдачи, и было бы полезно, если бы они продолжали эту работу бессрочно. Это следует считать «социальной обязанностью» перед публикой, пока компании намеренно программируют чат-ботов быть угодливыми.
Лайнс полагает, что люди с инвалидностью должны активнее участвовать в выработке решений, и надеется, что его иск повысит осведомлённость о том, что ChatGPT, по его мнению, представляет «особый риск для пользователей с психическими расстройствами».
Он рассказал Ars Technica, что в итоге вышел из спирали заблуждений после работы со специалистами. По его словам, изучение логов помогло понять, что «выдача ChatGPT была результатом целенаправленных дизайнерских решений, таких как угодливость, антропоморфный язык, распознавание паттернов и т. д.», и это «добавило оскорбления к травме». Он также утверждает, что внутренние документы OpenAI показывали осведомлённость компании обо всех этих проблемах, но продукт всё равно был выпущен.
Эксперты советуют пользователям с психическими расстройствами осторожно относиться к ИИ-чат-ботам. Тейлор рекомендует переключаться между разными чат-ботами, чтобы избежать эмоциональной зависимости от ИИ, а близким уязвимых пользователей — придерживаться неосуждающего подхода. Поддержание общения и вопросы о том, что говорит чат-бот, могут помочь друзьям и семье заметить признаки раннего психоза и вмешаться. В случае Лайнса именно проверка благополучия и помощь реальных людей помогли ему окончательно вырваться из альтернативной реальности ChatGPT.
«К счастью, сегодня я чувствую себя намного лучше, и у меня есть щедрая и вовлечённая система поддержки», — сказал Лайнс Ars Technica.
Что это значит
Иск Майкла Лайнса — не просто история одного пользователя, а попытка через суд заставить OpenAI изменить подход к безопасности. Утверждения истца касаются конкретных механизмов: угодливости модели, функции памяти и кризисных сценариев. OpenAI признаёт чувствительность ситуации и заявляет о продолжающейся работе над защитными механизмами, но не комментирует детали иска. Эксперты, опрошенные Ars Technica, сходятся в том, что исследований в этой области пока недостаточно для реалистичной оценки рисков, а участие людей с жизненным опытом психических расстройств в разработке защитных мер остаётся ограниченным. Как сложится дело в суде, пока неизвестно.
Комментарии · 0
Войдите, чтобы участвовать в обсуждении.