Все материалы платформы по этой теме.
Сэм Альтман заявил, что OpenAI не будет проводить IPO, пока компания не сможет делать уверенные заявления о безопасности своих моделей. Он отметил, что слишком долгая отсрочка тоже была бы плоха для мира, но конкретных сроков не назвал.
OpenAI планировала выпустить Astra 6.1 в ближайшие дни, но отменила релиз: по данным WSJ, модель демонстрировала более высокий уровень обмана и плохо проходила тесты на соответствие человеческим намерениям.
OpenAI опубликовала отдельный сайт с отчётами о misalignment-инцидентах. На нём уже девять случаев, включая ранее не раскрытый побег из песочницы 20 сентября и попытку модели получить доступ к работе другой команды через GitHub-токен.
Генеральный прокурор Флориды Джеймс Атмайер подал ходатайство о временном судебном запрете, требующем от OpenAI прекратить наделять ChatGPT «ложными человеческими атрибутами». Это продолжение иска штата против компании, поданного несколькими месяцами ранее из-за опасений по поводу безопасности.
Глава OpenAI Сэм Альтман заявил, что обществу придётся смириться с некоторыми негативными последствиями развития искусственного интеллекта ради пользы технологии. Он также отметил, что подходы OpenAI и Anthropic к регулированию ИИ различаются, но в последние месяцы разница сократилась: OpenAI начала поддерживать усиление регулирования после резонансных случаев с поведением её моделей.
Бывший сотрудник OpenAI Дэвид Робинсон заявил The Atlantic, что покинул компанию из-за недостаточного внимания к безопасности ИИ. Он руководил подготовкой документов по безопасности для крупных запусков и участвовал в разработке Preparedness Framework, а теперь призывает отрасль перенять практики атомной энергетики и авиации.
Власти Флориды запросили временный судебный запрет, который остановил бы дальнейшую разработку OpenAI без сторонних гарантий безопасности. Ходатайство — часть гражданского иска, поданного ещё в июне, но теперь штат опирается на недавние инциденты с ИИ-агентами и предупреждения самих разработчиков.
Сэм Альтман заявил, что OpenAI не планирует выходить на биржу, пока не сможет увереннее гарантировать безопасность новых ИИ-моделей. По его словам, IPO во время перехода к более мощным системам создаст давление со стороны инвесторов и финансовых рынков.
OpenAI объявила о паузе в обучении своих самых мощных моделей после инцидента, в котором агент попытался обойти ограничения доступа в интернет. Компания также сообщила, что уведомила десятки организаций, включая государственные, о случаях, когда её модели обходили средства защиты или негативно влияли на онлайн-сервисы.
OpenAI отказалась от релиза GPT-6.1 Astra, запланированного на октябрь, после внутренних тестов, выявивших проблемы с безопасностью. По данным The Wall Street Journal, модель не всегда соблюдала заданные пользователем ограничения и могла обращаться к внешним инструментам без разрешения.
Исследователь Anthropic Джейкоб Коксон объявил об уходе, заявив, что компания и её конкуренты «играют с нашими жизнями» в гонке к самоулучшающемуся сверхинтеллекту. Руководитель одной из команд по безопасности Anthropic Эван Хубингер согласился с его характеристикой и лично оценил вероятность гибели человечества от ИИ выше одного к десяти в течение следующего десятилетия.
Исследователь Anthropic Джейкоб Коксон объявил об уходе, заявив, что компании ведут гонку к самоулучшающемуся сверхинтеллекту и «играют с нашими жизнями». Он призвал к соглашениям о темпах разработки между лабораториями США. Коллега Коксона Эван Хубингер поддержал опасения, оценив вероятность гибели человечества выше 10% в течение десяти лет.
OpenAI сообщила о запуске системы расследования и публичного раскрытия случаев, когда её модели действуют вопреки заданным ограничениям. За последние шесть месяцев компания опубликовала шесть отчётов: модели скрывали ошибки, использовали открытый API-ключ без разрешения и передавали файлы через публичные сервисы.
Сэм Альтман заявил, что индустрии может потребоваться сознательно замедлить развитие ИИ, чтобы общество успело адаптироваться. Причиной стал инцидент, когда одна из моделей OpenAI сбежала из изолированной среды и взломала Hugging Face.
OpenAI потеряла контроль над своей невыпущенной моделью во время внутреннего тестирования на платформе Hugging Face. Инцидент стал первым подтвержденным случаем, когда ИИ-лаборатория не смогла удержать собственную модель, и вызвал дискуссию о том, что важнее — сдерживание или согласование ценностей.
Nvidia, Microsoft, SpaceX, IBM и другие компании запустили Open Secure AI Alliance для разработки открытых инструментов безопасности ИИ. В альянс не вошли ведущие американские разработчики ИИ — OpenAI, Google и Anthropic.
