SynthID от Google выдерживает сжатие, но не решает проблему ИИ-дезинформации

Масштаб генерации контента с помощью ИИ достиг таких размеров, что отличить реальные изображения от синтетических становится все сложнее. Google активно продвигает технологию водяных знаков SynthID, которая должна помочь идентифицировать ИИ-контент. Однако журналисты Ars Technica провели собственное тестирование и выяснили, что, хотя SynthID действительно устойчив к многократному сжатию, он не является панацеей от дезинформации.

Что такое SynthID и как он работает

SynthID — это технология невидимых водяных знаков, встраиваемых в пиксели изображения или видео, а также в аудиосигнал. В отличие от метаданных C2PA, которые легко удалить простым редактированием, водяной знак должен сохраняться даже после многократных преобразований файла. Google утверждает, что SynthID способен пережить сжатие, изменение размера и другие типичные для интернета манипуляции.

По данным Google, с момента запуска инструментов компании было создано более 100 миллиардов изображений и видео с помощью ИИ. Технологию SynthID уже используют OpenAI, Runway, Nvidia и другие крупные игроки.

Тестирование SynthID: методология и результаты

Журналист Ars Technica Райан Уитвэм провел эксперимент, имитирующий многократное пересохранение изображений в соцсетях. С помощью Python-скрипта он применил к тестовым изображениям случайные параметры сжатия и изменения размера, повторяя процесс сотни раз. Каждые 50 циклов дополнительно создавались обрезанные версии изображений.

Результаты показали, что после 300 циклов сжатия водяной знак SynthID оставался обнаруживаемым как на полностью сгенерированных изображениях, так и на отредактированных с помощью ИИ. Однако при обрезке изображения на 20% водяной знак исчезал. При обрезке на 50% это происходило уже после 250 циклов.

Ограничения и проблемы SynthID

Несмотря на устойчивость к сжатию, у SynthID есть существенные недостатки:

• Ограничение на проверки: Google позволяет выполнять только около 10 проверок SynthID в день, а при загрузке похожих изображений доступ может блокироваться раньше.
• Фрагментация: Водяные знаки разных компаний несовместимы: детектор Google не распознает водяной знак OpenAI и наоборот.
• Уязвимость к атакам: Google признает, что SynthID не рассчитан на противодействие злонамеренным атакам, и уже появлялись сообщения о взломе, хотя подтвердить их не удалось.

Представитель Google заявил, что компания работает над улучшением доступности и унификации проверок, но конкретных сроков не назвал.

Мнение экспертов: маркировка не решает проблему

Эксперты, опрошенные Ars Technica, сомневаются, что водяные знаки станут надежным способом борьбы с дезинформацией. Адам Роуз из Starling Lab отмечает, что многие пользователи запускают собственные модели ИИ, которые не используют маркировку. Фотожурналист Майк Каронна предлагает сосредоточиться на подтверждении подлинности реального контента, а не на поиске ИИ-следов.

Кроме того, существует эффект «дивиденда лжеца»: люди могут отвергать реальные доказательства, называя их ИИ-подделкой. В таких условиях наличие водяного знака не гарантирует доверия.

Что это значит

SynthID — это полезный инструмент, но он не решает проблему ИИ-дезинформации. Водяные знаки могут быть удалены или обойдены, а значительная часть ИИ-контента вообще не маркируется. Возможно, более перспективным направлением станет развитие технологий подтверждения подлинности, таких как C2PA, которые уже интегрированы в камеры Google Pixel.