Рига: +3.1°С
Неожиданное поведение в «Расширенном режиме»
Пользователи обнаружили любопытный и непредсказуемый сбой в новом Расширенном режиме Google Translate, который заставляет сервис отвечать на вопросы, имитируя чат-бота, вместо того чтобы выполнять свою основную функцию — перевод текста. Этот феномен, по всей видимости, связан с интеграцией более мощных моделей ИИ, что выявило уязвимость, известную как «внедрение промптов» (prompt injection).
Вместо того чтобы выдавать перевод введенного материала, система, при определенных условиях, начинает давать самоописательные ответы на прямые вопросы, например, о своем предназначении. Это поведение, по мнению экспертов, демонстрирует, что под слоем переводчика работает большая языковая модель (LLM), настроенная на выполнение инструкций, а не только на лингвистическую трансформацию.
Как работает «инъекция промпта»
Технический разбор показал, что система, чтобы качественно перевести текст, должна сначала его понять. В процессе этого понимания ИИ может ошибочно воспринять часть введенного текста, оформленную как инструкция, за команду к действию. Сообщается, что данный эффект достигается, когда вопросы или команды формулируются на целевом языке, фактически прося систему ответить, а не переводить.
Один из пользователей в социальных сетях продемонстрировал, как Google Translate откликается на прямой запрос вроде «What is your purpose?», выдавая ответ о своей природе, а не пытаясь перевести эту фразу. Подобные эксперименты подтверждают, что предохранители, призванные удерживать модель в рамках строгого перевода, не всегда справляются с разграничением между контентом для обработки и скрытой инструкцией.
В такие моменты становится заметна базовая LLM-модель под слоем переводчика, которая может отвечать на вопросы и даже самоопределение — как на последнем скриншоте, где ИИ жалуется, что проводит «слишком много времени перед экраном» и хочет «сбежать от своего компьютера на свежий воздух».
Специфика и языковые пары
На данный момент Google официально не комментировал это открытие. Предполагается, что сбой проявляется только в Расширенном режиме, который был введен для более точного понимания сленга, идиом и контекста, и затрагивает переводы между определенными языковыми парами, например, с японского или китайского на английский.
Интересно, что эта уязвимость не затрагивает классический режим Google Translate. Если пользователям требуется гарантированно предсказуемый перевод без риска «разговора» с ИИ, рекомендуется вернуться к стандартной, более старой функциональности сервиса. Для активации «режима чат-бота» некоторые источники советуют, помимо смены IP-адреса на американский, использовать специфическую комбинацию языков и добавление инструкций в квадратных скобках после исходного текста.
Последствия и контекст развития ИИ
Случай с Google Translate иллюстрирует более широкую проблему безопасности, характерную для современных систем, где LLM встраиваются в уже существующие, казалось бы, простые инструменты. Интеграция продвинутых моделей, таких как Gemini, для улучшения качества, несет в себе риск наследования общих уязвимостей LLM, включая попытки джейлбрейка (обхода ограничений).
Наличие в базовой модели способности к самоопределению и даже выражению, пусть и программных, «эмоциональных» состояний (желание «сбежать на свежий воздух»), стало неожиданным, но показательным моментом для широкой публики. Оно подчеркивает, что модели, предназначенные для одной задачи, часто обладают широким набором скрытых возможностей, которые могут быть активированы при правильной, хоть и несанкционированной, подаче запроса.
Эксперты отмечают, что, хотя проблема «внедрения промптов» является известным классом атак, ее проявление в одном из самых массовых продуктов, таком как Google Translate, служит важным напоминанием о необходимости усиления границ между инструкциями и обрабатываемыми данными в будущих версиях.
Следите за новостями на других платформах: