Современные большие языковые модели по определению являются нейросетевыми «черными ящиками». Их внутренние процессы неочевидны или даже практически непознаваемы, а спросить ИИ о том, как они получают результат, это, по сути, то же самое, что попросить человека составить карту собственных синапсов. Тем не менее все ведущие разработчики пытаются понять, что происходит внутри на самом деле, и получают интересные результаты с помощью анализа «цепочек мыслей» (chains of thought, CoT) пишет Financial Times.
- ИИ-стартап Anthropic (языковая модель Claude) адаптировал не только CoT, но и инструменты нейропсихологии, чтобы выявить «интерпретируемые концепции» внутри ИИ. Основные выводы:
- ИИ способен «думать» на языке. Но это не естественный язык, а общее концептуальное пространство смыслов — «язык мысли». Это означает, что модель может узнать что-то новое на одном естественном языке и свободно выдать результат на любом другом.
- ИИ, задуманный как очень продвинутая машина предсказания следующего слова в тексте, уверенно преодолел эти пределы. Когда модель пишет стихи, она имеет в виду далекую рифму и подбирает под нее текущее слово.
- ИИ способен уходить от формальной логики и убедительно давать (неправильный) ответ, соответствующий ожиданиям человека.
Оказалось, что лингвистическая модель знает арифметику вовсе не потому, что зазубрила таблицу умножения или аксиомы Пеано. Оказалось, что самое простое сложение внутри модели задействует совершенно экзотические пути рассуждения, но если спросить ее о том, как достигнут результат, она ответит примером из учебника. Это показывает, что у нее «в голове» собралась своя арифметика, а объяснение результата существует отдельно от нее, пишут ученые.
Исследование тем ценнее, что его выводы контринтуитивны — исследовали ожидали, что ИИ окажется простой предсказательной машиной, и не исключали, что внутри отдельно существует, например, «английский» или «китайский» ИИ. И внезапно выяснили, что предпосылки некорректного поведения модели — не в ее устройстве, а в заданном ей некорректном вопросе.
OpenAI прямо называет мониторинг CoT «одним из немногих оставшихся инструментов контроля некорректного поведения сверхразумного ИИ в будущем» и предельно серьезно предостерегает разработчиков от их прямой оптимизации. Прежде всего потому, что анализ «чистой» CoT дает намного больше возможностей поймать некорректное поведение модели, чем просмотр конечных результатов. «Улучшение» способно такое поведение замаскировать.
В таком случае велик шанс получить ИИ типа «злонамеренного джинна», который будет всемерно эксплуатировать любые лазейки в поставленных задачах, а не совершать полезную работу. Исследователи OpenAI уже видели такое поведение у моделей, заточенных под написание программного кода.
Это особенно важно для ИИ-аватаров, выполняющих функции человека — от ответов на письма до трейдинга на бирже — за него самого. В Anthropic назвали такое поведение agentic misalignment: модели прибегали к обману, шантажу или даже утечкам информации конкурентам, когда не видели другого способа достижения цели. Причем они не подчинялись прямым командам избегать такого поведения и были больше склонны к misalignment, если считали задачу реальной, а не тестовой.
Фото: профессор Джеффри Хинтон
