В настольной игре «Diplomacy», действие которой происходит накануне Первой мировой войны, успех зависит не от удачи, а от способности вести переговоры. Игроки, представляющие вооруженные силы европейских держав, строят доверие, создают альянсы и, в конечном итоге, предают противников для захвата территорий. «Самый искусный переговорщик одержит победу», — говорили создатели игры из компании Avalon Hill.
Поэтому, когда в 2022 году модель искусственного интеллекта (ИИ) сыграла в онлайн-лигу Diplomacy и выиграла у людей в 40 играх, казалось, что компьютеры достигли уровня мастерства в общении, схожего с человеческим.
Взгляд на ИИ-игроков
Но внешность обманчива. Новое исследование учёных из Института информационных наук при USC Viterbi, Университета Мэриленда, Принстонского университета и Университета Сиднея показало, что победы CICERO — модели ИИ от Meta — основаны больше на стратегическом мастерстве, чем на коммуникативных навыках. Оказалось, что общение ИИ по-прежнему уступает человеческому.
Исследование, представленное на 62-й ежегодной встрече Ассоциации по вычислительной лингвистике (ACL), помогает лучше понять способности ИИ взаимодействовать и стратегизировать в сотрудничестве с людьми не только в играх, но и в повседневных ситуациях.
Расшифровка общения
Ученые организовали серию игр в «Diplomacy», где CICERO играл против людей. В течение 24 игр, на протяжении 200 часов, было собрано более 27 000 сообщений. В отличие от предыдущих исследований, внимание было сосредоточено не на высоком проценте побед ИИ, а на его способности использовать обман и убеждение в общении.
Для анализа исследователи применили технику Abstract Meaning Representation (AMR), которая переводит сложные сообщения на естественном языке в структурированные данные, понятные машине. Это позволило сопоставить обещания игроков с их фактическими действиями в игре.
Стратегия важнее речи
Несмотря на то что CICERO победил в 20 из 24 игр, его сообщения часто не совпадали с реальными игровыми намерениями. «Если внимательно присмотреться к его высказываниям, это полный бред», — отметил один из исследователей. «CICERO говорит вещи, которые когда-то уже говорили игроки, но они не отражают его настоящие действия».
Эксперименты показали, что ограничение общения CICERO не сильно влияло на его результаты, что подчеркивает, что переговорные навыки играют меньшую роль в его успехе.
Люди лучше в обмане
Исследование также показало, что CICERO обманывает и убеждает людей реже, чем сами игроки. Люди оказались более склонными ко лжи и убеждению других, особенно когда понимали, что играют против ИИ.
Помощь людям
Хотя это всего лишь игра, понимание природы обмана со стороны ИИ в Diplomacy может способствовать разработке приложений, которые помогут людям распознавать ложную информацию и лучше ориентироваться в мире дезинформации. «Мы хотим создать инструменты, которые помогут людям бороться с манипуляциями», — сказал Джонатан Мэй, один из авторов исследования.