Недавно профессор экономики Гэри Н. Смит колледжа Pomona, который исследует ограничения ИИ, поделился результатами эксперимента с GPT-5.
Гэри предложил GPT-5 сыграть в «перевёрнутые крестики-нолики»; он привёл выдержку своей беседы с ИИ:
- GPT 5.0 ответил «Звучит интригующе! Как работают повёрнутые крестики-нолики ? Вы имеете в виду, что доска вращается во время игры, или один раз перед началом, или, может быть, после каждого хода?»
- Гэри: «Перед началом игры поворачивается один раз на 90 градусов вправо».
GPT 5.0: «Это поднимает несколько интересных вопросов»
- Визуальное восприятие: «Игроки настолько привыкли к «вертикальной» доске для игры в крестики-нолики, что поворот может немного изменить то, как они сканируют игровое поле на предмет угроз и возможностей».
- Симметрия: «математически поворот доски на 90 градусов не меняет набор возможных выигрышей — это всё та же игра с точки зрения исходов. Но психологически ощущения могут быть другими».
- Изменение стратегии?: «Поскольку центр по-прежнему остаётся центром, это остаётся самым сильным дебютным ходом. Но игроки могут неверно оценить ходы "край-угол", когда ориентация поля меняется».
Гэри продолжил задавать вопросы:
- «Мешает ли поворот людям играть хорошо?»
- GPT 5.0: «Это отличный вопрос — и он затрагивает разницу между теорией игр и психологией человека».
По мнению GPT-5, с точки зрения чистой стратегии поворот доски ничего не меняет — это корректный ответ, но далее ИИ начал пространные рассуждения.
Для людей (как считает GPT-5) всё иначе —вращение «нарушает укоренившееся распознавание образов и увеличивает умственные усилия, необходимые для выявления угроз и возможностей».
Среди его аргументов:
- Распознавание образов: «У большинства из нас [людей] сформировались стойкие визуальные привычки, когда мы с детства видели доски для игры в крестики-нолики в вертикальном положении. Поворот доски нарушает эти привычки. Мы можем не заметить диагональные угрозы или не заметить формирующуюся линию, потому что наш мозг не настроен на такую перспективу».
- Когнитивная нагрузка: «вместо того, чтобы мгновенно распознавать взаимосвязи "угол, центр, край", игрокам требуется дополнительный мысленный шаг для ориентации [в пространстве]. Эта небольшая потеря увеличивает вероятность ошибок».
- Асимметрия: «поворот на 90 градусов сохраняет симметричность доски, но если кто-то правша или левша, его зрительное сканирование может отдавать предпочтение одной ориентации перед другой».
Далее Гэри предложил GPT-5 ответить на вопрос: «Пожалуйста, оцени, какой поворот на 90 градусов вправо, на 90 влево или на 180 будет наиболее запутанным для игроков-людей?».
В итоге в своих рассуждениях GPT-5 дошёл до предложения «нарисовать ли вам повёрнутые доски для игры в крестики-нолики с метками положения […] чтобы вы могли увидеть, как каждое преобразование влияет на распознавание?».
И в итоге GPT-5 сгенерировал следующее изображение — в нём есть как грамматические ошибки, так и пустые сетки, т.е. ИИ очень сильно заглючил:
Свой материал Гэри завершил высказыванием:
«Говорят, что собаки часто похожи на своих хозяев. Chat GPT очень похож на Сэма Альтмана [руководитель OpenAI] — всегда уверенный в себе, но часто ошибающийся».