Недавно китайские исследователи опубликовали результаты экспериментов с искусственным интеллектом. Их проект был основан на модели Qwen2 и получил название «Lumine»:
Представляем Lumine — первый открытый рецепт разработки generalist agents [агентов общего назначения], способных выполнять многочасовые комплексные миссии в режиме реального времени в сложных трёхмерных условиях открытого мира. Lumine использует парадигму взаимодействия, подобную человеческой, которая сквозным образом объединяет восприятие, рассуждение и действие, основанную на модели визуального языка
Они обучали Lumine на специальном наборе данных. Изначально было более 2400 часов записей, а после фильтрации и последующей обработки получилось 200 высококачественных данных и 15 часов вручную аннотированных данных о рассуждениях, которые способствуют развитию гибридного мышления модели.
Авторы отметили, что Lumine успешно проходить пятичасовую кампанию Мондштадта в Genshin Impact, с другими играми тоже есть успехи:
Без какой-либо тонкой настройки он справляется с [миссиями] Wuthering Waves и полноценной пятичасовой первой главой Honkai: Star Rail. Эти многообещающие результаты подчёркивают эффективность Lumine в различных мирах и динамике взаимодействия, знаменуя собой серьёзный шаг к созданию универсальных агентов в открытых игровых средах.