Китайская компания Moonshot AI представила новую версию языковой модели — Kimi K2. Это открытый ИИ нового поколения, рассчитанный на работу с кодом и интеллектуальными агентами. Он, по мнению авторов, должен составить серьёзную конкуренцию таким гигантам, как Google и OpenAI.
После падения в рейтингах Moonshot AI возвращается с системой, которая вновь заставила говорить о себе. Kimi K2 — модель архитектуры Mixture-of-Experts с триллионом параметров. При обработке одного токена активируется 32 миллиарда параметров — это позволяет добиться высокой мощности и при этом сдерживать расходы.
В основе — 384 «эксперта», из которых восемь активируются на каждый токен. Чтобы избежать проблем с нестабильностью логитов, инженеры внедрили оптимизатор MuonClip, что позволило успешно обучить модель на массиве в 15,5 триллиона токенов.
Kimi K2 представлен в двух вариантах: базовая версия предназначена для исследовательской работы, а Instruct — для общения, агентов и повседневных задач. Главное отличие — развитая логика агентов: например, Kimi-Researcher может искать и сопоставлять информацию в интернете, решать многошаговые задачи и принимать решения без шаблонов.
На тестах модель уверенно опередила конкурентов в области математики и программирования, включая GPT-4 и Claude Sonnet 4. Сейчас это один из самых сильных ИИ-инструментов с открытым исходным кодом.
***
Источник иллюстрации: Moonshotai
***
Автор обложки: Moonshot AI. Источник обложки: Moonshotai
