Chinese company Moonshot AI has introduced a new version of the language model — Kimi K2. This is a new generation open AI designed to work with code and intelligent agents. According to the authors, it should seriously compete with giants such as Google and OpenAI.
После падения в рейтингах Moonshot AI возвращается с системой, которая вновь заставила говорить о себе. Kimi K2 — модель архитектуры Mixture-of-Experts с триллионом параметров. При обработке одного токена активируется 32 миллиарда параметров — это позволяет добиться высокой мощности и при этом сдерживать расходы.
В основе — 384 «эксперта», из которых восемь активируются на каждый токен. Чтобы избежать проблем с нестабильностью логитов, инженеры внедрили оптимизатор MuonClip, что позволило успешно обучить модель на массиве в 15,5 триллиона токенов.
Kimi K2 представлен в двух вариантах: базовая версия предназначена для исследовательской работы, а Instruct — для общения, агентов и повседневных задач. Главное отличие — развитая логика агентов: например, Kimi-Researcher может искать и сопоставлять информацию в интернете, решать многошаговые задачи и принимать решения без шаблонов.
На тестах модель уверенно опередила конкурентов в области математики и программирования, включая GPT-4 и Claude Sonnet 4. Сейчас это один из самых сильных ИИ-инструментов с открытым исходным кодом.
***
Источник иллюстрации: Moonshotai
***
Автор обложки: Moonshot AI. Источник обложки: Moonshotai
