Проект работает на новой архитектуре Moving Average Equipped Gated Attention. Она позволяет эффективнее обрабатывать длинные запросы, масштабироваться и требует меньше вычислительных ресурсов.
Обучение модели проходит на чипах AMD Instinct MI300 и MI325X с использованием открытой платформы ROCm. Это даёт независимость от закрытой экосистемы NVIDIA и технологии CUDA.
Сотрудничество с USC входит в стратегию AMD по усилению позиций в ИИ-секторе. Компания уже сотрудничает с облачными платформами Microsoft Azure и Oracle Cloud Infrastructure, где новые решения AMD показывают до 3 раз более высокую производительность.
AMD планирует занять хотя бы 5% рынка графических решений для ИИ — это может принести около 25 миллиардов долларов. Также проект MEGALODON уже интегрируют в прикладные сферы, в том числе в партнёрстве с DARPA, NSF и Lockheed Martin.
Следующим шагом станет запуск ещё более мощных GPU MI355X в конце 2025 года.
***
Автор обложки: AMD. Источник обложки: Ainvest