Ejecutan una IA moderna con 9 mil millones de parámetros en PS4 sin PC ni Linux

El desarrollador adaptó casi diez mil millones de parámetros en los 8 GB de memoria de la consola y logró que generara texto.

El programador Leonardo Alegría logró ejecutar el modelo de lenguaje Qwen3.5-9B en una PlayStation 4 básica de 2013. Para ello, creó el programa de código abierto Garlic LLM, que funciona directamente en la consola, sin conectar una PC externa ni instalar Linux.

Una optimización profunda ayudó a lograr este resultado. Alegría escribió sus propios núcleos gráficos en OpenCL C para la arquitectura obsoleta AMD GCN, prescindiendo por completo de los controladores estándar del sistema. La comunicación con el procesador gráfico se organiza a través de búferes de comandos PM4 especialmente creados.

La PS4 dispone de solo 8 GB de memoria compartida GDDR5, por lo que el desarrollador tuvo que comprimir notablemente el modelo de 9 mil millones de parámetros. Al final, se logró reducir su tamaño a 4,5 GB.

Fuente de la imagen: PlayStation

Actualmente, Qwen3.5-9B funciona con una precisión de 4 bits, mientras que las grandes matrices MLP están comprimidas a 3 bits. La caché KV también utiliza un formato de 4 bits. Garlic LLM admite una ventana de contexto de 16 000 tokens. Gracias a la activación de la decodificación, la velocidad de generación de texto al programar aumentó de 22 a 43 tokens por segundo.

El proyecto, junto con las instrucciones de ejecución, está disponible en Hugging Face.