Старые видеокарты NVIDIA способны почти вдвое быстрее выполнять некоторые вычисления благодаря модификациям, которые раскрывают скрытый потенциал RTX 30, RTX 40 и RTX 20 без изменения драйверов.
Обе модификации затрагивают матричные вычисления, важные для ИИ. На архитектуре Ampere (RTX 30) удалось разблокировать ускоренную обработку инструкций FP/BF16 FMA с накоплением FP32. В результате производительность RTX 3090 Ti при умножении матриц BF16 выросла с 87,5 до 157,4 TFLOPS, примерно на 80%.
Похожий трюк сработал на Ada Lovelace: у RTX 4090 производительность тензорных ядер FP16 увеличилась со 165,6 до 331,6 TFLOPS. Модификация также охватывает RTX 20: результат RTX 2080 Ti вырос с 59,9 до 111 TFLOPS. Для локальных языковых моделей это может ускорить работу примерно на 33–36%.
Модификации работают со стандартными драйверами и проходят тесты CUDA и ускоряют преимущественно задачи ИИ, а также сложные матричные вычисления, а не игры. Для активации требуется запуск при старте системы и гарантия может быть аннулирована.