NVIDIA расширяет оптимизацию TensorRT с помощью глобального настройщика производительности

TensorRT строит инференс-движки, принимая взаимозависимые решения по преобразованиям графов, слиянию операций, выбору реализаций, размещению памяти и квантизации.

Вместо единого фиксированного подхода, Global Performance Tuner использует несколько настраиваемых маршрутов компиляции, чтобы расширить пространство возможных решений и выбрать самый быстрый вариант, соответствующий требованиям по точности.

Основные принципы работы: использование сквозной точности в качестве ограничения, возможность настройки маршрутов компиляции под конкретную модель и аппаратную платформу, а также формирование большого множества допустимых решений.