Методика анализа производительности вывода глубоких нейронных сетей на примере задачи классификации изображений

Внедрение глубоких нейронных сетей требует анализа производительности этапа вывода на целевом аппаратном обеспечении. Результаты производительности позволяют принимать решение о возможности внедрения построенных моделей и/или необходимости их предварительной оптимизации. В работе описана методика анализа и сравнения производительности вывода на примере решения задачи классификации изображений: конвертация обученной модели под разные фреймворки, анализ качества, определение оптимальных параметров запуска вывода, оптимизация модели и повторный анализ качества, анализ и сравнение производительности. Разработана система Deep Learning Inference Benchmark для поддержки цикла анализа производительности. Методика продемонстрирована на примере открытой модели MobileNetV2.