使用MindStudio进行FOMM模型推理

Question

如题所述

Answer 1

使用MindStudio对FOMM模型进行ONNX推理

本文介绍使用MindStudio开发工具对FOMM模型进行ONNX推理的全过程。MindStudio是一个一站式AI开发环境，支持模型开发、算子开发及应用开发，内置模型可视化、算力测试和IDE本地仿真调试等功能，能够高效便捷地完成AI应用开发。其插件化扩展机制允许开发者通过开发插件来增强功能。

FOMM模型最早由Aliaksandr Siarohin等人提出，旨在解决图像动画化任务，即通过给定原图片和驱动视频，生成主角为原图片，动画效果与驱动视频一致的视频。FOMM模型由关键点检测（kp detector）和视频生成（generator）两个部分组成，解决了以往依赖昂贵真实数据注释的预训练模型无法适用于任意对象类别的问题。

实验主要分为三个阶段：模型简介、MindStudio项目初始化与模型推理。

在MindStudio项目初始化中，首先新建项目并配置CANN工具包依赖。下载GitHub源码库，配置conda环境并安装所需依赖。下载数据集（预处理好的taichi数据集），将其放入项目目录下。

配置远程服务器，包括添加SSH配置和管理CANN工具包。部署项目至服务器，配置远程SSH解释器，设置项目的默认Python环境。

进行模型转换，包括生成ONNX模型、将ONNX模型转换为OM模型。在MindStudio上配置ONNX模型转换程序，导出ONNX模型，然后使用MindStudio的模型转换工具将ONNX模型转换为OM模型。

模型推理阶段分为两个部分：在升腾服务器上推理OM模型和在Nvidia T4上进行线上推理。在升腾服务器上，配置推理环境，运行推理程序，并测试模型精度。在Nvidia T4上，编写线上推理程序，运行并获取性能指标。

在开发过程中遇到问题时，可访问升腾官方论坛获取帮助。此外，FAQ部分提供了针对ONNX模型转换中遇到的错误和使用Model Converter时的常见问题解决方案。