目录
一、ONNX简介
二、使用场景
三、常见例子
四、使用步骤
1.引入库
2.读入数据
五、如何查看onnx网络结构和参数
六、一个简单例子的实现
七、ONNX 的其他基本操作
1.获取onnx模型的输出层
2.获取中间节点的输出数据
3.删除指定节点
八，技术细节（一些限制的提醒）
九，推理速度对比
十，参考资料
一、ONNX简介
它是微软和Facebook提出的一种表示深度学习模型的开放格式，定义了一套独立于环境和平台的标准格式。
二、使用场景
无论你使用什么样的训练框架来训练模型（比如TensorFlow/Pytorch/OneFlow/Paddle），你都可以在训练后将这些框架的模型统一转为ONNX存储。 ONNX文件不仅存储了神经网络模型的权重，还存储了模型的结构信息、网络中各层的输入输出等一些信息。 然后将转换后的ONNX模型，转换成我们需要使用不同框架部署的类型，通俗来说ONNX 相当于一个翻译。
三、常见例子
• Pytorch -> ONNX -> TensorRT • Pytorch -> ONNX -> TVM • TF – onnx – ncnn
四、使用步骤
1.引入库
代码如下：
pip install onnxpip install onnxruntime2.读入数据
代码如下（示例将pytorch模型导出为ONNX格式）：
参数说明：model(torch.nn.Module) - 要导出的模型args（参数集）- 模型的输入f - 类文件对象（必须实现文件描述符的返回）或包含文件名的字符串。二进制 Protobuf 将写入此文件。export_params (bool, default True) - 如果指定，将导出所有参数。如果只想导出未经训练的模型，请将此参数设置为 False。在这种情况下，导出的模型将首先按照 model.state_dict().values() 指定的顺序将所有参数作为参数。verbose (bool, default False) - 如果指定，将输出导出跟踪的调试描述。training (bool, default False) - 在训练模型下导出模型。目前ONNX只是用于推理模型的导出，所以一般不需要设置为True。input_names（字符串列表，默认为空列表）- 按顺序为图中的输入节点分配名称。output_names（字符串列表，默认为空列表）- 按顺序为图中的输出节点分配名称。五、如何查看onnx网络结构和参数
• View URL: https://netron.app/
六、一个简单例子的实现
例子介绍：实现一个简单的reshape（确保已经完成库的安装）
import torchclass JustReshape(torch.nn.Module):def __init__(self):super(JustReshape, self).__init__()def forward(self, x):return x.view((x.shape[3], x.shape[1], x.shape[0], x.shape[2]))net = JustReshape()model_name = 'just_reshape.onnx'#保存ONNX的文件名字dummy_input = torch.randn(1, 31, 42, 5)torch.onnx.export(net, dummy_input, model_name, input_names=['input'], output_names=['output'])
如上图所示，可以看到在这个例子中，如果我们指定input_shapes为：{'input': [1,31,42,5]}，那么这个函数的输出也为{'input': [5,31,1,42]}。如果不指定，输出就是{}。
七、ONNX 的其他基本操作
1.获取onnx模型的输出层
import onnx# 加载模型model = onnx.load('onnx_model.onnx’)# 检查模型格式是否完整正确onnx.checker.check_model(model)# 获取输出层，包括层名、维度信息output = self.model.graph.outputprint(output)2.获取中间节点的输出数据
import onnxfrom onnx import helpermodel = onnx.load('onnx_model.onnx’)# 创建中间节点：层名、数据类型、维度信息prob_info = helper.make_tensor_value_info('layer1',onnx.TensorProto.FLOAT, [1, 3, 320, 280])# 将构造好的中间节点插入到模型中model.graph.output.insert(0, prob_info)#保存新模型onnx.save(model, 'onnx_model_new.onnx’)3.删除指定节点
#item是要删除的节点model.graph.output.remove(item)八，技术细节（一些限制的提醒）
ONNX只是一种格式，就像json一样。 只要你满足一定的规则，它就是合法的，所以简单地从 Pytorch 转换成 ONNX 文件是很容易的。 但是不同的后端设备接受的onnx是不一样的，所以运行的时候会出现问题。 Pytorch自带的torch.onnx.export转换的ONNX、ONNXRuntime需要的ONNX和TensorRT需要的ONNX是不一样的。
九，推理速度对比
选择基本 CNN 模型并在 MNIST 数据集上进行测试。
其中在pytorch下加载模型需要1.57s，在ONNX中加载模型需要0.15s左右。
在Pytorch下完成整个测试集的推理时间需要19.35s，
而ONNX则需要5.16s，推理速度快了约2.75倍。
想更深入了解对比可以看这个链接：•https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/deployment/onnx/onnx-inference-mnist-deploy.ipynb
十，参考资料
•https://github.com/onnx/onnx
•【神经网络量化】ONNX介绍与用法 – Ryan0v0 – 博客园
•(optional) Exporting a Model from PyTorch to ONNX and Running it using ONNX Runtime — PyTorch Tutorials 1.12.1+cu102 documentation
https://github.com/onnx/onnx