1. ONNX Runtime 简介

ONNX Runtime（ORT） 是由微软开发的高性能推理引擎，支持跨平台（Windows/Linux/macOS）运行 ONNX 格式的深度学习模型。其核心优势包括：
高性能：支持 CPU/GPU（CUDA/DirectML）加速
跨平台：兼容 x86/ARM 架构
多语言支持：C++/Python/C#/Java 等

2. 环境准备

（1）安装 ONNX Runtime

下载预编译库：ONNX Runtime 官方 Release
C++ 头文件与库路径：

include/onnxruntime/core/session/onnxruntime_cxx_api.h
lib/onnxruntime.lib (Windows) 或 libonnxruntime.so (Linux)

（2）CMake 配置示例

cmake_minimum_required(VERSION 3.10)
project(ONNX_Inference_Demo)

# 设置 ONNX Runtime 路径
set(ONNXRUNTIME_DIR "/path/to/onnxruntime")

# 包含头文件
include_directories(${ONNXRUNTIME_DIR}/include)
link_directories(${ONNXRUNTIME_DIR}/lib)

# 添加可执行文件
add_executable(onnx_demo main.cpp)

# 链接库（Windows 需附加 .lib）
target_link_libraries(onnx_demo onnxruntime)

3. 核心代码实现

（1）初始化 ONNX Runtime 环境

#include <onnxruntime/core/session/onnxruntime_cxx_api.h>
#include <vector>
#include <iostream>

int main() {
    // 初始化环境（日志级别设为 WARNING）
    Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "ONNX_Demo");
    Ort::SessionOptions session_options;

    // 配置推理设备（CPU/GPU）
    session_options.SetIntraOpNumThreads(1);  // 设置线程数
    // session_options.AppendExecutionProvider_CUDA(OrtCUDAProviderOptions());  // 启用CUDA

    // 加载 ONNX 模型
    const char* model_path = "resnet18.onnx";
    Ort::Session session(env, model_path, session_options);

    // 获取模型输入/输出信息
    Ort::AllocatorWithDefaultOptions allocator;
    auto input_name = session.GetInputName(0, allocator);
    auto output_name = session.GetOutputName(0, allocator);
    std::cout << "Input Name: " << input_name << std::endl;
    std::cout << "Output Name: " << output_name << std::endl;

    // 后续步骤...
    return 0;
}

（2）准备输入数据（Tensor 格式转换）

假设模型输入为 1x3x224x224 的 FP32 图像张量：

// 假设已有图像数据（这里用随机数据示例）
std::vector<float> input_data(3 * 224 * 224, 0.5f);  // 归一化到 [0,1]

// 定义输入 Tensor 的维度
std::vector<int64_t> input_shape = {1, 3, 224, 224};

// 创建 Ort::Value
Ort::MemoryInfo memory_info = Ort::MemoryInfo::CreateCpu(
    OrtAllocatorType::OrtArenaAllocator, OrtMemType::OrtMemTypeDefault);
Ort::Value input_tensor = Ort::Value::CreateTensor<float>(
    memory_info, input_data.data(), input_data.size(), 
    input_shape.data(), input_shape.size());

// 输入名称数组（需与模型匹配）
const char* input_names[] = {input_name};
const char* output_names[] = {output_name};

（3）执行模型推理

// 运行推理
auto outputs = session.Run(
    Ort::RunOptions{nullptr}, 
    input_names, &input_tensor, 1, 
    output_names, 1);

// 获取输出 Tensor
Ort::Value& output_tensor = outputs[0];
float* output_data = output_tensor.GetTensorMutableData<float>();

// 解析输出（例如分类任务取最大概率类别）
int64_t output_size = output_tensor.GetTensorTypeAndShapeInfo().GetElementCount();
int predicted_class = std::max_element(output_data, output_data + output_size) - output_data;
std::cout << "Predicted Class: " << predicted_class << std::endl;

4. 完整代码示例（图像分类场景）

#include <onnxruntime/core/session/onnxruntime_cxx_api.h>
#include <vector>
#include <algorithm>
#include <iostream>

void run_inference() {
    // 1. 初始化环境
    Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "ImageClassifier");
    Ort::SessionOptions session_options;
    session_options.SetIntraOpNumThreads(4);

    // 2. 加载模型
    Ort::Session session(env, "resnet18.onnx", session_options);

    // 3. 获取输入/输出信息
    Ort::AllocatorWithDefaultOptions allocator;
    auto input_name = session.GetInputName(0, allocator);
    auto output_name = session.GetOutputName(0, allocator);
    auto input_shape = session.GetInputTypeInfo(0).GetTensorTypeAndShapeInfo().GetShape();
    
    // 4. 准备输入数据（示例：随机归一化数据）
    std::vector<float> input_data(3 * 224 * 224, 0.5f);  // 实际应用中需替换为真实图像预处理
    Ort::Value input_tensor = Ort::Value::CreateTensor<float>(
        Ort::MemoryInfo::CreateCpu(OrtArenaAllocator, OrtMemTypeDefault),
        input_data.data(), input_data.size(),
        input_shape.data(), input_shape.size());

    // 5. 执行推理
    const char* input_names[] = {input_name};
    const char* output_names[] = {output_name};
    auto outputs = session.Run(
        Ort::RunOptions{nullptr}, 
        input_names, &input_tensor, 1, 
        output_names, 1);

    // 6. 解析输出
    float* probabilities = outputs[0].GetTensorMutableData<float>();
    int top_class = std::max_element(probabilities, probabilities + 1000) - probabilities;
    std::cout << "Top Prediction: Class " << top_class << std::endl;
}

int main() {
    try {
        run_inference();
    } catch (const Ort::Exception& e) {
        std::cerr << "ONNX Runtime Error: " << e.what() << std::endl;
    }
    return 0;
}

5. 关键问题与优化

（1）输入数据预处理

实际应用中需将图像转换为模型所需的归一化格式（例如 (image - mean) / std）
推荐使用 OpenCV 进行 BGR -> RGB、Resize、Normalize 等操作

（2）性能优化技巧

启用 GPU 加速：

Ort::SessionOptions options;
OrtCUDAProviderOptions cuda_options;
options.AppendExecutionProvider_CUDA(cuda_options);

内存复用：对连续推理任务，复用 Ort::Value 对象减少内存分配

（3）多输入/多输出模型

通过 session.GetInputCount() 和 session.GetOutputCount() 获取数量
对每个输入/输出分别处理（参考官方示例 onnxruntime-inference-examples）

6. 总结

通过 ONNX Runtime 的 C++ API，开发者可以高效部署训练好的模型。本文提供了从环境配置到完整推理的代码实现，适用于 图像分类、目标检测、NLP 等各类 ONNX 模型。

醋醋百科网

Good Luck To You!

ONNX Runtime 黑科技曝光:一行 C++ 代码让 ResNet 起飞，GitHub 已爆星