NCNN和ONNX双版本32位GPU加速支持A卡N卡

ChinaSaga

Ncnn使用最新NCNN库编译,2026年3月版本,封装了vulkan的GPU调用加速
支持N卡和A卡,4070显卡推理640n模型和图片仅需8ms
不确定较老的显卡兼容性如何,10系到50系应该是通用的,只支持YOLO26的官方训练和导出
yolo export model=best.pt format=ncnn device=cpu imgsz=640(或者其它大小,CPU导出兼容好,一样可以调用GPU加速)


Onnx使用的是github有名的开源项目YOLOs-CPP,理论上支持YOLOV5 V6 V7 V8 V9 V10 V11 V12 V26的ONNX模型调用但我本人没有测试那么多,V5 V11和V26实际测试可用


封装了微软官方的DML的GPU调用加速,同样是支持N卡和A卡,非CUDA调用,4070显卡推理640n模型和图片仅需4-5ms,推理320模型和图片只要1ms
V26的速度不如V5快,如果会自己调整模型结构或者剪枝蒸馏,那么640推理可以达到2ms,416推理1ms
需要的是官方训练和导出,比如人qi猫的训练工具就可以
yolo export model=best.pt format=onnx device=0 imgsz=640(或者其它大小)
推理图片不限制大小,内部智能缩放,载入320大小的模型推理640宽高的图片也可以.
只有detect推理,单例模式,不支持多线程


Saga.dll是核心,源码也是公开的,需要修改,自己编译OpenCV的32位就可以了截图模块是论坛开源的极速截图类
内存画面是论坛开源的Gdi内存画板_26.0
精易模块就不用说了,也是开源的

  

DLL命令名	返回值类型	公开	备 注
ncnn_create	整数型
DLL库文件名:
Saga.dll
在DLL库中对应命令名:
@ncnn_create
参数名	类 型	传址	数组	备 注
param路径	文本型
bin路径	文本型
是否使用GPU	整数型			非0为真
GPU序号	整数型

DLL命令名	返回值类型	公开	备 注
onnx_create	整数型
DLL库文件名:
Saga.dll
在DLL库中对应命令名:
@onnx_create
参数名	类 型	传址	数组	备 注
onnx路径	文本型
labels路径	文本型
是否使用GPU	逻辑型

DLL命令名	返回值类型	公开	备 注
onnx_detect	整数型
DLL库文件名:
Saga.dll
在DLL库中对应命令名:
@onnx_detect
参数名	类 型	传址	数组	备 注
图片字节集	字节集
字节集大小	整数型
置信度	小数型
NMS阈值	小数型
结果数组	yolov目标类
最大数量	整数型

DLL命令名	返回值类型	公开	备 注
S_置DLL装载目录
DLL库文件名:
Kernel32.dll
在DLL库中对应命令名:
SetDllDirectoryA
参数名	类 型	传址	数组	备 注
目录路径	文本型

DLL命令名	返回值类型	公开	备 注
ncnn_detect	整数型
DLL库文件名:
Saga.dll
在DLL库中对应命令名:
@ncnn_detect
参数名	类 型	传址	数组	备 注
图片字节集	字节集
字节集大小	整数型
置信度	小数型
NMS阈值	小数型
结果数组	yolov目标类
最大数量	整数型

数据类型名	公开	备 注
S_矩形
成员名	类 型	传址	数组	备 注
x	小数型			左上角x
y	小数型			左上角y
宽度	小数型
高度	小数型

数据类型名	公开	备 注
yolov目标类
成员名	类 型	传址	数组	备 注
坐标矩形	S_矩形
分类ID	整数型
置信度	小数型

.版本 2<br /> <br /> .DLL命令 ncnn_create, 整数型, "Saga.dll", "@ncnn_create"<br />     .参数 param路径, 文本型<br />     .参数 bin路径, 文本型<br />     .参数 是否使用GPU, 整数型, , 非0为真<br />     .参数 GPU序号, 整数型<br /> <br /> .DLL命令 onnx_create, 整数型, "Saga.dll", "@onnx_create"<br />     .参数 onnx路径, 文本型<br />     .参数 labels路径, 文本型<br />     .参数 是否使用GPU, 逻辑型<br /> <br /> .DLL命令 onnx_detect, 整数型, "Saga.dll", "@onnx_detect"<br />     .参数 图片字节集, 字节集<br />     .参数 字节集大小, 整数型<br />     .参数 置信度, 小数型<br />     .参数 NMS阈值, 小数型<br />     .参数 结果数组, yolov目标类, 传址 数组<br />     .参数 最大数量, 整数型<br /> <br /> .DLL命令 S_置DLL装载目录, , "Kernel32.dll", "SetDllDirectoryA"<br />     .参数 目录路径, 文本型<br /> <br /> .DLL命令 ncnn_detect, 整数型, "Saga.dll", "@ncnn_detect"<br />     .参数 图片字节集, 字节集<br />     .参数 字节集大小, 整数型<br />     .参数 置信度, 小数型<br />     .参数 NMS阈值, 小数型<br />     .参数 结果数组, yolov目标类, 传址 数组<br />     .参数 最大数量, 整数型<br /> <br /> .数据类型 S_矩形, 公开<br />     .成员 x, 小数型, , , 左上角x<br />     .成员 y, 小数型, , , 左上角y<br />     .成员 宽度, 小数型<br />     .成员 高度, 小数型<br /> <br /> .数据类型 yolov目标类, 公开<br />     .成员 坐标矩形, S_矩形<br />     .成员 分类ID, 整数型<br />     .成员 置信度, 小数型

运行不起来请自行安装这样的东西


源码下载地址:https://wwbem.lanzn.com/iGIpT3m5p6zc

ChinaSaga

调用的模块源码也都是开源的,完全可以说是纯源码
Gdi内存画板_26.0:https://bbs.ijingyi.com/thread-14835213-1-1.html
极速截图类:https://bbs.ijingyi.com/thread-14761958-1-1.html

ChinaSaga

xiaotao110 发表于 2026-8-15 12:51
我自己电脑可以正常运行  然后我笔记本不行 微软环境也弄了 还是不行  我电脑和笔记本 系统都是一样的  很 ...

deepveekV4pro正式版,我现在4070台式onnx可以最快到800帧率推理+截图=一个循环.现在是Ai时代了,让AI一步步帮你重新从C++写一个32位的DLL

xiaotao110

我自己电脑可以正常运行  然后我笔记本不行 微软环境也弄了 还是不行  我电脑和笔记本 系统都是一样的  很奇怪

ChinaSaga

Rtx5080 发表于 2026-7-1 00:10
为啥数组99改了就崩溃，这个是干啥的！有偿

因为懒得内存拷贝,直接把最大数量提前写进去了,比如你预计推理得到100个目标,再多也不会超过100个,那数组长度就设置为200,然后传个最大值200过去,DLL内部就会从0-200开始传值给数组,有多少个推理结果就传多少个

Rtx5080

为啥数组99改了就崩溃，这个是干啥的！有偿

天籁夕阳

m348820 发表于 2026-5-10 16:29
无法找到指定DLL库文件"Saga.dIl"中的输出命令"onnx_create"   是微软常用运行库版本不对吗 ...

好像是系统里缺少了 东西

ChinaSaga

294378521 发表于 2026-6-1 21:10
哥  能搞个64的dll吗

64位的,python直接就能调用,我的这个帖子也是AI实现的,用的deep seek V4 pro模型.........

装饰

刚好想要，感谢分享！！！

294378521

哥  能搞个64的dll吗

凝逸反病毒

有火山GO版?