NCNN版本的到底该怎么跑呀作者大大

[lemonnader]

[lemonnader]

树莓派下编译NCNN版本的lite.ai.toolkit的时候需要注意什么呀，它老是不通过

[DefTruth]

还没有在树莓派玩过.....你要是只用其中几个模型的话，可以考虑把 xxx.h 和 xxx.cpp 以及lite/ncnn/core摘出来，模型之间是完全解耦的。可以参考我写的前后推理逻辑，应该很容易就能自己捏一个。

[lemonnader]

哇！你回复好快！是这样的，我想在树莓派【感觉和普通linux系统的应该差不多】上跑ncnn版本的yolo5face，但我是一个小白，我不太懂我到底应该怎么操作才能正常的跑出来效果，或者我还买了云服务器，装的linux系统，就是想问下用您写的工具跑ncnn版本的yolo5face到底怎么操作呀[哭]

[DefTruth]

没办法，我确实也不太熟悉树莓派（哭.....）因为lite.ai.toolkit的依赖其实不少，包括ffmpeg、opencv、onnxruntime、NCNN等等，如果你是在嵌入式玩，我其实是不建议用lite.ai.toolkit的，因为东西太多了。你需要把所有的东西都配好才能编lite.ai.toolkit。还不如只选择你想用的那部分，修改一下，把lite.ai.toolkit当成参考啥的。

[lemonnader]

好吧谢谢！！那...那如果是在linux系统的服务器上呢，用lite.ai.toolkit跑ncnn版本的yolo5face应该怎么操作呀

[DefTruth]

可以来看下我写一个介绍lite.ai.toolkit目录结构的issue:

• https://github.com/DefTruth/lite.ai.toolkit/issues/191

[lemonnader]

我看不太懂（...），我看您在 https://github.com/DefTruth/YOLO5Face.lite.ai.toolkit 这个仓库里写了NCNN版本的推理实现已经测试通过了，可以问一下怎么用嘛？另外还想问一下您有测过onnx和ncnn推理的速度区别吗，差距大吗？]

[DefTruth]

好吧谢谢！！那...那如果是在linux系统的服务器上呢，用lite.ai.toolkit跑ncnn版本的yolo5face应该怎么操作呀

那就正常用就好了，但是lite.ai.toolkit在linux下的预编译库现在只有onnxruntime的版本。ncnn版本你需要重新编译，lite.ai.toolkit，可以参考以下步骤：

• 下载lite.ai.toolkit主页中的linux预编译库（为了用我编好的opencv+ffmpeg，这玩意有点复杂，如果你想自己编带ffmpeg支持的opencv，可以看我写的博客：https://zhuanlan.zhihu.com/p/472115312）
• 下载lite.ai.toolkit源代码，因为你想编译NCNN版本，我预编译的lite.ai.toolkit只支持onnxruntime，所以要用lite.ai.toolkit的源码重新编译
• 下载NCNN官方release的linux预编译库，参考lite.ai.toolkit的README编译linux版本

[DefTruth]

lite.ai.toolkit有中文文档的，你可以看一下

[DefTruth]

我看不太懂（...），我看您在 https://github.com/DefTruth/YOLO5Face.lite.ai.toolkit 这个仓库里写了NCNN版本的推理实现已经测试通过了，可以问一下怎么用嘛？另外还想问一下您有测过onnx和ncnn推理的速度区别吗，差距大吗？]

这是在Mac测的，linux的类似，但是要把库替换成linux的，CMakelists可能也要修改。pc下ncnn并不快，onnxruntime比较快，但移动端ncnn性能还可以。

[lemonnader]

好吧谢谢！！那...那如果是在linux系统的服务器上呢，用lite.ai.toolkit跑ncnn版本的yolo5face应该怎么操作呀

那就正常用就好了，但是lite.ai.toolkit在linux下的预编译库现在只有onnxruntime的版本。ncnn版本你需要重新编译，lite.ai.toolkit，可以参考以下步骤：

• 下载lite.ai.toolkit主页中的linux预编译库（为了用我编好的opencv+ffmpeg，这玩意有点复杂，如果你想自己编带ffmpeg支持的opencv，可以看我写的博客：https://zhuanlan.zhihu.com/p/472115312）
• 下载lite.ai.toolkit源代码，因为你想编译NCNN版本，我预编译的lite.ai.toolkit只支持onnxruntime，所以要用lite.ai.toolkit的源码重新编译
• 下载NCNN官方release的linux预编译库，参考lite.ai.toolkit的README编译linux版本

好的我试一下！谢谢！

[lemonnader]

您好！我还有一个问题，编译NCNN版本的lite.ai.toolkit时，是需要修改build.sh里面的参数就可以吗?CMakeLists需不需要修改呢？

[DefTruth]

您好！我还有一个问题，编译NCNN版本的lite.ai.toolkit时，是需要修改build.sh里面的参数就可以吗?CMakeLists需不需要修改呢？

参考lite.ai.toolkit的README文档，开启-DENABLE_NCNN=ON

[lemonnader]

您好！我还有一个问题，编译NCNN版本的lite.ai.toolkit时，是需要修改build.sh里面的参数就可以吗?CMakeLists需不需要修改呢？

参考lite.ai.toolkit的README文档，开启-DENABLE_NCNN=ON

好的！

[lemonnader]

跑通了！！感谢！！