相册AI人脸识别模型不支持FP16和INT8，实质不支持P4等推理显卡

pkoko

FP

NAS（飞牛OS 1.1.8）最近加了一块专门的AI推理显卡tesla P4，指望人脸识别的速度能提高。安装后表面看都正常：驱动安装成功，AI相册启用GPU正常。但经过测试发现效果很差（几乎没有效果），分析飞牛人脸识别的相关文件，发现目前的模型仅针对FP32进行了配置和优化。没有对FP16,INT8的支持和优化。

恳请官方支持FP16,INT8等模型，以支持这些推理卡。或大佬们又没好的解决办法？

1、对比测试

机器A：(pve虚拟机) AMD1700X + 8GRAM +1070TI（显存8G）（直通），人脸识别很快，约1小时1万张图片

机器B ：E52680V4 + 16GRAM + tesla P4 （显存 8G），人脸识别很慢，约1小时2.5K张。约为机器A的四分之一

机器A（1070Ti）识别时，GPU的使用情况：

机器B（tesla P4）识别时，GPU的使用情况

从对比看，大部分时间P4根本没有工作

2、查看AI人脸识别配置文件中，全是FP32的配置项，没找到FP16,INT8的配置项

-rw-rw---- 1 admin Users 167724 Jul 3 2025 det.xml
-rw-rw---- 1 admin Users 88922 Jul 3 2025 genderage.xml
-rw-rw---- 1 admin Users 200093 Jul 3 2025 rec.xml

3、1070TI和P4主要技术参数对比。由于人脸识别模型不支持FP16,INT8，因此P4无法发挥任何功能，更谈不上优势。

pkoko

借助DeepSeek分析了一下（分析过程较长，略），它给出的结论是，“这仅是CPU推理，没使用P4”，这跟观察的现象一致。

驱动安装正常，GPU启动看起来也是成功的，但实际上GPU并未发挥作用。这就极具迷惑性！！！

pkoko

在nas上安装了下面的包：

自己写了个脚本，进行基础GPU算力与带宽测试，测试结果如下：

测试过程中，GPU利用率曲线，可以看到GPU利用率直接干道100%

pkoko

再写一个脚本，进行BERT推理性能测试，模型采用FP16：

测试过程输出：

测试过程中GPU使用率完全可以达到100%

pkoko

BERT推理性能测试，模型采用FP32：

测试过程中GPU使用率，一样可以到100%左右

pkoko

综上，可以确认目前的版本，人脸识别压根就没有调用tesla P4的GPU能力（FNOS 1.1.8， 人脸识别标准模型 V1.0.1）。

跟硬件，驱动啥的无关，就是应用（ai_manager)没调用GPU，或模型不支持。(tesla P4是支持FP32,FP16,INT8的。FP32性能不及FP16,INT8）。

飞牛的人脸识别只要支持其一即可。