AI相册搜索优化

老谈仙森

使用AI搜索功能的时候，第一次搜索总是会很慢，而且如果长时间不搜索的话，trim.txt2vec这个进程会退出，然后再次搜索又会很慢，能不能加一个开关，让用户选择是否决定将这个进程常驻显存中，特别是对于有大容量显存的用户来说，这能极大提高搜索体验

飞牛产品同学

感谢反馈，这个我们转给相关同事评估一下

banjuer

飞牛产品同学 发表于 2025-3-14 15:08
感谢反馈，这个我们转给相关同事评估一下

这是一个很好的提议，load过程太耗时了，对于内存大的用户来说，有个选项可以常驻内存，可以极大提升搜索体验

xrf_WF12N

在官方给出这个选项前，可以通过创建一个systemd服务手动拉起txt2vec进程，这样搜索功能就可以常驻内存了

1. ssh进入fnOS并提权到root

2. 创建txt2vec服务：

1. nano /etc/systemd/system/trim-txt2vec.service

复制代码

文件内容如下

1. [Unit]
   
2. Description=Trim Text-to-Vector Inference Service
   
3. Requires=ai_manager.service
   
4. After=ai_manager.service
   
5. 
   
6. [Service]
   
7. User=root
   
8. Group=root
   
9. 
   
10. ExecStart=/usr/trim/lib/ai_manager/com.trim.txt2vec/txt2vec.bin --openvino_model /vol1/@sysappmeta/ai-manager/models/txt2vec-large-model-1.0.0/txt2vec.xml --openvino_weights /vol1/@sysappmeta/ai-manager/models/txt2vec-large-model-1.0.0/txt2vec.bin --openvino_cache_dir /vol1/@sysappmeta/ai-manager/temp/com.trim.txt2vec/openvino-cache --device GPU --model_format OPENVINO --log_file /usr/trim/logs/ai_manager/com.trim.txt2vec/app.log --log_level info --sp /vol1/@sysappmeta/ai-manager/models/txt2vec-large-model-1.0.0/sp.model
    
11. 
    
12. Environment="LD_LIBRARY_PATH=/usr/trim/lib"
    
13. 
    
14. Restart=always
    
15. RestartSec=5s
    
16. Type=simple
    
17. 
    
18. [Install]
    
19. WantedBy=multi-user.target

复制代码

ExecStart里面的大模型名称和路径以及是否需要使用显卡加速"--device GPU"需要按实际情况修改

3. 重新载入systemd并启用这个服务：

1. systemctl daemon-reload
   
2. systemctl enable trim-txt2vec

复制代码

4. 重启系统之后 就可以享受到秒开的搜索体验了

老谈仙森

xrf_WF12N 发表于 2025-11-13 22:00
在官方给出这个选项前，可以通过创建一个systemd服务手动拉起txt2vec进程，这样搜索功能就可以常驻内存了

...

这条命令用了OpenVINO，它应该只支持intel的显卡吧？nvidia的显卡有其他命令么？

老谈仙森

如果使用nvidia显卡，可以使用如下service文件内容

[Unit]
Description=Trim Text-to-Vector Inference Service
Requires=ai_manager.service
After=ai_manager.service

[Service]
User=root
Group=root

ExecStart=/usr/trim/lib/ai_manager/com.trim.txt2vec/txt2vec.bin --model_format CUDA --nvidia_id GPU-c669d70b-0c55-610a-df4e-41c49c9d2545  --onnx_model /vol1/@sysappmeta/ai-manager/models/txt2vec-large-model-1.0.0/txt2vec.onnx --sp /vol1/@sysappmeta/ai-manager/models/txt2vec-large-model-1.0.0/sp.model --device GPU --log_level debug --log_file /usr/trim/logs/ai_manager/com.trim.txt2vec/app.log

Environment="LD_LIBRARY_PATH=/usr/trim/lib:/vol1/@sysappmeta/ai-manager/solib"

Restart=always
RestartSec=5s
Type=simple

[Install]
WantedBy=multi-user.target

请按照你自己本地的环境配置，修改模型文件地址以及nvidia_id,这个id可以通过nvidia-smi -L命令获取到。