Avs检索流程

  1. 用模型提取比赛数据集V3C2的所有图片的特征,并以csv格式存储到服务器上,方便后续根据不同的query都可以反复调用计算相似度。(大概耗时3天,注意存储大小)
  2. 根据比赛query提取文本向量,和数据库中所有图片的特征进行相似度计算,然后根据相似度大小进行归一化后排序,保存成csv文件到/mnt/disk6/fsw/VBS/AVS/result_list文件夹里。

\(归一化:\frac{value-min}{max-min}(缩放到0-1,用于后面按照权重融合)\)

  1. 利用比赛官方给的脚本语言进行测试,得到指标,可以在终端里查看结果;具体结果在/mnt/disk6/fsw/VBS/AVS/result_list/XLSX文件里找到你csv文件的评价结果,下载到本地后打开。

目前blip模型的结果

image.png

可以用的资源

(建议服务器上的代码复制一版,尽量不要修改,因为比赛还没结束我们会用到)

  • blip2特征提取教程
  • 图片特征提取代码/mnt/disk6/fsw/VBS/AVS/Embedding_models/BLIP/multi_blip1.py
  • 文本图片检索代码/mnt/disk6/fsw/VBS/AVS/Embedding_models/BLIP/BLIP.retrieval.py

This line appears after every note.

Notes mentioning this note


Here are all the notes in this garden, along with their links, visualized as a graph.