「VIDEO」 视频检索概述

相关资料：视频检索资源汇总 · 图片检索概述

 
图1：相关概念

1.视频检索时需要对视频进行抽帧，针对不同时常的视频抽取到的帧数也就不同，如何解决这种情况下的相似度度量

1 引言

2 技术

2.1 关键帧

2.2 特征提取

2.2.1 视频级特征

实际工程中常使用抽帧及关键帧检测；在抽帧结果上再提取视频或者帧特征；

使用深度学习方法，如 iDT、或者 C3D 来提取视频级特征；直接计算余弦相似度或者欧式距离就可以；
缺点是海量视频处理起来资源消耗太大，而且无法满足实时性要求；
优点是考虑了时空维度信息，有利于表述整个视频发生的事件等全局信息，表达的特征更紧凑；

2.2.2 帧特征

最大的缺陷在于未考虑视频时间维的信息，将帧与帧之间孤立起来了；
优点是对视频空间信息的特征描述的力度更细一些，在某些场景中，比如校验两个视频是否是重复视频，基于帧级别的特征反而更适用；

一般不会使用视频级特征，太耗时了；

2.3 相似度度量

2.3.1 基本方案

2.3.2 暴力搜索多帧排序

检索视频的每一帧特征与库中所有视频一一比对（使用累积最大余弦相似度），最终找出相似度帧数最高的视频；

优势：特征匹配效果好，召回率比较高；特征维度不高的情况下（几百维），用 SSE 加速后，距离计算很快；

针对每个视频会有 m 个特征（就是检索视频的帧数）；一般会取几百维的特征，如果深度特征维度过高，会进行降维，其精度损失通常很小；

2.3.3 最近邻多帧排序

暴力搜索无法满足实时性要求；就需要用近似近邻搜索构建索引；

2.3.4 OPQ

计算非对称距离；

使用 partial_sort 进行排序；

3 应用方向

3.1 重复视频检测

方案：

1. 视频帧提取（时序采样、镜头边界检测+关键帧提取）——>帧级特征提取（LBP、颜色直方图或深度特征）——>相似度度量

3.2 相似视频检索

3.3 数字指纹

在每一个数字产品中加入一个唯一的标志，通过这样的标志，可以区分所售出的每一份数字产品；

使用数字指纹，可以使人们免除一大头疼问题，不必再费心思去苦记数字密码了；

4 应用场景

4.1 视频查重

建立独立视频DNA库，在该库中对样本视频完成快速比对，实时召回重复视频或重复片段。防止内容分发和个性化推荐时，出现过多相同或相似视频而影响用户体验；

4.2 原创识别

准确识别是否为原创视频、编辑变换后视频、自媒体再创作视频。解决短视频领域维权问题，为视频素材交易生态提供技术基础，防止侵权视频侵害原创者及视频平台利益；

4.3 快速审核

通过维护违规视频库或自定义黑库，对增量视频，快速进行DNA比对并判断是否有违规内容。相比传统审核，提高大量视频过审的效率，保障准确性，降低审核的成本；

4.4 广告分成

通过视频DNA技术，检索分成广告库，对特定广告进行监播和识别。有利于支撑广告动态分成业务生态，轻松把控广告投放的时间、次数等，同时保障了广告版权方和投放平台的利益。另外，基于此，可以进行广告的高效识别、替换及广告位竞拍；

4.5 视频溯源

对于新增视频，在庞大的DNA库中进行快速检索，以定位一个视频的传播路径。有效解决视频溯源、传播路径分析或挖掘媒体资源之间联系的问题；

4.6 版权保护

---

TOP

附录

A 术语

英文	中文	英文	中文
video retrieval	视频检索	near-duplicate video detection	视频副本检测
video copy detection	视频拷贝检测	video authentication	视频认证
video identification	视频鉴定	video verification	视频验证
video hashing	视频哈希
video content based watermarking	基于内容的视频水印	video signature	视频签名
distortion	篡改; 失真	manipulation	篡改
identification	辨别	verification	验证
authentication	验证
perceptual uniqueness	唯一性 （可区分不同视频）
secure performance/security	可靠性 （识别失真数据数据）	robustness	鲁棒性 （识别篡改/攻击数据）
symmetric pairwise boosting		centroid of gradient orientations
tradoff between A and B	在 A、B 之间达到平衡 （二者之间存在对抗）

B 参考文献

1. 数字指纹声纹技术助力军事反恐领域