less than 1 minute read

实际工程中常使用抽帧及关键帧检测；在抽帧结果上再提取视频或者帧特征；

1 帧特征

低层特征：HOG, HOF, MBH, IDTF 等

1.1 全局特征

对图像内容的整体性描述；

优点：

  • 能够应对视频在编码、帧分辨率、缩放等方面的变化；
  • 检测速度比较快；

缺点：

  • 对于平移等几何变化及复杂的编辑效果不佳；

1.1.1 顺序度量

Ordinal measure, OM；

步骤：

  • 将图像分成 m×n 个块；
  • 每个块取灰度均值，的到 m×n 的特征矩阵；
  • 按顺序展开即的到 OM；

特点：OM 是效果最优的全局特征；其并不强调两个特征间的差异，而是强调它们之间的顺序关系；
优点：因此，对视频的亮度变换、尺寸变换等鲁棒性较好；
缺点：但图像局部变化容易造成整体顺序度量变化，对顺序度量特征的影响较大；
影响因素：分块方式——2x2 分块能抵抗加边框的拷贝攻击； 3x3 分块不行；但 2x2 的特征数太少，不同内容视频的区分能力较弱，检测精确度不高；为什么 2×2 可以抵抗加框，是因为偶数吗

1.2 局部特征

指具有局部不变性特性的局部兴趣点；

1.2.1 尺度不变特征变换

Scaleinvariant feature transform, SIFT；视频拷贝检测领域常用的局部特征；SIFT 特征提取方法在高斯差分尺度空间中寻找极值点，并提取出其位置、尺度、旋转不变量生成特征描述子；

步骤：

  • 构建尺度空间；
  • 检测尺度空间极值点；
  • 抽取稳定的关键点；
  • 为每个关键点指定一个或者多个方向；
  • 生成特征点描述子；

特点：

稳定性、区分性强；

  • 在多尺度空间采用高斯差分算子检测关键点，运算速度快；
  • 特征点是以子区域的统计特性，而不是以单个像素作为操作对象，提高了对图像局部变形的适应能力；
  • 匹配能力强，能提取稳定的特征；可应对仿射变换(平移(Translation)、缩放（Scale）、翻转（Flip）、旋转（Rotation）和剪切(Shear))、视角变换、光照变换等问题；甚至在某种程度上可以应对任意角度拍摄的图像；
  • 为了保持旋转不变性，SIFT对每个关键点使用 4X4 个种子点来描述，每个种子点有 8 个方向向量，这样对于一个关键点就形成 128 维的特征值；

优点：

  • 关键点的定位精度高，稳定性好；
  • 在光照变化、图像几何变形、分辨率差异、旋转、模糊和图像压缩等6种情况下同类特征中鲁棒性最强；

缺点：

  • 耗费巨大的存储空间；
  • 使用欧氏距离来度量相似性，计算复杂度过高；

最大的缺陷在于未考虑视频时间维的信息，将帧与帧之间孤立起来了；
优点是对视频空间信息的特征描述的力度更细一些，在某些场景中，比如校验两个视频是否是重复视频，基于帧级别的特征反而更适用；

2 视频级特征

使用深度学习方法，如 iDT、或者 C3D 来提取视频级特征；直接计算余弦相似度或者欧式距离就可以；
缺点是海量视频处理起来资源消耗太大，而且无法满足实时性要求；
优点是考虑了时空维度信息，有利于表述整个视频发生的事件等全局信息，表达的特征更紧凑；

一般不会使用视频级特征，太耗时了；

3 方案

3.1 SIFT + OM

  • 计算 SIFT；
  • 应用 OM，以区域内 SIFT 个数排序；其中 OM 用 4×2 和 2×4 相结合；

只需存储 SIFT 的个数和位置即可；为什么要存储位置啊

4 分析

目前单一的全局特征或局部特征都难以兼顾准确度和速度；

TOP

附录

A 资源

Comments

You May Also Enjoy