基于多特征的人体行为识别

基于多特征的人体行为识别(中文8000字,英文PDF)

摘要
本文中，我们提出一个融合多特征的框架来改进视频中的行为识别。多特征的融合对于行为的识别是很重要的，常常基于单特征的描述，不能够捕捉到成像的变化（角度，光照等等）和个体的属性（尺寸、年龄、性别等等）。因此，我们使用两种类型的特征：i）量化的时空立方体（STV）词汇表ii）量化的自旋图词汇表，旨在通过把行为作为3D（x，y，t）对象来考虑，捕捉行为者的行为变化。为了最佳地组合这些特征，我们把不同的特征作为图的节点，通过节点间加权边来表示实体间关系的强度。图被嵌入到一个K维空间主体，相似的节点有着相近的欧几里得坐标。这样通过把约束转变成最小值问题来实现的，问题的解是图的拉普拉斯矩阵的特征向量。这个过程就是著名的Fiedler Embedding。所提出框架的性能使用公开可获得的数据集来测试。结果表明多特征融合有助于提高性能，并且从嵌入空间中检索（retrieval）有意义的特征和视频。