基于选择性融合及关系推理的群组行为识别

打开文本图片集

摘 要：为解决如何选取更具辨别力的多模态人物特征，以及在进行人物关系推理时如何更加关注特定于个人的时空交互建模的问题，提出了基于选择性特征融合的动态关系推理算法框架（SFDRI）。通过设计选择性特征融合模块，根据不同模态特征的随机函数概率分布得分，添加重采样方法以选取最相关的特征表示实现多模态特征的选择融合，并采用动态关系推理模块实现针对个人的复杂时空推理，通过在时空图上初始化交互域，利用点积计算预测人物交互关系矩阵，并同时添加每个人物特征的动态偏移以形成特定于个人的交互图，通过迭代更新交互图上的特征进行最终的群组行为的识别。（剩余15148字）