基于多任务学习CNN辅助Transformer的手部mesh重建

打开文本图片集

收稿日期：2022-04-03；修回日期：2022-05-20  基金项目：国家自然科学基金资助项目（61673276，61603255）

作者简介：谢苏（1998-），男，江西鹰潭人，硕士研究生，主要研究方向为手势姿态估计、人体姿态估计；张孙杰（1988-），男（通信作者），上海人，副教授，硕导，博士，主要研究方向为非线性控制、图像处理（zhang_sunjie@126.com）；王永雄（1970-），男，上海人，教授，博导，博士，主要研究方向为智能机器人与机器视觉；颜婷丽（1998-），女，吉林长春人，硕士研究生，主要研究方向为非线性复杂系统．

摘 要：针对当前手势姿态估计算法未充分利用2D信息辅助3D手部mesh重建的问题，首次在手部Mask、2D热力图的基础上提出引入RGB图像的HOG特征图，通过多任务学习CNN的框架对2D信息进行特征提取，并针对手的拓扑结构进行信息融合增强。（剩余20374字）