文献类型：专利

中文题名：一种基于多类分类的手势识别方法

作者：蔡鹏杰[1];杨德荣[1];廖梓淇[1];邹永林[1];饶水英[1];秦坚轩[1];刘鑫[1];陈锐瀚[1];李志[1];李升[1];戴铭[1];

机构：[1]广东海洋大学;

专利类型：发明专利

申请号：CN202211521169.2

申请日：20221130

申请人地址：524088 广东省湛江市麻章区海大路1号广东海洋大学

公开日：20230404

代理人：郝丽萍

代理机构：江苏盛松律师事务所

语种：中文

中文关键词：手部姿势;手部;手部关节;关节点;手势;比对校准;初级特征;高级特征;融合;多类分类;阶段网络;区域概率;手势识别;特征编码;特征图;预测;三维;网络;检测;重建

中文摘要：本发明提供一种基于多类分类的手势识别方法，包括：基于手部Mask和手部热力图的实现三维手部mesh重建，预测3D关节点；将手部RGB图像输入2D阶段网络实现2D手部姿势估计：依次得到2D手部姿势初级特征、融合2D手部姿势中级特征以及2D手部姿势高级特征、2D手部关节热图以及手部分割初级特征、融合手部分割中级特征、手部分割高级特征、手部分割区域概率图；2D手部姿势估计实现3D手势估计：将2D手部姿势估计得到的特征及特征图进行融合，输入到3D手势估计网络中的特征编码网络，得到3D手部关节点热图；将预测3D关节点和得到的3D手部关节点热图进行比对校准。本发明采用两种不同的3D手势估计方法进行比对校准，能够明显提高关节点检测任务的精度。