OpenCVForUnity的手部姿态识别功能

2023-12-14 22:01:31

手势识别功能
插件名称：OpenCVForUnity
效果
在这里插入图片描述
关键代码
HandPoseEstimationMediaPipeExample
在这里插入图片描述

MediaPipeHandPoseEstimator
在这里插入图片描述

第二步： 性能问题，功能是不错，可是一个手部识别的demo，cpu直接飙满了，这哪行。
下面是一些测试
1.仅仅绘制食指指尖的位置
在这里插入图片描述

在这里插入图片描述

解释：
opencv手部姿态算法模型的计算结果中包含手部的21个骨骼节点数据，其中食指指尖数据的索引是8
在这里插入图片描述
在脚本中的landmarks_screen_xyz数组长度为63，每三个元素为一个骨骼节点的数据
在这里插入图片描述

所以食指指尖节点数据所在的位置就是索引24、25、26指向的元素。
所以在代码里限制了仅仅在j==24时可以绘制。
在这里插入图片描述

功能是具备，不过性能占用方面也是很惊人。

可以选择优化插件性能来解决问题，这里我尝试了第二种方式—使用python调用OpenCV的视觉算法库然后把数据传递给unity使用，效率大大提升了。
在这里插入图片描述
文章地址

文章来源:https://blog.csdn.net/weixin_45023328/article/details/134879613
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。