索尼设计带有接近传感器的VR控制器，具有手指追踪功能

　　5月14日消息，索尼软件工程师的一份报告显示，该公司正在开发一种高度沉浸式虚拟现实运动系统，该系统很可能会在其下一代PlayStation控制器中使用。

　　索尼互动娱乐事业部的一个团队在一篇名为“带有接近传感器的手持设备上的手势估计的机器学习技术评估”的论文中说，他们已经开发出一种控制器，该控制器可以精确地复制玩家手和手指的动作。

　　手指跟踪应用程序通常依赖于捕获手指运动的相机，例如Oculus Quest。最近，提供更精确运动识别的电容式接近传感器进入市场，但是，正如索尼研究人员有松和幸（Kazuyuki Arimatsu）和森树秀树（Hideki Mori）所指出的那样，由于物理控制器的存在阻碍了摄像机的检测，而仍处于起步阶段的接近传感器技术需要改进和完善，准确捕捉手的动作仍然难以捉摸。

　　Arimatsu和More承担了填补这些空白的挑战，他们构建了具有62个嵌入式电极的原型手控制器，并使用光学监控系统记录了训练数据集。他们捕获了12位对象的手的动作，每个对象的手的大小各不相同。

　　Arimatsu and More说：“我们的目标是扩大手指跟踪功能的界限，以便在虚拟空间中使用手进行更直观的交互。我们的方法不仅可以检测手指在特定电极上的触摸，还可以利用所有传感器的值预测3D空间中手指的全面运动。为实现这一目标，我们评估了在计算机视觉领域研究的两种卷积神经网络架构，用于姿势估计，并说明了控制器上传感器的合适架构。”

　　为了获得逼真的和身临其境的3D体验，研究人员在上个月发布的一份报告中说，我们应用了多维表示法，根据卷积神经网络的最新成就，将卷积神经网络方法应用于曲面的电容图像和两种类型的网络体系结构上，我们使用数据集评估了计算机视觉领域。我们还使用该原型实现了实时交互应用程序，并演示了在VR应用程序中使用手指进行直观交互的可能性。”

　　原型视频显示了用户的手及其数字表示，这些手势做出了各种手势，例如打开和关闭、计数、拇指旋转、展开手指、和平标志以及伸出的拇指和小指（表示电话），它可以识别一个手握住控制器设备和起吊或投掷的物体。

　　去年，索尼为VR控制器许可了高级触觉器，他们将能够模拟推动、拉动、抓握和搏动的感觉，下一个索尼控制器很可能会允许游戏玩家不仅看到他们的手，而且感觉与他们互动的各种物体。

　　该团队表示，这项技术可以应用于游戏以外的领域，例如非语言交流应用。