登陆

为VR完成「手势辨认」需求霸占哪些难点

admin 2019-11-05 233人围观 ,发现0个评论

来历:映维网 作者 广州客

先放一个视频,是网络收集的各种手部交互产品及VR游戏内容的编排。可以协助了解手部交互在VR中是多么要害的工作。

手部交互在VR中的作用

“手势辨认”一般依靠更根底的“动作捕捉”(追寻)。杰出牢靠的动捕可以容易推导出精确的手势辨认成果,反之不成立。

李子琪将到会10月12日由映维网和IDG联合举行的广州2019小蛮腰科技AR/VR大会,并将宣告《VR未来硬件交互范式评论》主题讲演,欢迎有爱好的朋友报名参会评论、协作

一:四个根底条件

VR终极手部交互范式并不是单纯的“手势辨认”,它要满意4个根底条件,这些条件一起也是需求霸占的难点:

1. 空间定位:抱负的空间定位才能,得到手部与人眼(头显)的精准相对方位联络,是正确烘托及交互的根底;

2. 手部追寻:一只正常人手大约有二十多自在度,加上手腕小臂总计约28个,追寻需求精准,牢靠,低推迟;

3. 触觉反应:给人以更清晰愈加契合直觉的反应作用(根据视觉原理的裸手操作难以给人清晰的反应);

4. 工业规划:(实体外设需简便以下降疲惫,一起不会影响手部自身活动等,以及契合人体工程学佩带舒适等)

四个根底条件中的『1. 空间定位』与『2. 手部追寻』有时可作为一个全体评论,统称为追寻定位才能,是手部交互的柱石,也是一般学术界所垂青的技能难点。

手部追寻定位才能决议了人在虚拟国际能否像实践国际中一样自在运用灵活的双手。

低品质的追寻定位增加了用户疲惫度,下降了输入功率(要将手置于可辨认区域以削减追寻失效,增大动作起伏以补偿精度缺乏或自在度的缺失),以及带来不确定性输入的困扰。

(可类比想象运用鼠标时,光标漂移,光标消失,移动精度缺乏,以及按键失灵等问题)。

一起追寻定位才能是『3. 触觉反应』的前置条件,决议了能否在精确的方位和时刻触发发生反应作用。

一切VR手部追寻产品只需对照这四点根底条件进行判别。

二:计算机视觉计划

因为视界以及手部的自遮挡等原因无法处理『2. 手部追寻』中的牢靠性问题,手部需保持在摄像头视界中以导致疲惫。一起无法供给『3. 触觉反应』,引发用户困扰。

LeapMotion,微软HL2的手部追寻,OC6上Oculus Quest推出的手部追寻,代表了人类在以计算机视觉为根底的手部追寻的最高水准。现已展现出了双手天然交互的魅力,并现已在许多低交互需求的场景发生价值。可是仍旧受原理机制的天花板所约束,低品质的追寻定位才能并不能供给真实牢靠舒适的交互体会。

LeapMotion公司从融资近亿美金到终究3000万被收买,现已充分阐明了根据计算机视觉的手部交互技能的局限性。

需求阐明的是AR环境与VR有所差异,为了敞开的外部实践环境,即使体会相对较差,AR也会优先采纳裸手计划。比较VR环境已成为根底装备的6DoF手柄交互以及专门规划优化的OculusTouch和Knuckles手部操控器,当今AR头显更多选用作用差强人意的3DoF遥控器和根据计算机视觉的裸手计划。

延伸阅览:Oculus Quest手部追寻体会手记

三:肌电操控计划

该技能自身对『1. 空间定位』、『2. 手部追寻』、『3. 触觉反应』三项技能难点均无法处理至够好的程度。肌电信号反映的是肌肉缩短所发生的生物电,用户个别肌肉生理差异大。肌电是肌肉缩短(用力)的信息,与手指等方位的信息实质有所不同。以及为了滑润不牢靠的肌电信号会引进较大推迟。这些都是抱负交互计划的大忌。在可预见的未来中此类技能对手部的追寻与其他计划比较,不具备优势。

CTRL—Labs(收买了MYO肌电臂环的专利),现正与Facebook谈被收买事宜,拟5-10亿美金。是当今仅有融资额度巨大,对外声称想把此技能运用于VR/AR交互操控的公司。(弥补:Facebook现已揭露宣告未来想把CTRL—Labs与手部追寻计划(Oculus Quest上选用的根据视觉的手部追寻计划)进行结合。)

自己对此计划结合持疑问情绪。这两为VR完成「手势辨认」需求霸占哪些难点种技能并无很好的互补才能,甚者会结合扩大二者的缺陷。

四:手柄计划

通过近几年的职业开展,较好的VR头显均完结了6DoF的手柄空间定位,很好地完结了『 1.空间定位』这项根底而又重要的条件要求。

一起,VR手柄现已从开端的棒状(HTC Vive及PSVR手柄)迭代进化,呈现了Oculus Touch和Valve Index的Knuckles,逐渐向更优异的手部追寻及工程学迭代前进。『1. 空间定位』现已契合预期,也的确向『2. 手部追寻』与『4. 工业规划』方针迈出了一大步。而受制于手柄形状约束,无法将『2. 手部追寻』面向抱负水准,以及对『3. 触觉反应』的支撑较为一般。

五:数据手套计划

数据手套是个一言难尽的论题。数据手套计划给人直观的感觉是: 『1-4』的要求都可以满意,仅仅价格较贵。很多人的成见是以为手套形状设备就会很“准”,一起也以为运用数据手套会下降舒适度。实践并非如此,数据手套形状与“准”并无因果联络,市面上充满的是很多低水准贵重的鸡肋产品;而工业规划及传感计划的好坏决议终究舒适程度。

根据数据手套捕捉人手姿势时首要运用的传感器类型(技能原理),包含且不限于机械外骨骼传感器式、光纤传感器式,曲折传感器式,磁感应式,惯性传感器(一般为包含加3轴速度计、3轴陀螺仪和3轴磁力计的九轴IMU)式等。

每一种类别状况要考虑的问题均不相同,但总的来说,任何一种计划想要做好绝非易事。这也是为什么长久以来没有诞生一种低本钱完结的牢靠精密手部动作捕捉的技能。

当今即使一般商用版数据手套(5K-50K人民币每套),在『2. 手部追寻』方面实践都差强人意,是非常鸡肋的存在,有时用于一些低水平的影视动作捕捉,需求杂乱耗时的人工后期批改处理。若根底追寻定位才能都无法合格,在此根底上去寻求『3. 触觉反应』更是是舍本求末的做法。

仅从动作捕捉作用考量,当今纸面参数最好的数据手套,是顶配等级的光纤式数据手套,价格大约在15-20W人民币每套,本钱约在数万人民币。其追寻作用大约与排除了牢靠性和视界问题的尖端计算机视觉手部动捕计划适当。

曩昔很长时刻,计算机视觉有了长足的开展,人们总想把一切问题都交由计算机(视觉)去处理。计算机现在是一个相对低进入门槛却高产出门槛的职业,吸收了很多资源,也导致流向其它重要职业的资源非常有限。数据手套在看似无限远景的计算机视觉职业的夹缝里困难前进,各种计划层出不穷却未能呈现真实好的大一统式的产品改造。可以说当今的数据手套计划与比如Valve Knuckles和Oculus Touch这样的新式手柄比较,并无优势可言。

六:咱们的计划

可是!可是!可是!如今工作有了改观

源域科技 — MASTERY 手部交互

源域科技(咱们),打造了革命性的数据手套计划 MASTERY–掌控,以改造性的工程及算法计划简直彻底处理了上述所列的一切要害问题。这无疑是当今国际最为挨近抱负,且价格能被一般消费市场承受的计划,有望成为未来VR国际的交互范式,将整个VR职业的人机交互水准提升到一个史无前例的新高度。

本为VR完成「手势辨认」需求霸占哪些难点钱2016年左右跟风投了很多废物VR项目,简直都失利了,国内本钱简直不再重视这个职业了,国内VR有关企业都只能困难开展。与国内情绪截然相反的是,美国扔在继续不断出资开展这个职业,VR职业有了长足的开展。

PS:如果您对本项目感爱好,有协作及出资志愿的为VR完成「手势辨认」需求霸占哪些难点朋友与咱们联络(微信:licn2014)!

请关注微信公众号
微信二维码
不容错过
Powered By Z-BlogPHP