浅谈虚拟现实教学软件开发中的交互技术的论文

时间：2021-06-13 16:27:29 论文我要投稿

　　摘要：为了顺应虚拟现实在教育领域的必然发展趋势，提出了基于HTC Vive的教学软件开发，而开发过程的核心就是交互技术的实现，通过对交互设备的分析，从输入设备和输出设备两个方面来进行交互技术的详细研究，并通过交互技术在教学软件开发中提供的理论和技术支持来阐述虚拟现实环境下教学软件开发的必要性与科学性

浅谈虚拟现实教学软件开发中的交互技术的论文

　　关键词：虚拟现实；反馈；交互；用户界面；教学软件

　　中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2017）28-0086-03

　　Abstract： In order to conform to the inevitable trend of the development of virtual reality in the field of education， the development of teaching software Based on Vive is put forward， realizing interactive technology is the core of the development process. By analysis of interactive devices， a detailed study of the interactive technology from two aspects of input and output devices is commissioned， and with the support of theory and technology of interactive technology in teaching software development， expounding the necessity and scientificalness of the development of teaching software in virtual reality environment.

　　Key words： virtual reality； feedback； interaction； user interface； teaching software

　　虛拟现实的出现使得教育手段更加完善，教学环境逐步趋于虚拟化，教学与虚拟现实的结合为教育教学开辟了新的领域，教学方法也更加具备科学性和真实性。如今虚拟现实的迅速发展，无疑将开启一种新的教学模式——身临其境的教学模式，相比传统实验室教学更

　　具备安全性，相比传统的情景式教学更具备情境性。HTC Vive教学软件的开发核心是真实的交互体验，交互技术的实现对于教学效果的体现是成正比的。HTC Vive是基于PC端的，所以交互技术是从输入和输出设备两方面来体现。

　　1 VR中的输入输出设备

　　一个完整的虚拟现实教学软件系统包括五个部分：虚拟学习场景、计算机、VR教学软件、输入设备和输出设备。所以教学中的交互必须在这几个部分中实现，虚拟头显的操作基本已经脱离鼠标和键盘的操作，依靠的是手柄、游戏杆或遥控器等媒介来实现，我们与虚拟世界的连接点在于头显中的视屏和手柄设备，也就是输入设备和输出设备，对于计算机和虚拟世界并没有直接联系，VR软件作为一个媒介连接电脑与设备，所以交互技术最终要实现在输入与输出设备上，输入设备的交互实现主要是通过对设备的触摸、移动和按压等，输出设备的交互实现主要体现在声音反馈和震动反馈等。因此，交互技术的开发主要围绕这两个部分来展开。一个完整的虚拟现实学习系统如下图：

　　1.1 输出设备

　　交互最终的效果体现在对使用者五官的刺激上，基于输出设备的交互方式大多通过听觉来实现，目前为止，只有极少数的虚拟现实设备能够实现对嗅觉与特殊触觉的刺激。这种基于输出设备交互技术在教学中的较为简单的体现就是声音与震动的反馈。

　　1.1.1 声音反馈

　　HTC Vive交互中声音的反馈来自于电脑的声卡的输出功能，外接耳机与音响就是将声卡的输出功能具体化，声音反馈本质上就是一种交互，是人作用于虚拟世界后产生的效果以声音的形式展现出来。这种交互形式相对简单，也是我们平时最为常见的一种交互形式。

　　1.1.2 震动反馈

　　震动反馈看似复杂，但是对于程序的编写人员来说实现却相当容易，引入VRTK工具包就可通过简单的设置震动的Strength（强度）、duration（持续时间）以及pulseInterval（震动间隔）来调节震动反馈的效果，强度的范围一般为0-3999，所以在不同的场景中，震动的反馈方式可以实现多样化，以呈现出更逼近真实的体验。这种震动反馈也只是简单的触觉体验，而对于在特殊场景下产生的特殊触觉却依旧无法实现。这种震动反馈可应用于教学开发中的直接传递给学习者的一种实质性提示。

　　1.2 输入设备

　　传统的基于移动端或PC端的教学软件交互主要是通过键鼠和屏幕操作来实现，而HTC Vive依赖于输入设备的交互形式主要是通过对输入设备的触摸和按压等，并且HTC Vive虚拟现实设备可通过一种激光定位的形式将捕捉到的动作转换为数据录入电脑，然后通过分析数据将动作在虚拟世界中再现从而实现一种交互，这种交互技术在x-box和一些电视一体游戏机中也有过一定的体现。

　　输入设备是教学软件中交互技术的主要载体，基于HTC Vive的输入设备主要包括激光定位器，头戴显示器和手柄，手柄作为虚拟现实交互的主要媒介也是交互技术开发的重中之重。

　　2 VR教学软件中的交互技术

　　虚拟现实促使教学模式发生改变，交互技术的支持突破了传统的教师掌握课堂模式，学生主动进行学习，有利于创新思维和能力的开发。几种友好的UI界面和立体展示的接近真实的学习环境很大程度上提升了学生学习兴趣，进而提高学习效率。endprint

　　2.1 激光定位技术

　　HTC Vive虚拟现实设备中自带有激光定位器，通过定位器我们可以直接实现场景内外漫游的同步，用户可以很容易实现两种漫游模式，站立式与房间模式，但 HTC Vive激光定位器的内部设计较为复杂，在2016-2017年间，加利福尼亚大学戴维斯分校的一名虚拟现实研究人员Oliver Kreylos详细的分析了HTC Vive的激光定位器，这篇分析涉及了定位器的更新频率与延迟、跟踪抖动、惯性定位推算、漂移校正以及准确度等几个方面，这对于Vive开发人员可以说是非常好的一件事，尽量降低不必要的误差，提高准确率，实现高效率、高精确度、高仿真的交互。这种室内动作和定位的技术对于虚拟实验室这类区域性教学软件的开发有着突破性的价值。

　　实验室教学活动的重要组成部分，亲身实验的效果远比单纯的理论教学更有说服力，并且能够产生更好的学习效果。但是教学实验的时间、空间问题矛盾较为突出。昂贵的设备和实验材料经费是主要矛盾，而基于HTC Vive的虚拟现实实验很好地避免了这个问题，时间不限，足不出户便可实验。同时生物和化学方面的实验危险性也是极其突出的矛盾，而交互技术支持下的虚拟现实实验将没有任何危险性，但是又与现实实验有接近同样的体验。

　　2.2 手柄交互技术

　　在教学手段方面，相对传统基于移动和PC端的教学软件开发而言，交互技术的加入使得互动式的启发教学尤为明显，尤其体现在对手柄的操作。身临其境、自主控制的人机交互，视觉、听觉、触觉的生动展示提供了生动活泼的直观形象思维材料，形成知识点，将原本平面化的事物展示在眼前。

　　手柄是教学中实现交互的最重要设备，如通过菜单按钮、touchPad、系统按钮、扳机键和侧面的手柄按钮等。首先通过手柄实现交互的最简单方式就是触碰，不需要任何按键，如在一些虚拟世界中，我们需要将手柄做成教学软件中需要的模型，那么触碰就是必不可少的交互方式，以Unity游戏引擎开发为例，这种交互技术的实现与传统的教学软件开发中Trigger（触发器）的实现原理一致，在手柄模型接触到物体、停留在物体中和离开物体时，分别调用Unity内置的'OnTriggerEnter、OnTriggerStay和OnTriggerExit函数并在函数内实现相应的功能即可，这种交互技术在由电脑屏幕操作到虚拟现实操作转变过程中其本质原理是不变的，只是在展示给用户的使用形式上发生了改变，所以相对于开发人员来说，由普通的2D和3D电脑手机游戏转向虚拟头显游戏开发过程中，这种交互技术是最容易理解和掌握的。

　　再者就是HTC Vive虚拟现实教学软件开发不同于传统教学软件开发的交互技术，总体来说可以归结为一种UI的交互，在Stream平台中，成型的基于HTC Vive的教學软件已经越来越多，但是交互技术可以说是万变不离其宗，其中一部分是通过手柄下方的Trigger扳机键来实现虚拟环境中按钮的打开与关闭，这方面与传统的Unity开发按钮的使用原理也不尽相同，但是大部分项目使用的是最为常用的交互技术——射线交互，用户在使用手柄过程中可在虚拟环境中的手柄上端发射出一条激光指针，通过指针与另一端的UI进行交互，这种交互技术主要是通过引用VRTK中的SimplePointer来实现，通过动态的设置射线接触UI的过程中UI产生的颜色和形式的变化来实现交互，这种交互技术脱离了传统媒介的交互模式，充分地展现了虚拟学习场景中独具时代感的交互模式，在虚拟学习场景中实现了未来康宁玻璃式的交互方式，并且充分展示了手柄的独特与灵活之处，所以这种射线交互技术得到了最为广泛的使用。同时另一种射线交互Bezzier Pointer，也就是我们常说的贝塞尔曲线，通过简单的接触TouchPad就可以在虚拟学习场景中实现瞬移，TouchPad就相当于整个虚拟学习场景地面，通过手在TouchPad上滑动取点，就可在虚拟学习场景中选择对应的瞬移终点，这种交互技术将虚拟世界复杂的不规则曲线运动变得规则，同时又解决了虚拟现实项目运行所需的空间限制问题，仅需站立模式就可实现房间模式所能实现的效果，将Bezzier曲线巧妙地应用于虚拟教学中，可以说这种交互技术实现了一举多得的效果。

　　最后一种利用手柄实现的交互技术我们称之为手柄菜单，简单的手柄菜单就是在虚拟手柄上方添加一个UI，可通过编写手柄按键来实现UI的隐藏与显示；稍微复杂的手柄菜单也就是RadiaMenu（环形菜单），通过将RadiaMenu 预制体绑定到对应的控制器下，并设计环形菜单的图案与点击事件来完成编写，用户可通过滑动触摸TouchPad来选择对应的环形菜单按钮从而实现交互。这种手柄菜单也是目前Vive开发中较为常用的一种交互技术。

　　2.3 头显凝视技术

　　学习者在学习过程中，交互形式多种多样，而最为简单的一种方式就是用眼睛观看，这种技术在以往任何形式的教学软件中都未曾实现，但是基于HTC Vive的虚拟现实教学软件却可以实现，这种交互技术叫做凝视，凝视反映出头显在作为一种输出设备的同时，也可作为一种输入设备。

　　SteamVR_GazeTracker（凝视）是一种在没有手柄等输入设备的情况下，可以通过眼睛盯着某个物体看来实现的一种视点交互。我们只需要将辅组类添加到我们想要凝视的物体上，比如菜单等，就可以实现凝视的功能，这是不依靠其他设备，直接通过头显实现的一种交互技术。

　　凝视的原理实际上是从头盔的位置发出一条射线判断是否与物体相交来做选中或者交互的。而且因为凝视的精确度不高，所以没有做直接与物体相交，而是在物体的位置创建了一个平面，通过射线与平面相交的交点的位置与物体的距离来大概判断的。这个距离值是可以调的，主要是对Gaze In Cutoff和Gaze Out Cutoff两个参数设置来调整是否选中的距离。

　　头戴显示器交互的实现直接决定虚拟教学的沉浸程度。就角色层面而言，交互技术支持下的操作具备很强的沉浸性和交互性，比如虚拟驾校学习软件出现使得学生在虚拟环境中完全扮演一个学徒的角色，全身心的投入环境中，体验着只有真实驾校才可能有的体验，这对后面真实的学习起着一种过渡作用，角色化的学习更有利于对技能的掌握。

　　3 结束语

　　随着虚拟现实技术和开发引擎的不断发展，目前尚未成熟的基于HTC Vive虚拟现实设备的交互技术的开发也会逐步完善。这使得虚拟现实新领域的探索成为了未来教育发展的一种必然趋势，HTC Vive这类沉浸式头戴显示器的开发程度也会逐渐提升，更多的基于HTC Vive的交互技术将被开发出来，更多种的交互方式将被应用在教育教学之中，跟随时代的步伐，掌握最前沿的开发技术，已成为信息时代的需要，更是未来教育发展的需要。

　　参考文献：

　　[1] 陈耕艺. 虚拟现实的社交之路[J]. 中国信息化， 2015（6）.

　　[2] 牟长军，童志伟. 综述虚拟现实技术及其应用[J]. 装备制造技术， 2007（1）.

　　[3] 张璐. 基于虚拟现实技术的用户界面设计与研究[D]. 上海：东华大学， 2013.

　　[4] 李国杰. 基于虚拟现实技术的力觉交互设备的研究与构建[D]. 上海：上海交通大学， 2008.

　　[5] 张少波. 沉浸式虚拟现实中人机交互关机技术研究[D]. 重庆：重庆邮电大学， 2016.

　　[6] 杭云，苏宝华. 虚拟现实与沉浸式传播的形成[J]. 现代传播：中国传媒大学学报， 2007（6）.

　　[7] 张凤君，戴国忠，彭晓兰. 虚拟现实的人机交互综述[J]. 中国科学：信息科学， 2016.

　　[8] 帅立国. 虚拟现实及触觉交互技术[J]. 人民论坛-学术前沿， 2016（24）：68-83.

　　[9] 赵沁平. 虚拟现实综述[J]. 中国科学， 2009（1）：2-46.

　　[10] 刘氢. 基于Unity3D和htcvive的虚拟现实游戏设计与实现[J]. 通讯世界， 2017（3）.

　　[11] 蒋文君. 互动与沉浸——虚拟现实开启广告新时代[J]. 西部广播电视， 2016（13）.