技术应用

虚拟现实视觉与力触觉技术结合应用介绍

2021-12-14

VR视觉和力触觉技术

    虚拟现实 VR技术

        ① 利用计算图形图像学构造虚拟世界;

        ② 虚拟场景中进行交互,达到身临其境的效果。

    力触觉 Haptics技术
         虚拟与真实世界中,通过虚拟数字信号及电机数字模拟信号双向转换,提供给人与虚拟环境中的桥梁。俗称:“摸得到”。‍


    1、意义
        1)、力触觉技术的出现提供了一种新型的人机交互体验,它支持用户通过力反馈设备感受计算机虚拟环境中的物体运动和力觉信息,是一种新型的教育教学手段。
        2)、力触觉技术在教育教学中的应用呈现教育教学层次多样化、教育教学领域多样化和教育教学方式多样化的特点
        3)、力触觉技术和教学内容相结合,既可以活跃课堂的学习氛围,又可以激发学生的学习兴趣。此外,力触觉技术扩展了用户的人机交互方式,有助于用户手眼协调能力的提高,在教育领域应用前景广阔。
    2、定义
        力触觉技术是指在人机交互过程中,计算机对用户的输入做出响应,并通过力反馈设备作用于用户的过程。它是一种机械装置表现出来的反作用力,将力反馈设备与环境中物体交互的信息转化成用户能够感知的力的效果,如触碰物体的阻力、举起物体的重力和“触摸”物体表面的摩擦力。
        力触觉技术结合其他的虚拟现实技术,使用户在交互过程中不仅能够通过视、听觉通道获取信息,还能够通过触觉通道感受模拟现实世界力觉交互的“触感”。因此,力反馈技术的引入,使交互体验更加自然、真实。
    3、VR+触觉创新教学
        1)、可以在高度准确和专业的领域提高技能,而不需要使用传统显示实验室,并面对实体解剖的费用和后勤挑战。
        2)、可以实时显示操作过程中的数据,如力度、角度等。
        3)、包含教学、实训、考核完整流程。外科医生可以创建高频运动技能互动,在一个 “安全失败”的环境中建立肌肉记忆。
        4)、软件配套二次开发SDK,可扩展性强。内容不断更新,具备VR实验教学全部应用。
        5)、力触觉技术的出现提供了一种新型的人机交互体验,它支持用户通过力反馈设备感受计算机虚拟环境中的物体运动和力觉信息,是一种新型的教育教学手段。
    4、看的到,摸到着,怎么实现的呢?
        通过通信接口,与其他设备相连接,通过电机的牵引,带动操控器运动,实现与其他设备的交互作用。通过对设备终端操控器的操作,能实现三维空间中对虚拟物体的操作。同时可以将系统中对作用力的仿真实时的转化成对实际力的反馈,并可以通过其他方式对其进行相应的转化,从而改变力输出的模式。

    5、应用方向
        临床医学虚拟教学培训
        西医方面的虚拟医疗教学培训系统,如虚拟骨科手术,腹腔镜教学培训,虚拟穿刺技术等

  

        虚拟中医针灸仿真教学
        中国传统中医,针刺手法教学,虚拟危险性穴位操作教学,虚拟循穴练习等

        虚拟口腔教学
        口腔学模拟操作,牙齿种植培训等


        虚拟材质检测技术
        服装专业:如衣服材料认知

  


        医疗手术机器人模拟器
        手术机器人模拟教学,如达芬奇手术机器人模拟器

  


        虚拟机械拆装装配
        精密机械拆装人机工效学,如误差碰撞分析,虚拟零部件装配等

        更多行业应用:



      6、中医针灸培训
        中医针灸触觉仿真教学实训系统
        基于虚拟仿真触觉技术的技能培训是目前的一个主流教学发展方向。传统的针刺教学过程中,学员需要经过一定次数的实操练习才能掌握穴位的位置、穴位皮下组成、行针角度、行针力度,速度等信息;现在借助虚拟仿真触觉技术手段,在学习过程中,即可在虚拟场景中认知穴位及行针相关基础信息,为学员实操打定坚实基础。根据传统针刺医学理论的特点和教学需求,建立数字仿真人体穴位模型,设计虚拟针刺触觉仿真教学系统,使其运用于针刺的教学实训,为针刺教学提供一种更直观的反映动态过程的电子解剖学手段。

    7、市场现状
        目前国内虚拟现实行业主要有以下几点:
        1),视觉技术为主,采用U3D及UE4开发平台做底层开发工具。
        2),以做虚拟仿真内容制作,硬件无持续力触觉感觉,仅仅有振动。当前一代的VR控制器在使用时用户“感觉”虚拟对象方面受到很大限制。
        3),有部分研究机构公司及实验室已经开始介入力触觉技术研发工作,但都是采用国外数据引擎工具及实验室自主底层编写而成,无法形成有效的通用性。
        4),多数公司产品都是处于研究课题研究中的某一个部分,比如虚拟现实技术研究,机器人控制研究,力反馈设备操作研究等仅仅是对某项技术单一方面的研究。而针对触觉交互,触觉渲染碰撞检测,计算机视觉整体形成一套产品的不多。
        5),力触觉技术没有形成行业,大多公司及院校处于观望状态。行业内缺少引领行业发展企业及组织机构,市场不活跃,项目少且落地困难。

首页
电话
联系

微信服务号