台湾5G实现智能医疗再添新应用。国防医学院三军总医院(简称三总)与中华电信、佐臻联手,今天(3/20)对外展示一项达文西手术3D AR远程教学观摩应用,让学生或医生通过AR眼镜,以第一视角观摩学习手术过程,提高对手术细节、关键的理解。
位于台北市内湖地区的三总去年在中华电信协助之下完成5G专网,为发展5G应用,该院与中华电信、佐臻合作开发达文西手术3D AR远程教学观摩应用,结合5G专网、AR视频协作平台,以及AR眼镜,试图为医学教育带动沉浸式学习的新应用。
达文西手术是一种微创、高精密度手术,被视为腹腔镜手术的高端版,手术台由机器手臂执行,手术医师位于手术机台前进行操控,通过光纤网络连接手臂与机台,医师在机台前,通过机器手臂的高分辨率3D立体手术图片,根据判断进行手术。传统上,手术画面以2D直播,供学生及医师观摩学习。
三总今天展示的达文西手术3D AR远程教学观摩应用,是将达文西手臂的左、右讯源,经过2D转3D图片处理后,由计算机送至5G路由器、5G天线,经过5G专网设备,包括MEC边缘运算上的AR视频协作平台,将3D图片送至演讲厅或教室的5G天线、路由器,送至计算机由指导医师解说,另方面也能送到5G手机,通过AR协作App,让学生戴上AR眼镜观看第一视角的3D成像手术画面。
通过5G手机接收AR协作平台的画面,医学院学生从AR眼镜中观看到手术的第一视角3D画面,相较一般手术2D直播画面,学生表示,可感受到手术过程中人体内的深度感:
三总实际展示以达文西手术进行子宫肌瘤切除手术,将手术画面通过5G专网、AR视频协作平台,让学生戴上AR眼镜,看到第一视角的3D立体手术画面,相较于手机直播2D画面,学生从3D AR的沈浸画面里,可感受到人体内器官的深度感,在过程中,指导医师或教授也能在画面上标示出病症及建议处理方式,提高学习效率。
三总人工智能物联网中心首席执行官暨国防医学院部定副教授方文辉表示,不只通过达文西手术输出手术画面图片,指导医师的从旁解说,让学生能获得更好的知识传递。除了手术画面结合5G、AR提供新的学习体验,目前达文西手术的手臂及操作机台之间是以光纤连接,未来随着无线通信发展,希望能以无线取代光纤,例如手术操作机台设在台北,达文西手术台设在台东或偏远地区离岛,以实现远程手术治疗的目标。