心脏解剖结构和功能的复杂性和教学实验材料的特殊性,带来的是高昂的教学成本和有限的实验教学场地｡而临床医学本科教育五年制设置的心脏外科专业基础知识教学仅8个学时,其较短的学时和较强的专业特征,再加上心脏外科专业知识在外科学考核部分占比较低,使学生对心脏外科理论知识学习和临床工作丧失兴趣和信心[1]｡在现实教学中,心脏结构复杂,教学学时偏少,学生无法直观和全面掌握活体心脏解剖结构及运行机制,现有教学方法难以达到理想的教学效果｡虚拟仿真技术可以很好地解决这些难题,以教助学､以练带学､以评验学,将现代信息技术融入实验教学项目､拓展实验教学内容的深度和广度､延伸实验教学时间和空间､提升实验教学质量和水平[2]｡

然而,现有系统存在学习人数受限,框架部署模式单一,软硬件要求较高,应用卡顿､闪退､无法复用等问题,没有达到最佳的教学应用效果｡

基于此,课题组基于5G技术搭建仿真平台,构建逼真的教学环境和教学内容,让学生在开放､交互的虚拟环境中进行自主的学习和演练,为其提供更多的实训机会,有效激发学生学习的积极性,取得了较好的教学效果｡

1、基于5G云的心脏解剖虚拟仿真教学系统总体构架

1.1整体架构设计

心脏解剖虚拟仿真教学系统总体构架包括渲染编码层､网络传输层､前端实现层､用户体验层四个层级:渲染编码层主要负责心脏解剖模型的三维渲染和视觉效果的处理;网络传输层负责数据的传输和通信,确保系统能够在不同的网络环境下稳定运行;前端实现层是实现用户与心脏解剖虚拟仿真教学系统交互的直接界面;用户体验层关注的是用户在使用心脏解剖虚拟仿真教学系统时的整体感受｡

该系统在部署和应用上采用“5G云+VR”技术｡在WindowsServer系统环境的服务器后端是基于WiFi6和万兆交换机的高速局域网与5G的互联网传输环境;WiFi6高性能AP设备,在80MHz频宽下有3个不重叠的信道,在终端支持2×2MIMO的情况下其理论带宽最高可达到1.2Gbps,能有效满足现有VR/AR/4K等各类应用对高带宽的需求[3]｡在Web前端可以通过该技术实现实时视频通信进行视频解码,转入HTML5浏览器进行呈现,以VR进行同步操作和视角匹配,让用户建立虚拟现实体验,可以在VR端､PC端､Web端等多端看到虚拟仿真的画面,并能够通过鼠标键盘､手柄､触摸屏等设备进行输入操作,以APIJavaScript编写交互程序模拟输入设备操作｡在构架上以多个GPU(图形处理器)虚拟环境组合的Web交互服务器程序,将GPU虚拟化技术作用于虚拟仿真系统,系统通过预设的程序进行GPU渲染和音视频实时编码,如图1所示｡

图1基于5G云的心脏解剖虚拟仿真教学系统总体构架

在Web前端,需要进行输入操作的虚拟化,以较好地解决延迟问题,并进行GPU编程优化,从而提升其算法的执行效率能力,获取高数量级别的运算速度提升[4]｡对输入设备和程序进行全面适配,在HTML页面运行虚拟仿真系统,多以C++程序编写GPU3D渲染程序,并支持JavaScript语言模拟键盘､鼠标或手柄等输入设备,采用API接口直接读取外接设备的方法,能够达到多种接口类型顺利访问｡基于5G云和局域网的心脏解剖虚拟仿真教学系统设计方案,采用局域网络､5G互联网､Internet终端,学生可以在任何区域通过触摸屏､键盘､鼠标等设备进行学习和实训,以达到随时随地学习的目的,可以实现一对一､一对多等模式的个性化教学,且对终端设备配置和性能要求不高｡

1.2服务器端设计关键技术

要实现心脏解剖虚拟仿真教学系统在5G云下高速运行,在服务器端设计上要攻克三个关键技术,分别是GPU优化策略､视频流实时传输技术和解决延迟技术｡

GPU优化策略是将GPU的瓶颈问题找出并予以解决,能够使优势资源互补达到平衡｡在该系统服务器部署设计上,将交互数据视频流从服务器向终端呈现过程中,从内部结构､硬件接口和软件接口三个维度进行优化,以提升GPU服务器中部署虚拟仿真程序的性能以及GPU计算资源的使用效率[5]｡

视频流实时传输技术是通过建立层次处理功能,能够并行对应模型,利用CPU高并行性去除冗余信息,同时降低编码过程的复杂性,大幅压缩传输文件,应用调速器直接控制视频编码,根据网络数据包缓存进行实时控制,将网络传输和视频编码紧密耦合,提高实时性和传输速率,并保证画质清晰｡

解决延迟技术是采用低延迟多人交互等技术,利用数据差分压缩算法压缩数据,减少网络吞吐压力,扩大多人交互使用范围,解决网络延迟问题[6]｡研究发现,虚拟化技术增大了传输层协议的双向网络延迟[7],用户能够明显感受到网络延迟,而教学资源的VR化,让其体量变大｡如果在教学应用过程中出现延迟､卡顿和不同步等问题,非常影响教学效果｡对引擎UE4的底层中C++编程优化及3D显卡接口优化,以减小渲染占用GPU资源,提高渲染效率,缩短音视频编码时间｡对用户交互产生的信息放置缓冲区进行统一调配,响应多个用户的并发交互请求,从而进一步降低延迟,提升实时交互效果,解决高延迟问题｡

2、心脏解剖虚拟仿真教学系统的构建过程

心脏解剖虚拟仿真系统的构建能够培养学生对心脏解剖结构和功能的掌握及应用能力,并直观地了解心梗后心脏物理活动及心电活动的变化,不仅加强了基础与临床的联系,为以后临床实践工作奠定坚实的基础,同时也充分体现了以虚促实､虚实互补的先进教学理念｡在心脏解剖虚拟仿真系统构建中有五个关键环节:需求对接､数据采集､设计脚本､美术资产制作和交互功能开发｡需求对接是对虚拟仿真项目整体构建思路和教学应用目标重要的前期论证;数据采集是将模型进行数字化匹配,科学严谨还原模型;设计脚本能够更深入地将知识点融入虚拟仿真系统;美术资产制作是将模型可视化呈现,达到1∶1比例仿真;交互功能开发是将应用流程和交互方式设计开发,以达到教学应用的效果｡

2.1需求对接

心脏解剖虚拟教学仿真系统是将抽象的心脏形态､结构及临床相关知识进行形象化､具体化呈现,在教学或培训中能够直观､立体､形象地展示疾病的病理生理及演变过程,能够使用虚拟仿真系统进行心脏解剖相关知识点的学习和模拟实训｡在系统的构建中,需要涵盖三个模块,即课堂学习模块､交互学习模块和智能考评模块｡系统能够设置不同的教学环节,以实现模拟演示和自主训练,并根据实训的结果给出考评分值｡学生可以使用系统平台反复练习,纠错改错,以培养其精准的临床操作思维｡在学生人数要求上,系统需要满足30~35人的同时教学｡

2.2数据采集

心脏解剖虚拟仿真内容制作所使用的方式有两种,即模型数据采集和CT数据采集｡系统融入临床真实案例,采用患者的CT数据,导入医学图像处理软件3DSlicer,并能在患者护理系统中进行诊断信息､标注信息等数据录入,形成XML数据文件｡技术人员必须详细了解心脏教学知识和功能等相关数据后进行虚拟成像和交互设计｡

2.3设计脚本

脚本设计直接影响资源的教学效果和开发效率,需要从系统整体的角度认识脚本设计的重要性[8]｡脚本包括课前知识点预习模块､课中重点知识点讲解分析模块､课后反思实训形成训练报告等｡根据每个模块,逐一对心脏解剖和临床相关知识逐项设计,包括各个知识点的严谨表述､呈现方式､交互形式､先后次序､校准位置等｡如图2所示｡

图2心脏解剖虚拟仿真教学系统知识点脚本模块

2.4美术资产制作

美术资产制作也叫建模｡常用三维建模方式,包括多边形建模､雕刻建模､CAD工业建模､扫描建模,以及程序建模｡其中,雕刻建模和扫描建模在心脏模型的构建中比较常用[9]｡首先,心脏模型数据采集使用数字化人体标本､数字化心脏大体标本､数字化心脏冠脉标本､数字化心脏冠脉各支梗塞标本､数字化人体右侧桡动脉及心脏冠脉支架放置标本等作为预设参数,并通过CT数据提取校正三维数据｡然后,基于DirectX技术进行该项目的开发,该项技术能更有效地创建和管理3D图形和音频｡建模所使用的软件是3DStudioMax,细化则使用在Maya软件,再导入ZBrush软件对心脏模型各部分进行等级细分和细节制作;通过Maya创建颜色､位置和贴图制作心脏模型形态,再通过Photoshop和SubstancePainter软件导入模型､法线和颜色位置贴图进行整体贴图的制作｡最后,导入UnrealEngine4虚拟引擎开发工具测试仿真效果[10],模拟动态功能,以达到仿真的效果(如图3所示)｡模型的每个部分均可以立体化呈现,每个部分既能够单独成像,也可以叠加显示｡模型制作精细程度直接影响学生的学习体验效果｡在该系统构建中,会根据教学需求决定各部分内容制作的精细程度,以达到重点突出,同时兼顾应用效果｡

2.5交互功能开发

该虚拟仿真系统交互功能采用Unity3D进行开发,它提供了直观的操作界面､丰富的插件生态和强大的性能优化能力,可以创建逼真的虚拟环境,设计符合项目需求的交互逻辑,并通过编写脚本实现复杂的交互功能｡首先,导入系统所需的不同格式素材,融入临床案例,进行数据采集､成像设计;然后,通过脚本语言实现对系统内容的控制;最后,形成可执行程序进行打包､合成､输出､发布[11]｡Unity3D提供了多种输入方式的支持,如鼠标､键盘､手柄以及更高级的VR和AR设备,这些都可以用于实现丰富的交互体验｡

该项目设计了不少于10个步骤的交互开发,涵盖基础知识点学习､实验操作､智能纠错等多个环节,学生可以通过每个环节的交互操作,学习相应的内容｡系统最终构建的教学模块,包括自主学习部分､交互学习部分､智能考评部分｡系统涵盖6大块内容､31个知识点,共计10个学时(其中心脏5学时,动脉5学时),内容包括心的位置､心与胸部标志线的关系､心的体表投影､心包､心的外形､心的血管､心的构造､心腔､心包积液､起搏器安装等知识,能够让学生进行自我学习､虚拟操作､模拟演练和个性化考评｡通过多次反复操练,有效解决在现实教学中人体的复杂性和教学实验材料的特殊性,运用VR及智能化教学设备等先进技术手段,将抽象的内容形象化､具体化,在短时间内演示疾病发生及治疗后的表现,形成对比,加深印象,吸引学生注意力,提高学生学习效果｡

图3心脏三维仿真模型——心的静脉

3、心脏虚拟仿真系统在教学中的应用

3.1教学实施

在教学实施中,教师利用该系统将医学基础知识､临床理论及实践横向串联,扩展视觉空间,形成三维立体的直观模式｡该教学系统为课前､课堂､课后全过程应用｡运用心脏虚拟仿真系统教学可以帮助学生掌握基本知识,提高其学习效果,同时还培养学生的操作能力､团队协作能力､发现问题和解决问题的能力[12]｡

课前教师通过在线共享课程平台上传学习资料,如心脏PPT､教案､虚拟现实操作视频､理论测试等,并发布课前预习要求;学生通过在线训练系统学习相关资料,通过在线3D操作系统进行虚拟操作,系统记录学生的学习情况,并形成个人和班级的课前训练报告,包括错误点､训练成绩､训练次数等内容;教师通过智能助教可以查看班级的课前训练报告,根据学生预习情况,准备上课资料｡

课堂教师通过理论讲解与VR示教,在VR场景中加入指引､提示和测试环节,学习方式灵活多变,学生由知识被动灌输转变为主动体验和投入,充分激发其学习兴趣和学习积极性､主动性[13],使学生充分理解､掌握解剖结构之间的毗邻和空间位置关系｡学生通过系统中的预设临床病例,对心脏的检查､临床手术治疗等进行全面了解;教师通过智能助教系统,根据班级课前训练报告学习基线情况,有针对性地进行讲解和示教操作;通过虚拟现实操作,大屏实时显示学生的操作过程和结果｡在虚拟现实设备上,学生可进行自主练习和分组互助学习,同时互相纠错,互相评价,以此有效提高其学习效率;教师可以查看课堂训练报告,进行课堂总结｡

课后学生以闯关模式进行操作训练,可多次反复练习｡系统形成课后训练报告,并对比课前､课后的数据变化,以了解知识技能的掌握情况｡学生也可以学习案例,进行临床手术精准定位､方案设计､手术过程演练等｡课后的拓展部分能够增加学生的知识广度与深度,有助于其加深对理论知识的掌握程度｡

按照该系统的考核要求,学生线上训练次数不低于五次,线上测试成绩不低于85分;学生需完成同伴互助测评四次,并在线下虚拟现实(VR)智能设备上完成训练及考核要求｡

通过应用心脏虚拟仿真系统进行学习,学生能熟练掌握“心脏”的形态结构,熟悉心脏冠脉供血范围,掌握动脉穿刺过程,熟悉心脏冠脉造影､PTCA及支架置入术流程｡另外,该系统提供多种考试模式,预设考试难度､组卷策略､评判规则等,能够全过程记录并进行多维度分析,使教师能够全面了解学生对知识的掌握情况｡

3.2教学效果

本研究以某医学院2020级五年制临床医学专业的120名学生为研究对象,采用随机分配的方式将学生均分为两组:视频组(n=60)与模拟组(n=60)｡两组学生在年龄､性别比例､先前的心脏解剖知识水平及各科考试成绩上均保持均衡,确保组间可比性｡视频组为学生观看心脏解剖相关的教学视频;模拟组为学生利用基于虚拟现实的三维心脏解剖系统进行虚拟仿真模拟训练｡

教学结束后,对两组学生进行统一考试,考试内容涵盖实验原理和实验操作,每项内容占50%权重,满分为100分,以60分为合格线｡

通过对两组学生的成绩进行分析,结果显示模拟组学生考试合格率100%,平均分87.3分;视频组学生考试合格率88.3%,平均分81.6分,模拟组合格率和平均分均高于视频组,如表1所示｡

表1视频组和模拟组学生考试结果

采用独立样本t检验的方法,比较视频组和模拟组学生在成绩得分上的差异,结果如表2所示｡结果显示,参与本次教学的模拟组成绩为(87.30±0.922)分,与视频组成绩(81.60±1.551)分比较,差异具有统计学意义(t=-3.157,P=0.002)｡

通过严谨的随机对照试验设计,结合统计学分析,证明了基于虚拟现实的三维心脏解剖系统作为解剖实验教学方法的一个补充,有助于学生直观､无损地观察心脏的解剖结构､生理功能､运动过程,同时帮助学生深入理解心脏运转机制和各种心血管疾病的病理变化,可以显著提高医学生对心脏解剖外科学及相关临床案例的知识掌握水平[14],极大地激发学生学习的主动性和积极性,并激发其创新意识｡学生在体验形式多样的情境时,不仅为后续课程奠定坚实的基础,也是对理论知识的有益补充[15]｡

4、结束语

互联网､大数据､云计算､虚拟现实､人工智能､5G等科学技术的快速发展,不仅改变了人们的生产生活方式,还改变了学生的学习方式,有效促进了教与学的效率和效果,为高等医学教育注入新的活力｡本研究通过探讨开发基于“5G云+VR”技术的心脏解剖虚拟仿真教学系统并将其应用于心脏解剖教学,使学生能够在沉浸和交互的学习环境中进行学习和实训,不仅解决了传统教学中的诸多痛点,还极大地提升了学生的学习内驱力与实践能力｡随着技术与教育教学的深度融合,创新技术将为人才培养带来巨大潜力,也为高校教学资源开发提供更多的新思路,为医学教育带来更多变革与创新,同时为以后的临床实践工作奠定坚实的基础｡

参考文献:

[1]迟立群,马小龙.PBL教学法在心脏外科临床教学中的应用[J].医学教育管理,2021,7(S1):108-111.

[2]王敏静.新闻传播类专业虚拟仿真实验项目在教学中的应用及反思[J].传播与版权,2023(8):103-105.

[3]刘洋,龚戈勇.5G和Wi-Fi6在数据应用场景的对比研究[J].通信技术,2021,54(4):1010-1014.

[4]文斌.基于GPU编程优化策略及算法的研究[J].电脑编程技巧与维护,2020(10):30-31.

[5]岳梅,张叶江.虚拟现实技术在远程医学教学中的应用场景[J].中国中医药现代远程教育,2020,18(21):43-45.

[6]彭迪,陈黄梓.面向实战的反恐战术训练虚拟系统设计及教学实现[J].实验室研究与探索,2023,42(4):205-209.

[7]符永铨,李东升.边缘计算环境下应用驱动的网络延迟测量与优化技术[J].计算机研究与发展,2018,55(3):512-523.

[8]耿飞,苏航,张甲瑞.虚拟仿真教学资源创作中的脚本设计策略[J].工业技术与职业教育,2022,20(6):36-39.

[9]沈杨.三维建模技术在虚拟现实中的实践研究[J].电脑知识与技术,2023,19(4):103-105.

[10]刘佳,郭婷婷,王艳华,等.医学院校开设虚拟现实课程的教学实践[J].中国医学教育技术,2019,33(1):99-102.

[11]武彦明,夏爱民,蔡迎,等.基于Director开发交互式多媒体展示系统的流程与方法[J].科学技术创新,2017(34):93-94.

[12]韩长菊,刘雪娥,杨晓杰.装配式混凝土预制构件生产虚拟仿真软件在教学中的应用[J].昆明冶金高等专科学校学报,2022,38(1):122-126.

[13]荣康,李祥林,殷志杰,等.VR技术在医学影像专业教学中的应用探索与思考[J].中国继续医学教育,2022,14(23):184-188.

[14]刘佳,娄岩.基于虚拟现实的三维心脏系统在外科解剖实验教学中的应用[J].中国医学教育技术,2021,35(4):449-452.

[15]董文杰,李晓琳,闫艳,等.疫情期间虚拟仿真实验系统在医学微生物实验教学的建设与应用[J].包头医学院学报,2020,36(4):89-91.

基金资助:河南省高校人文社会科学研究一般项目“智能技术赋能的新医科教师数字素养提升的创新机制与实现路径研究”(2024-ZZJH-085);

文章来源:程巍,王红英,娄岩.基于“5G云+VR”的心脏解剖虚拟仿真教学系统的构建与应用[J].中国医学教育技术,2025,39(02):223-228.