摘要:本文提出了一种基于包围跳跃和改进反距离加权(IIDW)插值的光线投射算法,用于医学影像三维(3D)重建。通过包围跳跃技术,减少无效投射光线,并且跳过包围盒(BB)内对图像质量无贡献的空体素,以提升绘制速度。通过IIDW插值技术,代替传统的三线性插值方法,简化插值运算。同时在图像合成的过程中增加中间采样点,以提升三维模型质量。实验结果表明,本文提出的算法既可以提升三维模型的绘制速度,同时也可以提高三维模型的绘制质量。
随着医疗诊断技术的不断发展和人们对自身健康关注度的不断提升,人们对医生的诊断要求也越来越高,因此,医学影像三维重建技术应运而生[1]。
医学影像三维重建技术分为体绘制和面绘制两种方法,但是面绘制重建方法只能生成表面面片,无法传递重建模型的内部信息。因此,为了清楚地展示人体内部组织器官,本文采用体绘制方法对二维医学影像进行三维重建[2]。体绘制经典算法有光线投射算法、错切—变形算法、溅射算法、频域体绘制算法等,其中光线投射算法重建模型效果最好,虽然该方法原理简单,易于实现,但是在临床应用与基础研究中,传统光线投射算法的绘制时间往往不能满足临床医学诊断实时性的要求,模型质量也有待提高。
目前,对于光线投射算法的优化成为了主流方法。Deakin L等人[3]提出空体素跳跃方法,该方法能够一次跳过多个空体素块。王逸夫等人[4]提出了一种简化重采样插值中三线性插值复杂性的光线投射算法,并结合了空体素跳跃法,保证了三维重建的模型质量,提升了算法效率。何楠等人[5]采用预积分分类方法,使算法满足奈奎斯特采样定律,提高了最终成像质量和插值运算的效率,加速绘制速度。徐超清等人[6]利用自适应划分算法加强极值点区域的绘制,引入预积分光照算法,增强绘制的局部细节。黄飞鸿[7]提出了一种基于轮廓提取的模型简化方法来提升渲染效率与重建速度,还能保持模型的外部特征。李航等人[8]通过二维最大商阈值分割,采用包围盒(bounding box, BB)划分技术,提高算法绘制速度。在上述方法的启发下,本文提出一种基于包围跳跃和改进的反距离加权(improved inverse distance weighted, IIDW)插值的光线投射算法,既可以提高三维模型的绘制速度,又可以提升生成模型的绘制质量。
1、研究方法
1.1传统光线投射算法
光线投射算法基本原理是,从屏幕的每一个像素点沿视线方向发出射线,在射线穿过医学体数据的过程中,以预先设定的步长进行等距采样,然后通过传统的三线性插值的方法计算出各采样点的颜色值与不透明度值。随后,该算法通过从前向后或者从后向前的采样点数据合成,计算出屏幕上所有点对应光线的颜色值,这样就可以得到完整的三维模型[9,10]。
光线投射算法主要分为4个步骤:医学体数据分类、不透明度值、颜色值计算、插值重采样和采样点数据合成。本文利用包围跳跃技术,减少投射光线,跳过BB内对图像质量无贡献的空体素,提升绘制速度。通过IIDW插值替换传统的三线性插值,简化插值运算,并在图像合成的过程中增加中间采样点,提升三维模型质量。实验表明,本文提出的算法既可提高绘制速度,又可提升三维模型的质量。
1.2 BB和光线跳跃技术的结合
1.2.1 BB技术
由于体绘制光线投射算法需遍历整个体数据场,因此会限制三维模型绘制速度。但实际上,体数据场中的许多体素以及射线对最终的三维模型没有任何作用,却也需要进行重采样以及插值运算,分别称为空体素及无效射线。因此,减少空体素以及无效射线成为光线投射算法加速的热门研究方向。因此,BB技术被引入了光线投射算法。常用的BB算法包括球(sphere)BB,轴对齐BB(axis-aligned BB,AABB),有向BB(oriented BB,OBB)等[10]。其中,OBB相对于AABB和球BB而言,在医学影像三维重建方面具有更好的紧密型与包裹性,能够有效减少投射光线的数目与空体素,因此本文采用OBB加速光线投射算法。
OBB是一种平行六面体BB,可以很好地适配各种类型的医学体数据。构建OBB的核心问题在于找到OBB的最佳方向,并且需要计算出OBB的大小和中心位置。其中,BB的最佳方向以及大小一般是通过计算协方差和均值来得到。首先可以将三维模型视为一个三角面片合集,在对OBB进行计算时,假设该三角面片合集的个数为n,第i个三角面片的顶点矢量为pi,qi和ri,则OBB的中心位置m为
,实际上每一个矩阵的规格都是3×1的向量,如
。随后,需要通过数值计算的方法,将协方差矩阵Cjk解出特征向量,并将其进行单位化。由于Cjk为正交矩阵,因此这些特征向量均两两正交,并且可以作为OBB的正交方向轴。最后,需要对包裹的医学体数据场做投影处理,计算出其在各方向轴上的投影区间,这样就可以得到OBB的尺寸数据。图1为OBB的二维示意。
图1 OBB示意
OBB技术虽然减少了外部光线和空体素,但是BB内部仍有较多空体素会限制算法运行速度,因此本文采用光线跳跃与包围盒结合的方法来去除BB内部空体素的影响。
1.2.2包围跳跃技术
本文将传统的OBB技术进行改进,将BB和光线跳跃技术相结合,对光线投射算法进行加速,将该方法称为包围跳跃技术。光线跳跃技术是一种使用更少的投射光线,且尽可能只对不透明的有效体素进行重采样的方法,以减少重采样计算的时间,提升三维建模的速度。本文首先选择适当的OBB,将体数据场包裹,其次设置光线向前跳跃和向后跳跃的步长大小,其中,设定向前步长为4个体素,向后步长为8个体素。当射线穿入BB,遇到空体素时,继续按照向前步长跳跃4个体素。当光线遭遇到一个非空体素时,首先进行重采样处理,然后光线向后逐体素进行重采样插值运算,当采样体素的数量等于向后步长的大小时,结束向后移动,然后光线返回之前的非空体素,继续向前投射,直至光线合成的不透明度达到1或者光线离开BB,包围跳跃技术具体过程如图2所示。
图2包围跳跃技术示意
虽然包围跳跃技术能够尽可能地跳过空体素,实现光线投射算法的加速,但由于在重采样插值过程中,算法采用传统的三线性插值方法,运算量仍过于巨大,因此,本文采用IIDW插值算法进一步提升绘制速度,提升模型质量。
1.3反距离加权算法的改进
1.3.1反距离加权插值
由于传统的三线性插值在光线投射算法中占用时间比重最高,因此本文采用反距离加权(inverse distance weighted, IDW)插值[11]方法提升建模速度。IDW插值以原始数据点与采样点之间的距离为权重,并且该算法认为任一个近邻的原始数据点都会对重采样点产生一定的影响,该影响是由距离的大小来决定的,距采样点距离越大,则该邻近原始数据点的权重越小,即距离与权重大小呈反比关系。如图3所示,设Ai(xi,yi,zi),i=1,2,3,…,n为原始数据点,A(x,y,z)为重采样点,f(Ai)为原始邻近数据点的颜色值与不透明度,f(A)为采样点的颜色值C与不透明度a,则根据IDW插值方法的原理,f(A)可表示为
f(A)=∑�=1�wi×f(Ai) (3)
其中,wi为原始邻近数据点Ai到重采样点距离的权重,并且所有权重相加值为1∑�=1�wi=1 (4)假设di为原始邻近数据点Ai到重采样点的欧氏距离,则可以表
则原始邻近数据点Ai到重采样点距离的权重可以表示为
图3 IDW插值示意
通过IDW插值方法,简化了重采样插值过程中插值公式复杂程度,提升了光线投射算法效率,并且可以计算出颜色值C和不透明度a。但是这种方法只能提升体绘制速度,对图像质量并无提升,因此本文又对IDW插值做出改进,以提升图像质量。
1.3.2 IIDW插值
由奈奎斯特采样定律可知,只有当采样频率大于原始最大频率的两倍时,信号才能被完整的重建,而在实际三维重建中,奈奎斯特采样频率不一定会满足要求,因此会造成三维重建模型中的锯齿与断层现象。因此,本文提出IIDW插值算法,以增加采样点数量,进而提升模型质量,其示意如图4。
该算法的流程包括,首先通过IDW插值算法计算出各重采样点的颜色值和不透明度值,设相邻采样点的颜色值是Ca,Cb,不透明度值是aa,ab,在二者之间插入一个新的采样点的颜色值
图4 IIDW插值示意
通过增加IDW插值过程中的中间采样点,满足奈奎斯特采样定律,消除锯齿与断层现象,提升最终三维模型质量。但因该方法增加了中间采样点数目,必将增加合成运算速度,因此,本文采用从前向后的采样点合成方法,并结合包围跳跃和IDW技术,能够在提升模型质量的同时,保证三维建模的速度。
1.4基于包围跳跃和IIDW插值的光线投射算法
本文提出的算法包括5个步骤:1)通过OBB减少投射光线的数量;2)通过光线跳跃技术跳过包围盒内的空体素,减少重采样插值的计算量;3)利用式(3)所示的IDW插值计算颜色值和不透明度值;4)利用式(7)增加中间采样点,对IDW技术进行改进;5)通过从前向后的采样点合成方法,当不透明度等于1或者光线投射出BB时结束合成步骤,从而得到目标完整的三维模型。
2、实验结果与分析
实验编译环境为Windows10系统下的Visual Stduio 2019,服务器CPU是AMD RyzenTM7 4800H ,计算机内存为16 GB,采用的显卡为NVDIA GeForce GTX 1650 4 GB。本实验采用人工合成数据确定模型参数,并进行客观评测,具体为一个圆锥体,包含20张切片图像,格式为PNG,层间距为0.75 mm,像素为1 100×850。此外,使用真实医学图像数据进行主观评测,验证提出算法的可行性和有效性,真实数据来自北京安贞医院的髋关节CT影像,图像为DICOM格式,每幅图像大小为512像素×512像素,层间距0.7 mm,图像数量共411张。
2.1客观评测指标
本文采用均方误差值(MSE)和结构相似性(SSIM)2个客观评价指标对三维模型的质量进行客观评测,MSE的计算公式如式(8)所示
式中M,N分别为图像像素的列数和行数;f1(x,y)和f2(x,y)分别为在同一视角下原始图像和重建的3维图像的3个通道的像素值,并且MSE的值越小,说明三维重建质量越好。
SSIM计算如式(9)所示
式中 μx和μy分别为两幅进行对比的图像三通道的像素均值,σx和σy分别为两图像的方差,σxy为协方差,并且C1=(K1L)2和C2=(K2L)2 ,一般而言,K1=0.01,K2=0.03,L=255。SSIM值的范围为0~1,并且SSIM越接近于1,表明重建模型的质量越好。
2.2实验结果与分析
为了客观评测提出算法的有效性,实验的数据首先采用人工合成三维圆锥图像,传统光线投射算法、仅采用包围跳跃技术的光线投射算法,仅采用IDW插值方法,仅采用IIDW方法,以及本文提出方法的3D重建结果分别如图5(b)~(f)所示。客观评测结果如表1所示。其中,MSE和SSIM均为三维重建10次的平均值,平均绘制时间为图像重建10次的平均时间。
图5重建模型的实验结果
表1几种算法重建图像的质量与速度对比
由表1和图5的实验结果可以得出如下结论,在圆锥三维重建的过程中,通过IDW插值方法代替传统复杂的三线性插值,可以将重建速度提升22 %。而对于IIDW插值而言,因为引入了中间采样点,所以略微拖慢了重建速度。由于包围跳跃技术可以跳过空体素,因此将光线投射算法速度提升15 %,而本文提出的基于包围跳跃和IIDW插值的光线投射算法,可将传统的光线投射算法速度提升32 %。对于图像质量而言,因为圆锥切片的二维图像数据量较少,使得几种算法重建出的三维圆锥图像堆叠感明显,与圆锥原图相差较大。在视觉感官上,IIDW方法以及本文提出的方法重建圆锥模型更加清晰。在客观评测指标评价中,通过本文提出的方法生成圆锥图像的MSE小于传统光线投射算法,圆锥SSIM值大于光线投射算法,表明了本文提出方法可以提升图像质量。
此外,本文还对真实的临床医学影像进行了对比实验。图6为真实髋关节MRI三维重建结果,所有实验结果均是在同样的视角、大小比例下获得。
图6髋关节重建图像比较结果
由图6的对比结果可知,当近距离观察三维模型时,IIDW插值方法和本文提出的基于包围跳跃和IIDW插值的光线投射算法,纹理细节相比传统算法更清晰,改善了传统光线投射算法重建模型中的锯齿以及分层现象,成像效果较好,更能满足临床医学诊断的要求。
3、结 论
本文提出了一种基于包围跳跃和IIDW插值的光线投射算法。该方法通过包围跳跃技术和IDW插值提升建模速度,通过增加IDW插值中的中间采样点来提升模型质量。对比实验表明:本文提出的改进方法既能提高最终的成像质量,同时没有明显降低算法的运算速度;既能提高最终的成像质量,又同时提升了绘制速度。
参考文献:
[1]郑承绪,姚剑敏,严群.基于序列帧的三维人体重建[J].传感器与微系统,2022,41(12):33-37.
[2]王栾栾,严群,姚剑敏,等.基于SMPL模型人体三维重建算法研究[J].传感器与微系统,2022,41 (10):59-63.
[4]王逸夫,王瑜,邢素霞,等.基于改进光线投射法的冠脉图像三维重建[J].中国医学物理学杂志,2021,38(4):431-435.
[5]何楠,杜宏伟.一种高效的光线投射体绘制优化算法[J].航天医学与医学工程,2015,28(4):265-269.
[6]徐超清,刘义鹏,马祥音,等.自适应最小梯度夹角预积分光照算法[J].计算机辅助设计与图形学学报,2016,28(1):41-49.
[7]黄飞鸿.基于轮廓提取的建筑层次细节模型简化方法研究[D].成都:电子科技大学,2017.
[8]李航,孙景文.最大熵阈值分割和包围盒划分的三维重建算法研究[J].机械设计与制造,2017,1(12):187-194.
[9]张盛.一种基于边界调整和纹理融合的三维模型纹理映射算法[D].上海:上海交通大学,2015.
[10]方军,房晓阳.一种高效的光线投射体绘制算法[J].计算机技术与发展,2014,24(8):67-70.
基金资助:北京市自然科学基金—北京市教育委员会科技计划重点项目(KZ202110011015);
文章来源:宫宁,王瑜,肖洪兵,等.基于包围跳跃和改进反距离加权插值的光线投射算法[J].传感器与微系统,2024,43(05):137-140.
分享:
原发性干燥综合征(p SS)是一种以唾液腺、泪腺功能低下为主伴其他多器官受累症状为特征的自身免疫性疾病。随着对干燥综合征病人心血管功能的深入研究,发现干燥综合征病人的心脏也会受到不同程度的损害,常见的心脏损害有左室舒张功能减低、肺动脉高压、心包积液、腔室改变、瓣膜损害等,而这些损害经常被临床所忽略。
2024-08-12急性冠状动脉综合征(acute coronary syn⁃dromes,ACS)是一种常见且严重的心脏病急症,其主要由冠状动脉内的不稳定斑块破裂导致血栓形成而引发。尽管现代医学手段能够及时开通阻塞的血管,但未阻塞血管中的易损斑块仍对患者长期健康构成潜在威胁。因此,对冠心病患者易损斑块的动态评估一直是心血管研究的重要课题。
2024-08-01在全球范围内,乳腺癌已成为威胁女性健康的头号杀手。近年来,随着乳腺癌筛查的推广和医疗技术的完善,T1期(肿块最大径≤2 cm)乳腺癌检出率明显提高。虽然T1期乳腺癌发生腋窝淋巴结(axillary lymph node, ALN)转移较少见,但是否伴发ALN转移仍是直接影响患者手术方式、术后决策及预后评估的关键因素。
2024-07-15特发性颅内压增高(idiopathic intracranial hypertension, IIH),也称为良性颅内压增高或假性脑瘤,其特征是在缺乏可识别的结构性异常原因的情况下,脑脊液(cerebrospinal fluid, CSF)压力增加。诊断金标准是腰椎脑脊液穿刺有创测量。近年来提出多种基于影像学的无创性方法评估颅高压,但缺乏彼此之间对比以明确各自优势和不足。
2024-07-09团队以医疗影像智能分割和指标分析为出发点,独创了基于DenseNet和CSRNet卷积神经网络的深度学习算法,具有将心脏影像引入端到端深度学习框架、局部图像感知等优势。结合RC算法实现了心脏三维重建,建立了基于MRI图像数据与3D数据库的可变模型,以可变参数为基础,跟踪心脏边界信息动态构建三维立体影像。
2024-06-20卵圆孔是胚胎时期的生理性通道,个体出生时左心房的压力会出现升高,肺部阻力会明显降低,该情况下卵圆孔会自动闭合,最终形成房间隔[1]。而临床数据显示,约有1/4的成年人会伴发卵圆孔未完全关闭,即卵圆孔未闭[2]。常人的左心房压力较右心房压力稍高,但因卵圆孔维持闭合状态,故而不会出现分流现象,但卵圆孔未闭者则会因左右心房压力的差异出现分流,导致血液自右心房向左心房流动,该现象被称为右向左分流(RLS)[3]。
2024-05-28随着医疗诊断技术的不断发展和人们对自身健康关注度的不断提升,人们对医生的诊断要求也越来越高,因此,医学影像三维重建技术应运而生。医学影像三维重建技术分为体绘制和面绘制两种方法,但是面绘制重建方法只能生成表面面片,无法传递重建模型的内部信息。
2024-05-11膝关节滑膜炎(KS)指滑膜受刺激后发生炎症,使得其吸收、分泌液体失调而发生积液所致,病变多样,均可致患者出现滑膜腔积液、滑膜增厚、滑膜结节形成,可致患者出现膝关节疼痛、肿胀,严重时会出现功能障碍[1,2]。若能早期准确诊断KS,指导临床尽早治疗,对阻碍病情进展、减轻患者病痛具有积极意义。
2024-04-25微创穿刺置管引流治疗脑出血,是外科治疗出血性脑卒中简单有效的方法,在脑出血治疗中应用广泛[1,2,3,4,5,6,7,8,9,10,11]。作者在术后CT影像发现部分患者有细小骨屑随引流管进入颅内,其对临床治疗、预后的影响及意义目前国内外鲜有研究,笔者特回顾本院105例患者的CT影像,分析骨屑进入颅内的深度、分布等影像表现与临床治疗、预后有无何相关性,结果供相关专业临床医生参考。
2024-04-25吸烟作为威胁全球死亡原因的主要原因之一,近些年吸烟造成的死亡人数也在持续升高,也造成了全球一个严重的疾病危害,然而,这个危害却是完全可以预防的,并已在预防方面取得一定的进展。研究调查发现,中国现有3.5亿烟民,在这中间却包含了1400万年轻吸烟者。青春期阶段是大脑发育最关键的时期,在这个阶段吸食尼古丁会对神经生理以及大脑结构产生变化。
2024-04-09人气:4785
人气:3924
人气:3089
人气:2522
人气:2339
我要评论
期刊名称:传感器与微系统
期刊人气:3857
主管单位:中国电子科技集团公司
主办单位:中国电子科技集团公司第四十九研究所
出版地方:黑龙江
专业分类:科技
国际刊号:2096-2436
国内刊号:23-1537/TN
邮发代号:14-203
创刊时间:1982年
发行周期:月刊
期刊开本:大16开
见刊时间:1年以上
影响因子:3.316
影响因子:0.281
影响因子:0.629
影响因子:0.000
影响因子:0.000
400-069-1609
您的论文已提交,我们会尽快联系您,请耐心等待!
你的密码已发送到您的邮箱,请查看!