摘要:数字图像处理技术和微电子集成电路的飞速发展,使实时动态生物医学成像成为可能.生物医学动态成像的关键是高的通讯带宽和快速的数据处理能力,FPGA即现场可编程逻辑门阵列,为数字图像实时处理系统在算法、系统结构上提供了新的思路与方法.文中首先简单介绍FPGA的概念、特点及其发展历程,详细对比FPGA与通用处理器之间的性能指标,然后重点介绍常规生物医疗成像技术原理和FPGA在医疗领域高速成像技术方面的研究和应用情况,最后对FPGA在实时成像方面进行总结和展望.
加入收藏
随着医疗诊断方法的不断迭代和融合,非介入式治疗等需求极大地推动了生物医学成像技术的飞速发展.为实时得到信息丰富的结构和功能图像,对图像数据的采集、传输、存储、图像的多维重建、图像分割和图像融合等技术提出了更高的要求.当前,尽管图像处理算法和硬件运行速度有了飞速发展,但是图像处理的时效性仍然是其限制的瓶颈,实时图像处理通常涉及到大量的重复运算,需要很高的数据采集速度和很高的传输带宽.这对基于传统应用而设计的通用微处理器,如专用集成电路ASIC和数字信号处理器DSP而言,无论是开发复杂度还是研发投入无疑都是巨大的挑战[1,2,3].随着微电子集成技术的理论和工艺突破性的进展,FPGA的出现为数字图像实时处理在算法和系统结构上提供了新的思路和方法.由于图像中的每一个像素单元都可以实施单独重复操作,可以直接映射到FPGA的并行架构中,由硬件直接实现算法,可以极大地加速图像数据的运算.对于底层图像处理的庞大数据量,以及传输带宽的限制,可以通过并用多块FPGA以及增加每块FPGA的流水深度来满足需求,故以FPGA作为生物医学图像处理芯片的性价比非常高.另外,FPGA可以在线进行重构配置,易于扩展、维护和升级,人机交互更具人性化[4].因此,FPGA非常适合应用于实时信号处理场景,能够大大提高图像数据的处理能力,满足产品的实时性需求[5,6]2009年Shirvaikar等[7]分别比较了基于FPGA和DSP实现二维提升的小波变换算法效率,实验结果证明FPGA在时间执行、功耗和硬件利用率等方面均优于传统DSP处理器.
1、FPGA概念、性能及其发展历程
1.1FPGA概念及特点
经过进一步完善和发展PAL、GAL、CPLD等可编程器件,现场可编程门阵列FPGA以一种半定制电路亮相于世,既解决了传统定制电路的不足,又有效地克服原有器件门电路数有限的问题[8].它由LCA逻辑单元阵列构成,内部分为可配置逻辑模块CLB、输入输出模块IOB和内部连线3个部分[8,9,10].其主要特点有:
a.FPGA可做ASIC电路中的试样片,用户不需要流片生产,就能得到满意的母片;
b.FPGA有丰富的IP软硬核,开发环境多样,支持VHDL、C、Matlab等语言;
c.FPGA内部有丰富的布线资源、存储资源和高速的收发器;
d.FPGA是ASIC电路中研发投入最低、开发设计周期最短、投资回报率最高的器件之一;
e.FPGA采用反熔丝技术,集成度高、功耗低、安全性高、通用性强,兼容CMOS、TTL电平;
f.FPGA时序难以规划,不能处理多事件,不适合条件操作,成本偏高,不适合大规模使用.
1.2编程逻辑器件的发展历史概述
随着行业的日新月异,市场对于传统数字集成芯片提出了新的需求,而且伴着产品的小型化以及系统复杂程度的提高,所需通用数字集成电路的数量呈爆炸性增长,要求电路的集成度高,导致散热、电磁兼容等可靠性难以兼顾.此外,现代产品的迭代更新频率高,一个产品需要快速的进行设计、生产或者升级以满足新出现的功能需求;然而,对于采用固定的数字集成电路设计的系统来说即意味着需要重新设计和重新布局,致使资源的浪费.因此,系统设计师们希望能够设计现场可调试的ASIC芯片,并且可以立即转化成产品.于是,出现了现场可编程逻辑器件(FPLD).其中,现场可编程门阵列(FPGA)和复杂可编程逻辑器件(CPLD)应用最广泛[8,9,10,11].
70年代的可编程逻辑器件可以分为可编程只读存贮器PROM、紫外线可擦除只读存贮器EPROM和电可擦除只读存贮器EEPROM三种[8].由于工艺的限制,运行速度低,它们只能胜任简单的数字逻辑功能.80年代初,可编程芯片在结构上进行了改进,出现了可编程逻辑器件(PLD),这一阶段主要有PAL和GAL等产品,它们能够实现各种数字逻辑功能.典型的PLD基本单元由“与”门和“或”门阵列构成.理论上,任意一个组合逻辑都可以用“与-或”表达式来描述,所以PLD能以大量的乘积和的形式完成任意组合逻辑功能[9,10,11].早期的PLD器件虽然可以实现速度特性较好的逻辑功能,但其粗糙的内部结构也使它们只能实现较小规模的集成电路.为了弥补这一缺陷,20世纪80年代中期,Altera和Xilinx公司分别推出了扩展型CPLD和类似FPGA的标准门阵列,如1984年Altera推出首块EP300、1985年Xillinx公司推出首块XC2000.这两种器件兼容了通用逻辑阵列和PLD的优点,它们都具有体系结构和逻辑单元集成度高、通用性极强等特点,可实现较大规模的电路[12].相比其他ASIC,它们又具有设计生产快、品质稳定、无需测试以及可实时在线检验等优点,因此被广泛应用于芯片的原型设计中[13].如今,大规模和超大规模数字集成电路的产品必须应用到FPGA和CPLD器件.现阶段的FPGA集成了可编程逻辑控制器PLC、可编程IO、ETHERNET端口和PCIE总线接口等,内嵌DSP、嵌入式RAM和专用硬核等模块;在工艺制程上,如Xilinx的7系列FPGA采用28nm工艺制程、UltraScale采用20nm工艺制程、英特尔-Altera的Agilex采用10nm工艺制程,每一代工艺的可用资源,都比上一代翻了一倍,系统速度也达到500MHz以上,无论是规模容量,还是性能都有质的飞跃;软件开发平台上,除了Xilinx的Vivado、英特尔-Altera的Quartus,还兼容Matlab、Labview-FPGA等开发平台;语言支持Verilog、VHDL和C语言编程等,直接面向客户,设计更便捷灵活[14,15].
综合来说,FPGA芯片是提高系统集成度、可靠性的最佳方案之一.目前国内外FPGA的种类很多,如Xilinx公司有针对连接性进行了I/O优化的Partan系列,具有最高的I/O与逻辑单元比;同时,拥有最佳单位功耗性能和高带宽的Artix-7系列和系统优化的Zynq-7000系列[16];英特尔-Altera公司的Cyclone系列满足低功耗、低成本设计需求;Arria系列拥有丰富的内存、逻辑和数字信号处理(DSP)模块特性集,以及高达25.78Gbps收发器的卓越性能;而Stratix系列则具有高密度、高性能和丰富的IO特性,可实现更多功能,最大程度地提高系统带宽[17].国内半导体行业也是百花齐放,如目前国内最大的集成电路设计上市公司北京紫光国芯、世界前三大FPGA和CPLD制造供应商的西安智多晶微电子、拥有自主知识产权的上海遨格芯微电子、只供应军方的上海复旦微电子、定位中高端的广东高云等等.国内外FPGA产品种类丰富,功能齐全,能满足各个应用场景的需求[15,18].未来FPGA的发展趋势将向更高集成度、更高频率带宽和更低成本的方向发展.实现超低电压、超低功耗、片上可编程系统、动态可重配置等功能.
1.3FPGA与不同体系结构性能对比
众所周知,通用处理器已进入后摩尔时代,而Web服务规模和深度学习却在指数级增长.后智能时代的到来,5G通讯、智慧城市、无人驾驶等行业相继兴起,要求这些用于加速任务的定制硬件可被重新编程来执行不同的计算任务.FPGA作为一种硬件可重构的体系结构,顺应时代发展需求,近年来迅速在华为、微软、阿里、百度等公司的数据服务中心大规模部署,提供强大的计算能力和足够的灵活性[19](图1,表1).图1分别比较了FPGA、ASIC、DSP等算力和能效,表1分别比较了CPU、GPU和FPGA在流式计算任务和密集型计算任务中吞吐量、延时、功耗、灵活性4个指标[20].FPGA全都表现优异,FPGA比CPU甚至是GPU性能指标优异的根本原因是无需指令、无需共享内存的体系结构带来的先天优势.CPU属于冯·诺依曼结构,基本流程包括取指令、译码、执行,都需要共享内存,而共享内存就需要做访问仲裁,任务中断时既要保存当前状态还要需要进行局部访问,每个执行单元必须配有一个单独的缓存,这就要求维持执行任务间缓存的一致性.而对于保存状态的需求,FPGA中的寄存器和片上内存(BRAM)有属于各自的控制逻辑,无需额外的仲裁和缓存.对于通信的需求,基于查找表的FPGA每个逻辑单元的功能在重编程(烧写)时就已经确定,不需要指令和共享内存来通信,因此具有低延时和不必要的额外消耗的优势,同时FPGA拥有数据并行和流水线并行结构,而GPU由于流水线深度受限几乎只有数据并行,FPGA通过牺牲面积换取速度,极大地提高吞吐量和数据带宽[21,22,23].
图1不同体系结构性能对比[20]
表1不同体系结构不同计算任务参数对比[20]
综上所述,FPGA在能效、算力、吞吐量、延时和灵活性上表现突出,其无需指令和共享内存的先天优势以及其流水并行和数据并行的结构,超级适合于流式计算型任务和通信密集型任务.在算法上,Asano等[24]分别比较了FPGA、GPU和CPU在二维滤波、立体视觉和k均值聚类算法上的处理效率,结果表明GPU比CPU慢,CPU的性能是FPGA的1/12~1/7;在FPGA中,通过并行处理两倍的像素,可以使性能提高一倍.因此,FPGA适用于实时图像数据和算法处理.
2、FPGA在生物医学成像中的应用
2.1生物医学成像技术概述
生物医学成像包含生物光子学成像和医学成像两个部分.医学成像主要是研究人体或者器官的宏观成像,而生物光子学成像则主要是研究生物组织或者细胞的微观结构图像.它们都要涉及到图像采集、传输、存储、重建、显示和解读等一系列过程.一般地将其分成图像信息获取和图像处理两部分.前者指图像的形成过程,包括成像原理、成像设备、成像系统分析等内容;后者指对获取图像的处理,包括显示、传输、存储、解读等内容[25,26].处理后的生物医学图像能以静态图片或动态视频的形式展示机体(组织、细胞)内部各组织器官(细胞、细胞器)的解剖结构形态及其功能,具有直观、形象和信息量丰富的特点,在临床诊断和生物学研究中占有重要的地位.根据生物医学成像技术的不同,主要可以分为X射线成像(CR、DR、DSA)、计算机断层扫描(CT)成像、核磁共振成像(MRI)、超声波扫描成像和光学成像等[27,28].而FPGA技术在这些成像中有着广泛地应用.
2.2X射线摄影成像(CR、DR、DSA)
近年来,随着集成电路技术和数字图像处理技术的高速发展,传统的以胶片作为介质记录图像已被各种新型数字化X射线成像技术所取代,如X射线计算成像CR、数字化X射线成像DR、数字减影血管造影成像DSA等[29,30].其主要成像原理为一束X射线投射到具有不同穿透性的人体组织上衰减后打在平板探测器系统上,探测器将接收到的X射线光子转换为与入射粒子能量成正比的电信号,经放大并转换到数字处理系统中保存,以产生X射线图像强度的精确数字表示[31](图2).该系统具有操作简单、采集动态范围大、完全实现数字化存储、传输和管理、极大地便于后续的图像处理操作等优点,但时间分辨率低、成像速度慢、不能实现动态成像、采集图像为二维、无立体感、同时也存在辐射等缺点.
图2数字X射线探测器信号链
传统X射线二维影像利用X射线的穿透作用、荧光效应和化学反应等作用,以胶片或感光屏为接收媒介,使得穿过具有不同衰减系数人体组织的X射线投射出不同密度二维图像在胶片或感光屏上.其中,溴化银是决定胶片影像分辨率的关键因素,故其分辨率只能达到分子颗粒级,而且传统方式在观察透视影像时必须连续曝光,从而增加了受检查者的辐射量,降低了X射线使用效率[27,32].数字X射线摄影利用电子技术,通过光电探测器将作用于人体后的X射线光信号转换为数字信号,同时传输给计算机以矩阵形式存储并处理,最后重建成像.其分辨率主要由光电探测器决定,可达数百微米,远高于传统的感光屏-胶片系统.并且数字X射线摄影得到的图像可以进行各种后处理,包括影像的显示、调阅和存贮,可实现数字网络化,但是受限于硬件处理速度,无法实时成像[29,33].针对这些问题,国内外各研究机构相继开发了不同的探测器、图像处理算法和系统.为了同时适应强同步加速器光束和高读出速率的检测设备,Berry等[34]在2003年报道开发了基于FPGA的Rapid2(高速光子计数成像)系统,实现128个通道分辨1024个峰值,每个通道都有一个可编程增益放大器(PGA),可以调整前置放大器的信号输出,以匹配ADC的全动态范围.通过FPGA内置数字信号处理器处理ADC原始数据,并与另一块FPGA通信确定数据的有效性,极大地提高分辨率,同时计数率还提高了3个数量级.但是,探测器和波束线响应限制了整个系统的速度,还有待进一步提高.Ponchut等[35]描述了基于并行读出图像采集PRIAM板,该板使用FPGA在100MHz时钟频率并行读出端口,实现快速FIFO和可编程门阵列,FIFO16位输出端口连接到FPGA的输入寄存器,FPGA按顺序将FIFOs读入多路复用器.然后通过一个查找表(LUT)将多路复用的像素数据以栅格格式重新排序,并将每个像素的计数器伪随机码转换为二进制编码,同时校正其计数值,可以在不到0.3ms的时间内同时读取多达5条Medipix2(一种光子计数读出专用集成电路,具有256×256像素、55mm间距基于光子计数像素阵列的X射线成像多芯片面积探测器),系统测试运行速度达到1400帧/芯片/秒,极大地满足了临床应用的需求.
2.3计算机断层扫描
X射线计算机断层扫描成像(X-CT),通过X射线束围绕受检者某一断层扫描,测量不同角度下断层对X射线的衰减结果,然后利用计算机高速运算能力和重建算法,重建该断层的图像.图3展示了整个CT扫描系统基本架构,它由多个模块组成.其中,光电探测器模块将入射的X射线转换为电信号,并路由到多通道模拟数据采集系统[32].该系统分辨率高、断面解剖关系清楚、病变细节显示良好,但得到图像仅横断面图像,其他面需要重建,同时也具有辐射等缺点.
图3CT探测器模块信号链
自1963年,Cormack等在《JournalofAppliedPhysics》上报道第一台计算机断层扫描机的研究实验后,1967年英国EMI中心研究实验室的Hounsfiled等开始研制第一台临床CT扫描机,它需要9天的时间才能完成数据采集和重建一副图像,进一步改进数据获取和重建技术后,于1971年安装在Atkinson-Moorley医院,4.5min既可生成一副图像[25].经过近50年的发展,CT扫描成像在扫描成像时间和图像分辨率上有了显著提高,由最初的几分钟到现在的几十毫秒,光源从笔形束经扇形束发展到锥束,探测器从点探测器经线探测器,发展到平板探测器.但是在CT系统中,图像重建速度一直是其发展的瓶颈.就目前应用最广泛的锥束CT重建FDK算法来说,其时间复杂度高达O(N^4),其中N为重建图像的宽度.若重建一个规模为10243的三维图像,重建算法需循环高达10992亿次,在普通PC机上完成如此大的计算量是非常耗时的,很难满足实时重建的要求[36].专用计算机用于构建高效的图像算法,如滤波反投影(FBP),在处理大型投影数据集和以足够的吞吐量重建图像方面得到了广泛的商业应用.如Coric等[37]提出的一种基于FPGA实现的并行波束反投影算法用于CT,为了实现最大程度的加速,首次将可重构硬件技术应用于医学图像处理的研究,基于对有限位宽引起的量化效果分析,并特别注意不影响医学成像的高精度要求下,提出的解决方案显示比类似软件处理快20倍的速度.与浮点实现相比,量化的组合效果在最坏情况下的相对误差为0.015%.然而,作为一种分析算法,FBP忽略了噪声的影响而且辐射大.为了在较小的辐射照射下获得相似的图像质量同时加快三维锥束正、反投影计算速度,则可采用迭代图像重建方法对X射线计算机断层成像(CT)图像进行改进,Choi等[38]采用期望值最大化(EM)等迭代算法代替传统的滤波反投影算法,提出了一种基于FPGA有效的数据重用方法,用于三维CT重建时进行EM,将重用率提高了55倍.此外,文中还描述了一种自定义FPGA结构,该结构能够有效地支持所提出的算法和提高有效内存带宽的策略.为了减少外部存储带宽,提高系统内存带宽,提出的基于平铺的数据重用方案并在FPGA上验证.实验结果表明,该系统比单线程CPU速度提高了85倍.但是迭代大大增加了计算量,超过常规计算负载,阻碍了常规临床应用.Kim等[39]提出了一种用于迭代图像重建的高效基于硬件的前向投影算法和体系结构技术,在XilinxVirtex-5XC5VLX155TFPGA上实现了一个5级流水线、55路并行前向投影,在200MHz时钟频率下实现了9.258亿体素/秒的平均吞吐量,极大地解决了数据采集速度和带宽的限制.
2.4核磁共振成像
核磁共振成像(MRI)利用电磁波与自旋电子之间发生共振现象,由于能量在不同物质结构中有不同的衰减,通过外加梯度磁场检测电磁波,可获知构成物体原子核的种类和位置,从而绘制物体内部影像.无需使用电离辐射,具有多参数、多方位、多模态等优点,可以同时获取人体组织的解剖信息和功能信息,是安全、准确的临床诊断方法之一,在临床上有着广泛的应用.但MRI扫描时间过长、成像较慢[40,41],它的速度主要取决于数据采集、传输和图像处理的速度.图4展示了基于较低速率SAR/ADC的超外差式前端架构磁共振扫描仪,MRI信号主磁场强度与载波频率对应成比例,其商用扫描仪频率通常采用12.8MHz至298.2MHz.信号带宽由频率编码方向的视场定义,从几kHz到几十kHz范围变化.这对接收器前端提出了严苛的要求.模数转换要求多通道流水线而且ADC需要在最常见的频率范围内以16位深度、超过100MSPS的转换速率对MR信号直接进行数模转换.其动态范围通常要求超过100dB[31].
图4MRI超外差式接收器信号链
FPGA由大量的通用逻辑单元以及输入和输出(I/O)块和互连组成.逻辑单元之间的互连可以根据用户定义的功能配置成数字电路.它提供精确的定时,并支持多个处理任务同时独立完成,而且FPGA上的数字电路具有可重构性和可重用性.因此,FPGA技术在处理速度、时序抖动、灵活性、开发时间和成本等方面应用到MRI中具有很大的优势[42].为快速获得扫描采集时间,可采用基于欠采样的压缩检测技术[43],由于呼吸、眨眼、吞咽等非自主运动造成的图像伪影,采用基于小波变换多尺度分解去除MRI图像噪声的算法可以取得良好的去噪效果[44].Hasan等[45]提出一种基于FPGA的通用并行二维MRI滤波算法,能够提供9种不同的二维MRI数字滤波算法:Edge、SobelX、SobelY、SobelX-Y、Blur、Smooth、锐化、Gaussian和Beta(HYB);单架构高效原型实现64*64MRI灰度扫描的高滤波性能,达到11230帧/秒吞吐量,最小功耗为0.86W,结温为52℃,最大频率高达230MHz,增强滤波后的MRI图像边缘自定义、无噪声灰度成像,显著减少待处理的数据量,滤除可能不太相关的信息,同时保留图像的重要结构特性.早期的梯度计算模块由微处理器和数字乘法器构成,波形预增强单元用模拟电路实现,设计复杂、成本高昂、体积大,采用FPGA可以提供很高的处理速度与设计的灵活性.2010年肖亮等[46]提出一种高集成度的数字梯度计算模块用于磁共振成像,它不仅可以对X、Y、Z三个通道做波形预增强处理(1μs时间内实现包含6组不同时间常数和幅度的预增强运算),而且能实时计算任意层面成像所需的梯度波形,该系统具有通用性好、体积小和成本低等特点.2015年Li等[47]也介绍了一种基于FPGA的实时图像处理模块的设计与实现,通过图形化编码,大大简化设计工作,能够以400帧/s的速度重建128×128像素图像.为了实现RT-MRI三维血管图的可视化,需要一种快速有效的非刚性图像共配准技术.虽然基于特征的配准方法可以通过计算稀疏特征快速处理,但其结果经常出现低分辨率RT-MRI中的伪影、图像模糊,导致特征检测存在较大误差.Kwok等[48]采用现场可编程门阵列FPGA(XilinxVirtex7-XC7V2000T),提出了一种基于图像强度模式对比的新型数据结构和内存访问架构,能够实现精确配准,比目前最先进的加速技术快40倍,极大地满足了临床实践的实时性要求.
2.5超声波扫描术
基于超声的诊断成像技术,用于可视化的身体结构检测,被称为超声波扫描术.采用1~50MHz的超声频谱,具有良好的分辨率和穿透能力.它是通过压电传感器将射频电信号转换成机械振动而产生超声波.通过不同维阵列扫描需要观测的位置,再经超声接收装置接收组织的回声,最终经数字图像处理技术在屏幕上形成图像显示[49].
纵观超声诊断技术的发展历程,超声诊断技术经历了A型超声、M型超声、二维超声、三维超声,后续的发展也将在此基础上朝着由静态成像向实时动态成像、单参量诊断向多参量诊断技术的方向发展[50].超声系统一般由4个主要部分组成:第一部分是用来发射和接收超声波脉冲的换能器;第二部分是用来调节发射和接收信号的波束形成装置;第三部分是数字信号处理技术,对接收到的数据进行高动态范围的实时处理,包括图像滤波、三维重建等;最后部分是在屏幕上显示超声图像[50,51,52].如图5所示,关键功能模块由集成的多通道模拟前端表示,限制处理速度和成像质量最关键的是后端的高数据处理.传统的超声设备使用多个固定功能电路板构建,在实现新功能方面不是很灵活,也很难满足大数据实时处理要求.FPGA不仅能够为特定应用的超声仪器提供高性能平台,而且能以较低的成本提供许多图像处理功能,从而降低患者诊断的成本[53,54].常见的B超和C超,由于系统采用步进式扫描方式使得扫描成像速度慢,2016年宋国荣等[55]研制了一套基于FPGA技术的超声快速扫描成像系统,实现超声换能器在扫描平台连续运动过程中回波信号的快速采集与传输.该系统结合了高精度点聚焦超声显微测试平台和FPGA,通过FPGA采集和处理高速的模数信号,利用时间法和幅值法提取回波信号特征值,实现了超声快速扫描成像.该系统横纵向分辨力可达50μm,不仅实现快速清晰成像,而且可检测微小结构.三维超声扫描能够高质量显示三维结构,传统解决方案是将测量数据传输到PC机进行图像重建,但是非常耗时,无法满足实时要求.2010年Birk等[56]将一组自适应匹配滤波算法映射到大规模并行数据采集DAQ系统的FPGA中,由硬件进行加速,能够很好地满足成像要求.另外,基于FPGA的超声数字处理系统,由于其高集成度和可重构的特点,具有很好的灵活性,因此可以实现满足基本功能的小型化超声设备.Kim等[57]提出了一种基于FPGA的低成本便携式超声成像系统.研制的便携式超声系统样机能够实时处理所有的超声信号和图像处理要求.该便携式系统的大小(W245mm×H190mm)和重量(~560g)以及功能,将非常适合POC(如急诊室和护理)中的临床应用.
图5医疗超声前端信号链
2.6核医学成像技术
核医学成像技术是一种利用放射性核素示踪方法来同时显示人体形态学信息和功能信息的医学影像技术.通过检测注入人体内放射性核素所放出的射线信号,间接反映人体内部结构和功能[25].从20世纪50年代开始,同位素扫描仪、伽马照相机等放射性核素成像设备先后问世,在CT技术出现后,将放射性核素扫描技术与CT技术各自特点结合起来,开发出ECT技术(发射型计算机体层扫描术).ECT技术不仅能观察组织的形态、功能和代谢的动态变化,而且能进行体层显像[58,59].根据数据采集原理不同,ECT技术可分为正电子发射型计算机体层技术(PET)与单光子发射型计算机体层技术(SPECT)两类.正电子发射断层扫描PET首次应用TOF技术,该技术能够精准定位正电子符合湮灭的位置,使得重建该事件所涉及到的体素数量减少,从而使得注射剂量更低、成像速度更快、临床图像分辨率更高.为了实现符合正电子湮灭的精确定位,系统必须具有很高的时间分辨率.2012年王文博等[60]将FPGA引入到符合判选电路和时间测量电路中,使设计的电路具有体积小、结构简单等优点,FPGA的应用也为系统的模块化提供了可扩展性和再编程的灵活性.同时使电路系统的处理速度非常髙,实现了100ps的时间分辨率.单光子发射型计算机断层SPECT主要由探头、旋转运动机架、计算机及软件等三部分组成.其中,系统进行数据采集处理的部分是探头,其主要功能是采集核素发出的信号,并对其进行初步刷选,将有效信号的能量信息和位置信息路由给计算机进行后期校正和图像重建.探头部分直接影响着系统的灵敏度和分辨率,是系统精度和成像质量的关键保障.李玮等[61]在基于FPGA的数字化SPECT探头系统设计中采用基于现场可编程门阵列(FPGA)的数字电路来代替传统的模拟电路.通过FPGA采集从光电倍增管中传出的经前置放大和程控放大后的模拟信号,并在FPGA中计算出事件发生的位置和能量.同时在FPGA中加入硬件的能量校正和线性校正部分,以实现实时数据的校正处理.FPGA的加入极大提高系统的采集速度和精度;缩短系统的设计周期并使系统具有更高的灵活性.为了进一步提高新一代正电子发射层析成像和单光子发射计算机层析成像系统的性能和灵活性,Atkins等[62]又开发了一种新的分布式并行处理架构EPM,基本满足临床要求.
2.7光学成像技术
共聚焦荧光显微镜不能像普通光学宽视场显微镜一样从目镜中直接观察样品.其必须通过多点扫描所获取图像进行重构,然后利用计算机完成三维图像重建和实时显现.因此,需要很大的图像存储空间和复杂的计算机图像处理技术.2004年Resat等[63]报道了一种基于FPGA处理技术的共聚焦成像系统,对活细胞信号进行三维多光谱监测,利用FPGA的并行性对流式数据进行预处理,将图像配准和融合算法映射到FPGA内,FPGA提供实时硬件图像处理并以极高的速度生成图像结果.该系统能够同时进行两幅彩色图像采集,速度可达30fps,允许近乎实时的荧光共振能量传输和随后的比值分析、化学信号分析等.激光共聚焦荧光显微镜通过收集荧光信号成像,由于荧光团的寿命具有对荧光团浓度不敏感但对局部环境敏感的固有特性,因此能够对生物样品的微环境、细胞的生理状态、生物系统的生化反应等提供更好鲁棒性的功能成像,于是利用空间分辨率测量荧光分子的激发态衰减寿命的荧光寿命成像(FLIM)技术应运而生.FLIM除了需要复杂的时间敏感光学系统还需要适当的数据分析来提取用于解释样品生物活性的衰减寿命信息,传统的FLIM数据分析方法是基于非线性最小二乘拟合的迭代回归算法.尽管计算机技术的高速发展,但对FLIM图像逐像素迭代衰减分析仍然是一项艰巨的计算任务.为了更好的进行快速实时成像,2014年Zhao[64]等报道了一种基于现场可编程门阵列(FPGA)中实现非迭代衰减分析方法,该系统以并行的方式获取多个激射光谱通道的寿命图像,可以在4s内获得400*400像素的多通道FLIM图像,大大加快了多通道FLIM数据的寿命分析,从而能够高速生成寿命图像.2015作者所在课题组基于FPGA技术发展了一套用于实时监控小鼠血流的内窥成像系统,在512×512像素的情况下可以实现20fps的成像速度[65].
尽管激光共聚焦扫描荧光显微镜有着其他显微镜不可比拟的优势,但并未真正意义上突破常规的光学衍射极限,为了突破传统光学显微镜的分辨率极限进入纳米观测领域,近年来相继开发出了一系列超分辨光学成像技术,主要包括:a.基于照明光场调控的超分辨成像方法,如受激发射损耗显微镜技术STED和结构光照明显微镜SIM;b.基于单分子定位的超分辨成像方法,如光激活定位显微镜技术PALM和随机光学重建显微镜STORM[66,67].
受激发射损耗显微镜技术STED是第一个突破衍射极限的远场光学显微技术,其原理是采用两束组合激光,一束激光被聚焦成正常的衍射极限光斑,使光斑内的荧光分子处于激发态;另一束为中心光强为零的环状光斑分布损耗光,两束光进行重合叠加,损耗光通过受激辐射过程损耗周边区域内的激发态荧光分子.因此,周边区域内的荧光分子被猝灭,只剩下中心的荧光发光点,从而实现小于衍射极限的荧光发射面积.从理论上讲,由于损耗光的中心光强为零,只要损耗光足够强,则由第一束光激发的荧光分子所占的体积可以被压缩到极小的范围内,极大提高荧光显微镜的分辨率.目前,STED显微镜可实现20nm分辨率的免疫荧光成像和50~70nm荧光蛋白成像[66,67,68].虽然目前STED技术实现了纳米级分辨率,但是都是以牺牲光束扫描范围来实现的,而数据采集和处理速度是其限制的关键部分.2015年Wu等[69]设计了一种基于FPGA的超快光子计数系统,利用FPGA对脉冲高度进行量化,使其具有从探测器中识别多光子脉冲的能力,相比传统的简单阈值化更加精准.当振镜线性扫描速度较快时,可能会产生运动模糊,影响光学分辨率,系统利用FPGA实现机器学习、数字滤波等,更好地区分重叠脉冲对,从而达到更高的线性度,进一步提高了系统的动态范围(图6).
突破光学衍射极限远场光学显微镜的另一种方法是单分子定位,包括PALM和STORM两种超分辨显微镜,两者过程均是通过对荧光分子的激活-定位-漂白,3个步骤和数万次的循环最终重构超分辨图像.PALM和STORM技术采用牺牲时间换取空间频率的策略,利用单分子成像加上图像重构算法实现分辨率的提升,它们的分辨率仅仅受限于单分子的定位精度,理论上可以达到亚纳米量级,也能与电子显微镜相媲美.但是奈奎斯特采样定理指出,若频带宽度有限,采样频率应大于信号最高频率的2倍才能从抽样信号中无失真地恢复原信号.因此,PALM与STORM所采样荧光分子的空间间隔应该小于其分辨率的1/2,由于每一幅子图像只能定位一定数量的离散荧光分子,因此得到一幅高分辨的样品显微图像,需要对数万甚至上千万幅原始图像进行合成,导致合成一幅图像需要几个小时的时间,如果取样精度不够,就不能重构出高分辨率的样品图像.最新的PALM显微镜虽然可以实现几十秒一帧图像的处理速度,但还是不能适用那些要求实时观察的活体细胞.Frederik等[70]报道了一种用FPGA加速定位的方法,结合最小二乘拟合的精度和非迭代解的速度提出一种质心算法,映射到FPGA硬件上,加速算法的运行,从而使系统性能提升了225倍.通过采用FPGA加速,真正意义上将基于PALM/STORM技术显微镜从一个耗时的过程转变为生物学和医学的实时工具.相比STED技术,PALM和STORM在实现方面更简单而且成本更低,因此单分子定位超分辨成像技术在生物光子学等相关领域得到了广泛的应用.
图6超快光子计数系统探测和共振扫描显微镜获取的脉冲型STED图像
(a)原始图像450兆赫像素时钟.(b)扫描镜非线性运动补偿后的最终图像,按1∶1像素比例缩放.每一方FOV是50μm.对该图像和后续图像进行阈值化,降低背景,并应用3×3midfilter(ImageJ中的“Despeckle”函数)降低散斑噪声.(c)为(b)的一个区域放大.(d)线条轮廓(在c中的两个箭头标出)显示分辨率.
PALM和STORM是基于单分子定位的超分辨显微成像技术,需要使用特殊的荧光探针分子进行激活和猝灭,反复迭代,最后定位,具有很高的空间分辨率,但是时间分辨率低.结构光照明显微镜SIM是通过结构化照明在频率域以空间混频的方式将物体高频信息载入光学系统的超分辨光学显微成像技术,然后再从图像结果上解调出超分辨信息,从物理上超越衍射极限,不需要扫描,使用面阵CCD并行采集图像,每一次曝光可以得到一幅完整的样品二维分布图像,其时间分辨率取决于结构照明光场的加载速度和CCD的图像采集速度,如受限空间光调制器SLM(spatiallightmodulator)的加载速率[71].为了解决这一问题,Xu等[72]报道一种基于高速LED照明模块的计算鬼影成像方案,利用FPGA足够的多I/O端口和线控技术驱动LED阵列,完全取代SLM,从而实现连续动态成像,帧速率达1000fps.与其他三种超分辨显微技术相比,SIM更适用那些需要较高时间分辨率的活体成像研究.
总之,医学成像技术的目的不仅要通过图像给医生提供有效信息,从而实现对疾病的早期诊断,更好地制定和实施相应的预防方案,而且要使医生能更准确、更全面地辨别机体的内部结构,辅助医生对病变组织及其他感兴趣的区域进行分析,为临床诊断提供可靠依据,从而有利于制定客观、有效的治疗方案[73].随着数字图像技术和集成电路的发展,医学成像系统正朝着实时、动态、立体、功能等方向发展,希望能够为医生提供高分辨率的多维、多参数、多模式图像,准确、直观地显示解剖结构和病变组织的空间位置、大小、几何形状以及与周围组织结构的空间关系[74].由此,3D/4D医学成像系统应运而生.目前医学三维图像的获取方法有计算机断层扫描(CT)、磁共振成像(MRI)、超声、正电子发射断层扫描(PET)等.与二维(2D)图像相比,三维图像以更真实的方式表现解剖结构,操作直观,可以为基于图像的诊断和治疗提供更准确的信息.然而,大多数三维医学成像算法都是计算密集型的,需要解决海量数据处理的问题(高达250gmac和1Gbps)[75],需要解决内存和带宽限制的问题,FPGA拥有丰富的逻辑资源、存储资源、算法模块和嵌入式硬核模块,可定制性和可重构,具有很高的灵活性,其并行和流水结构用于图像重建和加速优势明显[76].2017年Hussain等[77]提出一种用于医学成像的新型视觉处理系统架构ViPS,该系统基于XilinxVirtex-7FPGA,与基于GPU和多核异种图形系统相比,ViPS的性能分别提高了2.4倍和1.4倍.在以较高帧率进行复杂图像重建的同时,运行各种图像处理算法,实现了15.2倍和5.26倍的性能提升.在FPGA上实现视频处理算法并获得3.01倍和1.13倍的加速,同时获得了1.55倍和2.27倍的动态功耗优势.Alqasemi等[78]提出基于FPGA用于实时交错超声和光声成像的可重构处理器.具有在两种模式之间进行实时切换的能力,通过以超快的速度重新配置和调整其结构,管理和利用不同的资源.Kooi等[79]基于FPGA将深度学习技术用于检测乳腺肿块和钙化,准确度高达90%.Gulshan等[80]基于深度学习糖尿病视网膜病变研究和Esteva等[81]基于深度神经网络的皮肤癌诊断研究,结果显示其诊断水平甚至与专业医师相当.
3、总结和展望
生物医学图像处理是指将图像信号转换成数字信号并利用计算机对其进行处理的过程,通常可以分为软件处理和硬件处理.软件处理如ImageJ、MATLAB等,优点是灵活、方便、精度高,比较适于处理静态图像,但是软件处理属于事后处理,达不到图像实时处理的要求.FPGA的出现为实时数字图像处理系统在算法、系统结构上打开了一扇门,在实时图像采集与预处理系统中,以硬件并行和流水线并行的优势,极大地提高图像数据的采集和处理速度,达到系统的实时性要求.其高密度、设计灵活、开发周期短等特点,很好地解决系统体积、成本、速度、升级等实际应用中遇到的问题[5,6].因此,具有一定的研究潜力和广阔的应用前景,尤其在医疗领域的发展创新.
医疗诊断方法的不断融合和非置入式治疗的需求极大地推动了计算机辅助断层扫描(CT)/PET和X射线诊断/CT设备等诊疗手段的出现.为得到信息丰富的图像,必须采用更加敏感的几何微阵列探测器,并结合FPGA的优势,对光电信号进行采集和预处理.预处理完成后,通用处理器和FPGA一起对存储后的数据进行协作处理,重建人体图像.用于对不同时间获得的功能和解剖图像进行分析的非实时图像融合技术(NRT),由于病人体位、以及内脏器官的非自主移动等因素导致NRT图像融合效果不佳.使用FPGA处理技术来实时融合PET和CT图像数据,从而可以在一次成像过程中实时获得并显示功能和解剖图像信息.融合后的图像清晰度更高、位置更精确.综合来说,生物医学图像处理将朝着三个方向发展:a.从结构分析到功能分析,医学图像不仅要反映三维立体结构,还需反映功能变化,针对人体不同组织和器官的核心功能特性,建立相应功能的信息表征模型;b.多维影像融合,疾病的复杂特征,需要把多源影像信息有效融合,尤其是功能影像和形态影像的结合,会给疾病的早期诊断、疗效监控、康复指导带来革命性变化;c.多信息智能辅助诊断,未来的发展需要把疾病的影像信息和生理参数信息关联起来,建立多维度信息关联疾病表征方法和模型.医学影像数据激增以及半导体芯片性能的提升,机器学习在医学影像领域将大显身手,改变医师凭主观经验判读的方法,改善主观性强、依赖临床经验、耗时等缺点,实现智能、快速、客观分析[82,83].在这一波医疗诊断技术融合和智能医疗系统浪潮中,支持高速并行互联的FPGA将发挥举足轻重的作用.
参考文献:
[1]张杰.基于FPGA的数字图像处理[D].武汉科技大学,2009.
[2]李科,唐波,张玉.基于FPGA的数字图像处理.科技资讯,2012(2):32-32.
[3]王丽英.FPGA发展高峰论坛.今日电子,2013(8):47-52.
[4]张宇,范建华,吕遵明,等.FPGA动态部分可重构技术概述.计算机与现代化,2014(3):210-214.
[5]万鸣华.基于FPGA的图像处理加速研究[D].南京理工大学,2007.
[8]陆重阳,卢东华.FPGA技术及其发展趋势.微电子技术,2003,31(1):5-7.
[9]杨海钢,孙嘉斌,王慰.FPGA器件设计技术发展综述.电子与信息学报,2010,32(3):714-727.
[10]徐思燕.FPGA器件设计技术发展综述.通讯世界,2015(19):223.
[11]王红,彭亮,于宗光.FPGA现状与发展趋势.电子与封装,2007,7(7):32-37.
[15]王海力.浅谈国产FPGA芯片的产业化之路.中国电子商情(基础电子),2013,5:61-65.
[18]王海力.中国FPGA产业如何在市场上占有一席之地.世界电子元器件,2012,9:72-73.
[23]薛士然.FPGA引入全新架构--HyperFlex.单片机与嵌入式系统应用,2015,20(7):82-82.
[25]康雁.医学成像技术与系统[M].清华大学出版社,2014.
[26]骆清铭,张镇西.生物医学光子学[M].人民卫生出版社,2018.
[27]詹松华,陈星荣.数字X线成像技术的进展.中国医学计算机成像杂志,2008,14(5):456-459.
[28]朱䒟.专论-生物医学光学成像技术.中国医疗设备,2018,1:1ZhuD.ChinaMedicalDevices,2018,1:1
[29]李保伟,史俊富.数字化放射医学影像技术.武警医学,2002,13(5):303-304.
[30]陈武凡.数字化医学成像研究进展与未来趋势.中国基础科学,2014,16(5):21-28.
[32]陈晶晶,赵德春.医学X线图像配准技术研究进展及其存在的问.航天医学与医学工程,2016,29(2):137-143.
[33]苗青,王高,李仰军.X射线成像探测器发展进展.传感器世界,2015,21(10):7-13.
[36]邓靖飞,李建新,李磊,等.基于FPGA的CT重建加速技术综述.CT理论与应用研究,2010,19(2):25-33.
[40]王波,钟凯.医学领域的磁共振成像革命-2003年诺贝尔生理及医学奖主要工作介绍.生物化学与生物物理进展,2003,30(6):827-832.
[41]张煜东,王水花.磁共振成像加速方法.中国医学物理学杂志,2014(4):5015-5021.
[43]王水花,张煜东.压缩感知磁共振成像技术综述.中国医学物理学杂志,2015,32(2):158-162.
[44]王芸,刘时进,王正强.基于小波变换的核磁共振图像去噪方法.现代电子技术,2005,28(14):63-64+67.
[46]肖亮,汤伟男,王为民.基于单片FPGA的磁共振成像梯度计算模块.波谱学杂志,2010,27(2):163-171.
[50]陈基明,季家红,李国栋,等.超声诊断仪的基本原理及新技术的应用.中国医疗设备,2006,21(12):28-30.
[51]王威琪,汪源源,余建国.诊断用医学超声学的现状.声学技术,2002,21(Z1):4-6+14.
[52]舒贞权.医学超声影像新技术综述.中国医疗器械信息,2002,8(2):9-14.
[58]倪萍,吴剑威.PET/CT--核医学影像发展的未来.中国医疗设备,2002,17(5):39-40.
[59]冯珏.当今核医学发展现状及进展.河北医药,2002,24(5):431-432.
[60]王文博.基于FPGA的TOFPET符合判选研究[D].中国科学院研究生院(长春光学精密机械与物理研究所),2012.
[61]李玮.基于FPGA的数字化SPECT探头系统设计[D].郑州大学,2006.
[67]姚保利.高分辨和超分辨光学成像技术在空间和生物中的应用.光子学报,2011,40(11):1607-1618.
[68]毛峥乐,王琛,程亚.超分辨远场生物荧光成像--突破光学衍射极限.中国激光,2008,35(9):1283-1307.
[71]吴美瑞,杨西斌,熊大曦,等.结构光照明荧光显微镜突破衍射极限的原理和在生命科学中的应用.激光与光电子学进展,2015(01):23-33.
[73]杨国忠,刘玉清,邵会华.医学成像技术[M].人民卫生出版社,1987.
[74]丁红军,邢克礼.医学成像技术的进展.医疗卫生装备,2006,27(11):22-23.
[75]Altera.采用FPGA实现医疗成像.中国电子商情(基础电子),2008(5):53-59.
[76]王浩男.基于FPGA的医学图像增强算法的研究与实现[D].长春理工大学,2013.
[82]梁长虹.加强机器学习在医学影像中的研究和应用.国际医学放射学杂志,2019,42(01):4-5.
[83]吴艳霞,梁楷,刘颖,等.深度学习FPGA加速器的进展与趋势.计算机学报,2019,42(11):2461-2480.
郭勇,严伟,黄仰锐,屈军乐.FPGA技术在生物医学成像中的研究进展[J].生物化学与生物物理进展,2020,47(06):483-497.
基金:国家重点基础研究发展计划(2017YFA0700500);国家自然科学基金(61975127,61525503,81727804);广东省高等学校科技创新项目(2015KGJHZ002,2016KCXTD007);广东省自然科学基金(2020A1515010679);深圳市基础研究项目(JCYJ2018030512304883,JCY20170818100153423)资助.
分享:
生物多样性指地球上所有的植物、动物和微生物及其所拥有的基因,各物种之间及其与生境之间的相互作用所构成的生态系统及其生态过程,包括物种内部、物种之间和生态系统多样性。保护物种多样性是全球《生物多样性保护战略计划(2011—2020)》目标之一。生物多样性观测是在一定区域内对生物多样性的定期测量,是生物多样性保护的一项基础性工作,对于掌握生物多样性动态变化趋势、识别致危因素具有重要意义。
2020-11-10大熊猫(Ailuropodamelanoleuca)作为我国“国宝”级的珍稀濒危物种,主要栖息于中国四川、甘肃和陕西的部分山区,截至2013年底,野生大熊猫种群数量约1864只,2019年底圈养大熊猫达到了600余只。竹类作为大熊猫摄取营养物质的主要食物来源,主要包括竹叶、竹笋以及竹茎。由于大熊猫保留了食肉动物消化系统特征,而竹类纤维素较高,这使得大熊猫对其具有较低的消化率。
2020-11-10果蝇的培养基有很多种。经典常用的果蝇培养基的配方为:琼脂4.5g、玉米粉24g、酵母粉48g、葡萄糖66g、1g/ml尼泊金甲酯9ml、补水60ml。高境鸿等的研究发现使用活酵母培养基可以大大提高果蝇的平均寿命,缩短果蝇发育周期[1]。但在使用过程中,活酵母培养基容易腐烂变质,散发异味,或培养基底部出现气体将整个培养基床抬高,对果蝇发育空间造成影响。实验室应根据对果蝇研究的具体需要来选择合适的培养基。
2020-09-14随着各级实验室的建立和防护水平的提高,生物安全柜作为直接隔离实验样品和科研人员的第一道安全防线,是实验室的主要安全设备。所以,实验室操作人员必须具备规范化、标准化的操作能力,严格按章操作;各级检验人员要熟悉并掌握国内外相关标准,采用正确的方法对生物安全柜进行安全性能检测评价。
2020-09-14随着生活环境的改变,人体昼夜节律受到多种因素影响,正常生物钟被破坏,睡眠习惯改变,不同的日周期类型逐渐形成。个体日周期类型由自我平衡-生物节律双程序共同调控,根据个体间昼夜节律差异现象可分为夜晚型、清晨型、中间型。清晨型指偏爱早睡早起的类型;夜晚型指偏爱晚睡晚起的类型;中间型处于两者之间。
2020-07-14伴随着我国逐渐增多的高级别生物安全实验室的启用运行,病原微生物菌毒种的管理也会成为实验室工作重点之一。如何更安全、规范、有效地管理病原微生物菌毒种也是目前我们所面临的重要问题。本文尝试对菌毒种的保存方法,管理原则,管理风险等方面做以阐述以期为高级别生物安全实验室工作人员提供参考。
2020-07-02英国是世界上最早开展高等教育的国家之一,教育水平居世界前列。拥有4所世界排名前10位的大学,32所世界排名前200位的大学。在876位诺贝尔奖获得者中,出生于英国的人数总计121人,位列世界第2位,仅次于美国;而毕业于剑桥大学和牛津大学的诺贝尔奖获得者分别为96人和51人,分别位居毕业高校排名第3和7位4。
2020-07-02选取的人类ABO血型测定、酸奶的制作、植物切花保鲜、微生物作画大赛4个实验,均与专业相关,分别从知识性、应用性、创新性、趣味性4个方向出发,为新生开展,有针对性地引导了学生的思路,有效地帮助学生了解专业内容、认识专业结构;学生可结合自身兴趣,为未来发展方向提前进行自我定位。
2020-07-02电子信息、5G互联网的高速发展,给教育带来了巨大的创新和挑战。教学传授的有效优质进行,关系着人才培养和社会发展。对于教学的有效传授,尤其是特征明显的生物科学类课程的优质传授,究竟采取何种途径需要探讨。今后,还需要国家、各级政府以及各个相关行业在广泛调研的前提下充分挖掘增进教学有效性的途径,加强研究和实践探索。
2020-07-02《生物统计附试验设计》课程是动物科学、动物医学、水产养殖专业的学科通选课,是一门理论和实践结合紧密,实用性很强的方法课、工具课和实验技能课,是在高等数学、线性代数、概率论等课程的基础上讲授试验资料的整理、统计分析方法和试验设计的实施,教师讲授时需采用随机思想、建模思想、数形结合思想、统计推断思想。
2020-07-02人气:5015
人气:4337
人气:2628
人气:2568
人气:2314
我要评论
期刊名称:四川动物
期刊人气:1304
主管单位:四川省科学技术协会
主办单位:四川省动物学会,四川省野生动物保护协会,成都大熊猫繁育研究基金会,四川大学
出版地方:四川
专业分类:生物
国际刊号:1000-7083
国内刊号:51-1193/Q
创刊时间:1981年
发行周期:双月刊
期刊开本:大16开
见刊时间:1年以上
影响因子:1.343
影响因子:1.227
影响因子:1.286
影响因子:0.000
影响因子:1.349
您的论文已提交,我们会尽快联系您,请耐心等待!
你的密码已发送到您的邮箱,请查看!