住院部药房主要负责院内的药品管理与供应，需承担全院住院病人含口服药丸在内的药品调配、核对和发放工作[1]。目前大多数医院住院药房依旧采用传统的摆药模式，即由医师执行病人医嘱，药房药剂师打印医嘱单，然后调配药剂师配药，另1名药剂师或住院部护理人员核对后发药[2]。整个过程会占用大量人力，效率较低。同时，由于口服药丸种类繁多，许多片剂具有相似的外观，去掉包装后难以区分，增加了药剂师和护理人员核对药品的难度[3]，因此，一般情况下的分药、发药过程往往仅核对药品数量而无法准确核对药品种类，一旦发生用药错误事件，可能对病人造成不可逆转的严重影响，甚至导致死亡。此外，配药过程中如未及时消毒药杯和药匙，或调配药剂师违反操作规程接触到药丸，还可能会使药丸受到不同程度的污染。研发住院部药丸分类系统，实现识药、分药自动化以代替传统摆药方式，能极大地降低药房工作量，减少药物污染和人为导致的用药错误问题，提高用药安全性，而建立一个能够准确识别和分类药丸的算法模型又是构建药丸分类系统的关键。当前计算机视觉技术发展日趋成熟，已广泛应用于人脸识别、车牌识别等领域，对于药丸识别、分类任务而言，利用计算机视觉相关技术，相较于人工主观经验判断，能够更好地避免由于劳累、注意力不集中等原因而造成的分药错误。

1、研究基础

早期提出的利用计算机视觉技术实现药丸分类通常是基于传统机器学习的方法，即采用图像处理技术提取药丸的视觉特征后利用支持向量机等分类方法对药丸进行分类。李帅[4]通过传统机器学习提取药物特征，优化基础分类器对药物进行分类，实现了药房自动化的任务。Cordeiro等[5]提出一种基于机器学习的药丸图像自动分类系统，使用图像处理技术提取药丸图片的形状和颜色特征作为分类标准，然后以支持向量机和多层感知器为分类器进行分类，最终取得良好效果。但以上方法依赖手工设计特征，识别效果受特征提取设计和分类器选择影响，泛化能力差。将深度学习应用于药丸识别任务中，利用卷积网络对二维图像进行特征提取并分类，无须手工设计特征，具有较强的泛化性。但由于目前缺乏大规模药丸图片数据集，将深度学习应用于药丸识别任务中的研究仍然较少，只有少量方法被提出，主要分2种形式，1种是对药丸外包装图片进行识别，如张震江等[6]在药品外包装进行识别分类的任务中，利用Le Net深度学习框架设计了卷积网络模型，对56种药品约47万张图片进行分类，准确率达95.6%；施华宇等[7]应用深度学习技术研究了药品包装识别系统，完成对500种药品的分类识别，训练时验证准确率为96.4%。另1种是针对无外包装药丸的识别，如王振亚等[8]提出了基于改进Efficient Net网络模型的药片分类检测方法，对9类药片、共3 750张图片进行分类检测，准确率达98.93%;Swastika等[9]提出一个基于多卷积的药丸图片识别模型，使用3个卷积网络分别提取药丸形状、颜色和印记特征，集成网络后进行识别，该网络在8种药丸、24 000张图片上训练，取得良好效果。可见，利用计算机视觉和深度学习实现药房药丸自动分类具有技术可行性，但已有实验仍然具有一定局限性，如药房中需对多种无外包装的药丸分类，而已有研究中，无外包装药丸种类较少，每类样本量较多；实验中训练使用的图片大部分是在良好控制条件下拍摄，而在真实药丸识别过程中通常会面临较复杂的物理环境（如不同光照等），导致捕捉到的图片质量较差。故已有模型识别性能仍需提高。

本研究进一步探索设计更加符合医院实际需求的模型，提出基于改进Mobile Net V2[10]模型进行迁移学习的药丸分类识别系统。Mobile Net V2具有参数少、模型尺寸小的特点，便于后期嵌入送药机器人等设备使用；在Mobile Net V2中引入通道注意力机制压缩与激励（squeeze-and-excitation,SE),SE注意力机制在处理复杂环境拍摄下的药丸图片时有利于帮助网络自适应地调整每个通道的权重，从而增强模型对于不同光照和角度变化的鲁棒性，提高分类效果；由于药丸种类较多且采集困难，导致每类药丸的数据样本量较小，因此，融合迁移学习的方法，将大规模数据集学习到的边缘、纹理、颜色等图片的通用特征迁移到药丸模型中用于药丸图片分类，有利于解决模型训练数据不充分的问题，使模型获得更好的分类性能。

2、研究方法

2.1 数据采集

2.1.1 数据来源

采集德阳市人民医院住院部的无外包装口服药丸图片构建口服药丸数据集，共采集728张图片，涵盖95种口服药丸，每种药丸4～25张图片。为了确保数据的准确性和可靠性，制定药丸纳入及排除标准。纳入标准：剥离硬包装的固体剂型（除颗粒剂、粉剂），包括普通片剂（片剂、薄膜衣片、糖衣片、浸膏片、分散片、划痕片等）、硬胶囊和软胶囊（胶丸）；每种药丸须存在1处及以上外观差别（如颜色、形状、有无印记或其他差距）。排除标准：受损、污染或其他原因造成明显缺陷。

2.1.2 拍摄方法

使用药物分类模型在实际场景中进行药丸识别分类时往往会受到环境因素干扰，如光照强度、角度和颜色等，导致捕捉到的药丸图片出现阴影和模糊等问题，从而影响模型准确性。为提高模型在应用场景（如住院部病房）中的判断准确率，研究组采用更加贴近实际场景的方法构建数据集，具体方法为：随机将药丸摆放在不同颜色背景板中的参考界面内，采用摄影器材从不同光照强度和距离拍摄药丸图片。鉴于药丸随机摆放过程中可能出现叠放、侧放等问题，采用多视图、多角度的方法对药丸图片进行采集，以获取更全面的药丸信息。构建的数据集可以更好地模拟实际场景，从而使训练的模型具有更好的实用性。

2.1.3 图片处理

2.1.3. 1 图片边缘检测

数据集中药丸原始图片尺寸不同且包含大量背景信息，背景可能成为影响识别准确率的噪声源。因此，训练网络之前需对图片进行裁剪操作，去除部分背景。鉴于随机裁剪或中心裁剪方式会导致药丸信息丢失，故先利用边缘检测方法检测图片中药丸轮廓，在确保不丢失药丸像素的情况下利用图片处理技术统一裁剪图片。此方法在去除大量背景信息的同时可以最大化地保留有价值的药丸信息，最终达到减少计算量、提高识别准确率的目的。本研究采用Scharr算子检测药丸边缘，Scharr算子是一种常用于边缘检测的方式，具体步骤为：1）将药丸原图转化为灰度图，对灰度图进行双边滤波以去除部分背景噪声及纹理；2）利用Scharr算子对生成的新像素灰度值做微分运算，选取适当的阈值使药丸边缘处达到极值从而检测到药丸轮廓；3）获得药丸在图片中的粗略位置，找到最大矩形包围框；4）根据矩形框位置对原始图片进行裁剪（保留一些边缘背景以保证能包含整个药丸），最终得到药丸图片。

2.1.3. 2 数据增广

药丸图片数据集具有样本量小、每类数据不平衡的特点，其中最大类别样本数为25个。对图片进行扩增可以帮助模型更好地学习数据特征，提高模型泛化能力，但数据扩增会增加模型训练时间和计算资源消耗，因此需根据数据实际情况和任务要求确定数据扩增的方式和程度。鉴于药丸分类模型具有轻量化、模型参数小的特点，将每种药丸样本扩增至25个即能满足任务需求，且不会显著增加模型计算量，有利于确保模型轻量化。

鉴于药丸颜色、形状对于图片识别具有重要意义，故对图片进行旋转、平移等操作。将裁剪后的药丸图片按0.06或0.08的比例平移；以0.9～1.1的随机因子缩放图片，以增强模型对药丸尺寸变化的鲁棒性。这种数据扩增方式简单易行，且能有效扩增数据样本，更加适用于药丸分类任务。

2.2 模型构建

药丸分类的算法结构总框架见图1。以Mobile Net V2网络为模型骨干网络，模型中嵌入SE注意力机制，增强特征通道间的联系。由于深度学习进行图片识别分类任务需要大量的数据，故本研究采用迁移学习的方法帮助模型在有限的数据集中训练。图片数据送入网络前利用边缘检测方法半自动识别图片中的药丸（需要手动调整参数），裁剪大部分药丸以外的信息，使视觉特征提取器最大化提取有用特征。

图1 药丸分类的算法结构总框架   

2.3 关键技术

2.3.1 Mobile Net V2

2.3.1. 1 介绍

本研究药丸图片样本较少，采用复杂网络会导致过拟合，轻量级网络更符合分类任务的需求；同时，本研究构建的模型将嵌入机器人等移动设备中应用，故需构建尺寸小、精度高的模型。Mobile Net V2是在Mobile Net V1[11]基础上进行改进的卷积神经网络，沿用Mobile Net V1的深度可分离卷积，减少了模型参数量，适合药丸分类任务，其网络结构见表1。 

表1 Mobile Net V2网络结构 

2.3.1. 2 主要创新之处

1）倒残差结构：当步长为1时，采用残差连接方式，避免网络深度增加后出现梯度消失问题。与Res Net网络先降维、卷积再升维的结构[12]不同，Mobile Net V2采用先升维、卷积再降维的模式，形成了一个倒残差结构，见图2;2）线性瓶颈结构：Mobile Net V2的瓶颈结构中，用线性激活函数代替最后1层点卷积的Relu激活函数。因瓶颈结构中最后1层逐点卷积作用主要是降维，而在低维空间采用非线性的激活函数可能出现特征被破坏的情况，故采用线性激活函数更加利于信息的保留[13]。

图2 倒残差结构   

2.3.2 SE模块

2.3.2. 1 SE原理

提取图片特征过程中加入注意力机制，能够帮助网络定位图片的感兴趣信息，忽略其他无关信息，提高网络效率。SE是一个通道注意力机制，主要关注通道之间的关系，网络中融合SE注意力，能够自动搜集每个特征通道的重要性，加强有用特征并抑制不重要的特征[14]。SE模块结构见图3，其主要分为压缩（squeeze）、激励（excitation）、缩放（scale)3个步骤实现。1）压缩：通过全局平均池化压缩特征图空间特征，特征图维度从h×w×c变为1×1×c，通道数保持不变，获得每个通道的全局感受野；2）激励：通过两个全连接层和非线性激活函数建立通道间相关性，对压缩后的特征图进行通道特征学习，得到通道注意力信息；3）缩放：特征图通过Sigmoid激活函数获得归一化权重，然后与原始输入h×w×c维度的特征图逐通道相乘，最终得到具有通道注意力的特征图。

图3 SE模块   

2.3.2. 2 嵌入SE模块

Mobile Net V2网络特征提取并没有考虑到通道间的依赖关系，故通过在模型中嵌入SE模块建立药丸图片样本通道间的联系，具体做法为：经网络特征提取的药丸特征图共1 280个通道，将提取的药丸特征图送入SE模块，对特征图分别进行压缩、激励、缩放操作，依据1 280个通道的特征信息不同重要程度获得不同的权重信息，然后将获得的权重与提取的特征逐通道相乘获得最终药丸信息特征。

2.4 迁移学习

2.4.1 迁移学习理论

深度学习模型的训练通常需要大量数据样本训练卷积神经网络以获得可靠的模型。而某些数据本身具有数量少、采集困难等特点。太小的数据量会导致训练模型泛化能力差，容易出现过拟合。迁移学习是指将一个领域训练好的模型通过适当的方法调整到另一个新的领域中[15]。在具有相关性的任务中，神经网络的浅层部分提取的特征具有相通性，而深层网络提取的高级特征用于各自特定任务，利用迁移学习的方法，将已有大规模数据集训练得到的低级特征迁移到新的网络中，再利用小数据集训练网络，不仅可以减少由于数据量小而出现的过拟合问题，还能缩短模型训练时间。

2.4.2 迁移学习策略

本研究利用Image Net数据集训练好的Mobile Net V2模型进行迁移学习，方法见图4，因模型中加入了SE模块，无法直接使用训练好的Mobile Net V2预训练模型，故仅选择具有相同参数的部分进行迁移，而模型输出层的全连接层和包含SE模块的部分不做处理。由于Image Net数据集和药丸图片样本集差异较大，为使模型更加适应药丸分类任务，在进行权重迁移后未采用仅训练模型分类器的方式，而是利用药丸数据集重新训练整个模型。本研究模型参数量级较小，重新训练网络计算量仍能控制在一定数量级。

图4 迁移学习策略  

3、结果与分析

3.1 数据划分

本研究使用的口服药丸图片数据集由德阳市人民医院提供，涉及95类药品，共728张图片，其中80%作为训练数据集，用于模型训练和参数学习；20%作为测试数据集，用于测试模型准确率、评估模型性能。

3.2 实验环境及相关参数

实验环境及相关参数见表2。实验采用Adam的优化方法对模型进行训练，超参数epoch设置为300，学习率设计为0.001。若训练精度在5个epoch内没有降低，则学习率下降10%，当学习率到达0.000 001则不再下降。

表2 实验环境及相关参数 

3.3 评价标准

为评价提出的网络模型对药丸图片的识别分类性能，对模型的分类准确率和模型参数量进行评估。Top-K Accuracy：即将类别数设置为所需分类的药丸类别（本研究为95种），其中，Accuracy为准确率，表示全体样本中预测正确的样本比例；Top-1代表预测可能性最大的类别为药丸正确类别的准确率，Top-5代表预测的前5个药丸类别中有正确类别的准确率。一般而言，Top-K Accuracy值越大说明模型性能越好。Accuracy计算公式为ACC=(TP+TN）/（TP+FP+FN+TN），其中，TP为真阳性，TN为真阴性，FP为假阳性，FN为假阴性。模型参数量：即模型内部总的参数量，用以衡量模型需要占取内存大小，参数越大代表模型运行需要消耗的内存越大，一般而言，达到相同准确率的情况下，模型参数越小越好。

3.4 对比实验结果

为了验证本研究提出的方法对药丸识别分类的效果，选取Res Net50、Shuffle Net V2和原始Mobile Net V2网络在本研究的自建药丸数据集进行实验。Res Net50网络被广泛应用于工程领域，具有较好的特征提取能力，在很多任务中表现出色[16];Shuffle Net V2是一款轻量型模型[17]，其参数量大幅低于一般CNN模型架构，而本研究评估模型性能指标为药丸分类准确率和模型参数量，故选取Res Net50、Shuffle Net V2进行比较较为合适。仿真实验结果见表3，其中，Top-5准确率显示各个模型表现优异，本研究算法达100.00%;Top-1准确率显示，Res Net50、Mobile Net V2、Shuffle Net V2得到的测试集精度分别为84.5%、84.2%、81.5%，本研究算法准确率达95.8%。  

表3 各模型在自建药丸数据集中的性能比较  

3.5 消融实验结果

为了证明融合迁移学习的方法和嵌入SE模块对模型的性能提升均有贡献，进行消融实验。1）仅采用迁移学习的方法进行实验。2）仅嵌入SE模块进行实验。实验中，主要以模型在测试集中的Top-1准确率为指标，结果显示，融合迁移学习的方法和嵌入SE模块均能提高模型准确率，改善模型性能，其中，迁移学习使模型准确率得到大幅度提升，与原模型相比提高了10.3%;SE模块次之，使模型准确率提高了2.1%，而参数量仅增加了0.20 M。见表4。  

表4 消融实验结果 

4、讨论

4.1 对比实验结果分析

从实验结果可知，Res Net50模型分类准确率最高，但需要大量的内存和计算资源，模型可移植性差；Shuffle Net V2模型参数量最小，但准确率也最低；Mobile Net V2虽然是一种轻量级网络，但训练效果接近Res Net50。Mobile Net V2网络参数量约为Res Net50的1/10，比Shuffle Net V2略微增多，但准确率增高较多。本研究算法在Mobile Net V2基础上进行改进，其分类准确率较Mobile Net V2提高了11.6%，明显高于其他网络。本研究算法分类准确率较Res Net50高11.3%，而总参数量仅为2.55 M，小于Res Net50。由此可见，在综合考虑准确率和参数量的情况下，本研究算法具有最佳表现，其对现实环境中采集的药丸图片也能良好辨别，更加便于投入实际应用。

4.2 消融实验结果分析

迁移学习能带来准确率提升，原因可能为：1）训练模型时需考虑到拍摄环境因素对药丸图片特征的影响，本研究未纳入足够数据量以涵盖环境引起的药丸颜色、形状、图片模糊程度等变化因素，因此，模型分类准确率上升至84%左右后即使训练轮次增加也难以再上升。由于Mobile Net V2在Image Net数据中预训练得到的特征表示包括颜色和形状信息，此时将Mobile Net V2预训练模型部分权重迁移至药丸分类模型，相当于在药丸数据训练模型之前，模型已在大规模数据基础上训练并且得到了对颜色、形状变化具有一定鲁棒性的特征表示，而当再次使用现实环境拍摄的药丸数据训练模型时，模型分类错误情况大大减少，药丸准确率大幅度上升。2）药丸数据集中每类样本数据量较少，导致分类器过度适应训练数据集及噪声等，无法适应新样本，造成测试准确率无法上升。而模型通过迁移学习得到大量浅层通用的特征表示，将这些特征应用于药丸分类中，有利于提高模型的泛化能力。

嵌入SE模块能提升准确率，原因可能为：1）药丸颜色、纹理、形状外观特征是网络分类的关键因素，受不同光照、拍摄角度、距离等环境因素影响，捕捉到的药丸颜色、纹理、形状存在差异，导致同类药丸图片差异增大、不同类别药丸差异减小，从而造成分类错误。从颜色特征角度考虑，红（R）、绿（G）、蓝（B）的3个通道分别对应药丸的颜色信息，每个颜色通道对不同光照条件的响应程度不同，而SE能判断哪些颜色通道对识别特定药丸更重要，哪些通道受光照影响较小，如在某个光照条件下，药丸的R通道更重要，且在光照影响下变化最小，那么SE会自适应地加大R通道的权重抑制其他通道，从而减轻整体颜色差异对模型造成的影响，最终提高分类准确率。同样，SE会搜寻通道中具有区分度的形状、纹理特征，更加关注对分类有利的特征，从而减小拍摄环境造成的影响。2）药丸数据集具有种类多、每类样本量少的特点，每类药丸供网络训练的特征信息有限，随着分类增加，网络分类难度增大，影响模型识别能力。而SE能在网络中建立药丸类别间以及类别中各样本通道间的联系，使网络挖掘到更多深层次的特征信息，并去除图片噪声带来的影响，一定程度上提高了训练效果。

可见，本研究涉及的改进均能给模型性能改进提供帮助。迁移学习和SE注意力机制较适合用于小样本的药丸分类任务，在有效提高药丸分类准确率的同时兼顾模型体积，方便在未来嵌入实际药丸自动分类系统中应用。

5、小结与展望

本研究从三级甲等医院住院药房的口服药丸自动分类系统实际需求出发，通过建立口服药丸图片数据集，结合深度学习模型和图像处理等计算机视觉技术，提出一个基于改进Mobile Net V2和迁移学习的口服药丸识别分类模型。首先，从模型体积和分类准确率综合考虑，选取Mobile Net V2作为骨干网络，以尽量减少药丸模型框架体积。其次，Mobile Net V2中嵌入SE模块，在增加微量开销的情况下可以使模型更加关注药丸特征通道间的联系，减少因环境造成的药丸图片颜色、形状等差异而导致识别错误的情况。最后，迁移学习方法将Image Net数据中训练过的Mobile Net V2部分权重迁移至药丸模型，模型得到对颜色、形状变化具有一定鲁棒性的特征表示，使模型在样本量有限的情况下可以应对复杂拍摄环境的影响，并部分解决了由于样本数据量有限导致的分类准确率无法得到提升的问题。另外，在数据预处理阶段，鉴于采集到的药丸在图片中的位置不一问题，通过边缘检测的方法对药丸图片进行裁剪，有利于在不降低药丸图片像素的情况下去除大量背景信息，提高训练效率。最终本研究建立的模型参数总量为2.55 M，在95种口服药丸图片分类任务中，对现实情况中拍摄的多类药丸图片Top-1分类准确率高达95.8%，满足模型对样本量有限且非受控条件下采集的数据保持高分类准确率的需求，实现了药丸图片分类的低计算资源消耗与较高准确率的双重要求，为药房、护理等医院实际场景条件下涉及的药丸自动分类系统提供了技术路线和效果验证，对于提升我国药房发药、病房分药等的自动化水平具有一定的理论和实际应用价值。从医学临床应用角度来看，本研究的药丸分类识别模型仍需要进一步深入探究和完善：该模型的识别准确率受多个因素影响，包括图片质量、药丸类别数目和每类样本量等。由于药房中药丸种类繁多，对每类药丸进行多张图片采集需要耗费大量时间，从而限制了数据集的规模和质量，一定程度上影响了模型的训练效果。未来随着药丸种类和数量的增加，将进一步验证本研究模型的性能，以使构建的识别模型更加符合住院药房实际需求。其次，该模型如需投入住院药房中使用，为确保用药安全，其准确率仍需进一步提高，而当前存在的分类错误通常发生在药丸类间差距极小的情况下，针对易混淆的药丸，单纯的增加样本数并不能有效提高分类准确率，因此未来需着重将易混淆药丸的特征进行细化研究，使模型达到更高的准确率，确保用药安全性。最后，将研究模型应用于实际临床分类时，需要结合药丸图片和临床处方等文本信息，以提高分类准确率并实现个体化用药建议。这样设计的药丸自动分类系统更符合医院流程，增强了模型的实际应用价值。这将有利于提高药房工作效率和医疗质量，减轻护士及药剂师工作压力，从而更好地服务病人。

参考文献:

[1]陈继涢,叶岩荣,严大鹏.我院住院药房全自动分包机拆零药品安全管理[J].中国医药科学,2021,11(24):18-21;33.

[2]武娜,姚青霞,康晓娜.全程化药学服务在医院住院药房的应用现状分析[J].中国卫生产业,2020,17(9):77-79.

[3]赵洁清.住院药房口服摆药常见问题及建议[J].中国当代医药,2012,19(21):195-196.

[4]李帅.智慧药房中药品图像分割与识别研究[D].西安:西安电子科技大学,2020.

[6]张震江,施华宇,辛海莉,等.深度学习技术辅助门诊发药实践[J].中国数字医学,2019,14(3):56-58;107.

[7]施华宇,刘敏超,辛海莉,等.利用深度学习技术构建药品包装识别系统方法研究[J].中国医院,2019,23(10):16-18.

[8]王振亚,赵继红,王艳鹏,等.基于改进EfficientNet网络的药片检测分类的研究[J].现代计算机,2021,27(28):27-32.

[15]张凯,于航.基于深度学习的遥感图像土地分类研究[J].计算机时代,2022(9):108-110;114.

[16]孙俊,朱伟栋,罗元秋,等.基于改进MobileNet-V2的田间农作物叶片病害识别[J].农业工程学报,2021,37(22):161-169.

基金资助:国家自然科学基金“数学与医疗健康交叉”重点专项项目,编号:12126606;四川省科技计划项目,编号:2023YFS0201;德阳科技(揭榜)项目,编号:2021JBJZ007;琶洲实验室(黄埔)研发项目,编号:2023K0605;

文章来源:王茜玉,李南欣,向凡等.基于深度学习的住院部口服药分类模型的构建[J].护理研究,2024,38(06):948-954.