超构光学是研究具有亚波长尺寸单元的人工结构并按需得到预想光学/电磁功能的光学学科方向，超表面作为超构光学领域最具关注度的一个光学材料，因其所具有的新奇特性为灵活调控光场奠定了基础，具有设计灵活、物理内涵丰富等诸多优点，有望在未来众多科技领域产生颠覆性的作用[1]。随着人工智能的发展，研究人员还逐渐尝试将超表面信号的识别与深度学习相结合进行研究。然而，超表面信号不易大量采集，这就导致传统人工神经网络 (traditional artificial neural network, ANN) 在完成光学信号的识别任务时没有取得理想的效果。

脉冲神经网络(spiking neural network, SNN) 是一种由脉冲神经元构建的，通过脉冲交换信息的神经网络，它被称为是第三代神经网络模型，有望在实现人工智能的同时，降低计算平台的能耗。有研究指出：利用少量数据进行学习可能是SNN能超过ANN的领域之一[2],所以SNN会更适用于光学信号识别领域的研究。然而，目前大多数SNN模型还局限在浅层全连接结构，识别准确率亟待提高。近年来，为了提高SNN的性能，人们进行了大量的研究和探索。

最先引起研究人员关注的是转换SNN。2019年，SEVERA等[3]提出了一种称为“磨刀石”的新颖SNN转换方式：在ANN网络中采用有界ReLU函数作为激活函数，在完成最初网络训练之后，逐层地进行有界ReLU函数向阶跃函数的渐进式转换，并在观察到一定性能下降时重启对网络的训练，完整训练流程结束后即可得到对应的SNN网络。然而，转换SNN存在一定的局限性，它完成一次前向推理通常需要几百至几千时间步的长时间模拟，造成了性能下降，与SNN直接训练算法差距颇大，这导致了与原始目的相悖的额外延迟和能耗[4]。

近年来，研究人员开始将目光聚集于脉冲神经网络与当前计算机科学导向的以深度卷积网络为代表的人工神经网络的交叉融合的研究。2018年，KHERADPISHEH和GANJTABESH等[5]提出一种加入了DoG滤波器和卷积层的深度脉冲神经网络，并在加州理工大学人脸/摩托车数据集和MNIST数据集上分别取得了99.1%和98.4%的准确率；2020年，WANG等[6]提出了一种基于时空压缩脉冲特征提取的CompSNN,并提出一种多脉冲时间编码方式，在MNIST取得了91.22%的识别准确率。

总之，从现有研究来看，SNN的应用场景还局限于图像识别以及神经形态计算，几乎没有将其应用于光学信号识别领域的研究。而且，由于SNN提出得比较晚、发展得比较慢，大部分SNN模型仍局限于浅层结构，识别准确率亟待提高。也就是说，文中研究的基于时间卷积脉冲神经网络(temporal convolutional spiking neural network, TCSNN)的超表面信号的识别有很大的研究和发展空间。

针对SNN大多局限于浅层结构而导致的识别准确率较低这一问题，文中在全连接SNN的基础上，加入时间卷积和残差结构两个模块，搭建了TCSNN模型。然后，在超表面信号数据集上，与全连接的SNN和脉冲卷积神经网络 (convolutional spiking neural network, CSNN) 两个模型进行了对比实验，对所提出的TCSNN的性能进行了评估。实验结果表明，文中提出的TCSNN可以取得更好的识别效果。

1、方法

首先介绍了提出的基于TCSNN进行超表面信号识别这一方法的具体流程，然后说明了提出的TCSNN模型结构，最后详细介绍了提出的模型的各个模块。

图1展示了超表面信号识别实验的流程图，如图1所示。首先建立了超表面信号数据集，并将其按照6∶2∶2的比例划分为训练集、验证集和测试集。将训练集传入TCSNN进行训练，每结束一次训练就将验证集输入训练好的网络进行验证，计算其识别准确率和损失值；然后，判断网络识别的效果是否符合预期，若不符合预期，则调整参数重新训练，直到结果符合预期为止；若符合预期，则保存训练好的网络；最后，将测试集输入网络进行测试，得到输出结果，并保存测试准确率。

图1 超表面信号识别实验流程图

为了有效地学习光学信号的特征，文中在浅层SNN的基础上，加入时间卷积进行特征提取，并引入残差结构设计了一个TCSNN。图2展示了所提出的网络的结构，TCSNN是由时间卷积模块、残差结构和脉冲分类器组成的。下面具体介绍一下各模块的原理。

图2 提出的TCSNN模型的结构

1.1 脉冲神经元模型

脉冲神经网络是一种贴近于生物神经的网络，信息以脉冲的形式在神经元之间通过突触进行传播以及处理[7]。脉冲对突触后神经元的影响可以用植入细胞内的电极来记录，该电极测量细胞内部与周围环境之间的电势差u(t),这个电势差被称为膜电位。脉冲神经元模型的根本是模拟神经元在接收到外部信号的过程中膜电位的变化。图3展示了膜电位的变化，可以看到在没有任何输入的情况下，神经元处于静息状态，对应于恒定的膜电位urest;在脉冲到达后，电势会发生变化，膜电位逐渐积累，一旦达到阈值uth就会发放脉冲，发放的脉冲的形状是相似的，其传递的信息实质在于某时刻脉冲的有无。脉冲发放后会进入不应期，在不应期内不会再次发放脉冲，同时膜电位会逐渐衰减到静息电位[8]。

图3 膜电位变化

LIF(leaky intergrate and fired)模型是最常用的脉冲神经元模型，由于细胞膜是不断进行膜内外离子的交换，所以当只有一次输入时，电压会自动发生泄漏逐渐回落到静息状态。LIF模型实质上就是由式(1)定义的Leaky Intergration和式(2)定义的Reset两部分组成：

式中：τm表示一个时间常数；当膜电位u上升到阈值uth时，神经元会发放脉冲并进入的不应期，动作电位产生后马上将膜电位置为ur。

1.2 时间卷积

时间卷积网络可以实现跨时间步提取特征，在多种任务上的性能都能达到甚至超过RNN模型。时间卷积网络能够实现跨时间步提取特征的主要原因在于它拥有膨胀因果卷积结构，也称为时间卷积结构。

传统卷积对时间的建模长度受限于卷积核的大小，如果要想抓去更长的依赖关系，就需要线性地堆叠很多的层[9]。如图3(a)所示，和传统卷积不同的是，膨胀因果卷积允许卷积时的输入存在间隔采样，采样率受膨胀卷积的扩张率d控制。使用膨胀因果卷积可以使得上层的节点感受也更大，这样也就可以引入更多的历史信息。一般d随着层数指数增加，每层计算卷积时相隔d-1个位置进行[10]。

1.3 残差结构

依据经验可以发现，随着网络深度的加深，训练错误会先减少再增多，实验表明错误的增加并不是由于过拟合产生，而是由于网络变深导致难以训练[11]。从理论上分析，网络深度越深越好，但实际上，随着网络深度的增加，训练误差会越来越多，这被描述为网络退化[12]。残差块引入了一种将数据从一层绕过另一层的方法，即跳跃连接[13]。这种方法允许数据在各层之间轻松流动，而不会妨碍深度学习模型的学习能力，这种结构会跳过损害了模型性能的网络层，所以残差结构可以使网络的性能得到提升。

2、实验设置及结果分析

实验是在配置了Intel(R) Core(TM) i7-8700K CPU @ 3.70 GHz的处理器的计算机上进行的，提出的网络模型是基于Pytorch 3.8和SpikingJelly框架实现的。

训练中采用Adam优化器，每一次优化后，都需要重置网络的状态，这是因为SNN是有状态的网络，所以在输入新数据前，需要通过调用“reset_net(net)”函数将网络的状态重置，这个函数定义在SpikingJelly框架的Functional模块中。输出层中脉冲发放频率最高的神经元的下标i是识别结果，损失函数为输出层神经元的脉冲发放频率与真实类别的均方误差(mean square error, MSE)。

2.1 超表面信号数据集的建立

超表面被视为超材料的二维对应，是指一种厚度小于波长的人工层状材料，它可以通过在交界面处对电磁波的相位特性进行特定调控，来突破自然材料的斯涅尔定律限制，从而实现各种奇异的电磁现象[14]。

金属材料是太赫兹超表面常用的构成材料[15],文中构建了一种随机金属超表面，利用COMSOL对模型进行仿真，边界条件选择为周期性条件，仿真的频段为0.2～2 THz, 由于该结构为透射性结构，文中选用了结果中的S21参数作为结构电磁响应的表征。金属太赫兹超表面的结构可以看作是由288个单元小方块组成的，金属超表面的结构样式由每一个单元小方块上面是否附着金属决定，构建的金属太赫兹超表面可以对每一个单元小方块的表面电流进行单独设置，将没有覆盖金属的单元的表面电流设置为0,将覆盖了金属的单元的表面电流设置为1,即每个单元有0/1两种状态，所以这种金属超表面的结构参数就可以表示为一串01数字[16]。

通过调整金属太赫兹超表面的结构参数可以得到对应的超表面在太赫兹波段的频谱响应，文中建立的超表面传输信号数据集就是金属超表面在太赫兹波段的频谱响应信号。MATLAB的每一次运行都会将对应的数据保存添加至数据集中，随机取数据集中的一个的样本，并将数据可视化，可以得到如图4所示的结果。其中，图4(a)为频谱响应曲线图，横坐标是频率，纵坐标是S21参数。金属太赫兹超表面的结构和频谱响应序列是对应的，其对应关系如图4(b)所示。

图4 金属太赫兹超表面的结构参数和频谱响应

2.2 评价指标

2.2.1 准确率(Accuracy)

Accuracy表示的是分类正确的样本占总样本个数的比例[17],计算式为：

式中：ncorrect为被正确分类的样本个数；ntotal为总样本个数。

Accuracy是分类问题中最简单直观的评价指标，然而当不同类别样本的比例非常不均衡时，占比大的类别往往成为影响准确率的最主要因素，这就导致准确率存在一些缺陷[18]。所以还需要引入其他指标进行分析。

2.2.2 精确率(Precision)

Precision指模型预测为正的样本中实际也为正的样本占被预测为正的样本的比例，它指出了分类器不将负样本标记为正样本的能力。计算式为：

式中：TP表示实际为正被预测为正的样本数量；FP表示实际为负但被预测为正的样本数量。Precision的最好的值是1;最差的值是0。

2.2.3 召回率(Recall)

Recall指实际为正的样本中被预测为正的样本所占实际为正的样本的比例，它可以直观地说明分类器找到所有正样本的能力。计算式为：

式中：Recall的最好的值是1,最差的值是0。

2.2.4 F1-score

F1-score可以解释为Precision和Recall的加权平均值，计算公式为：

式中：Precision体现了模型对负样本的区分能力；Precision越高；模型对负样本的区分能力越强；Recall体现了模型对正样本的识别能力；Recall越高，模型对正样本的识别能力越强。F1-score是两者的综合，所以，F1-score越高，就说明模型越稳健。

2.2.5 Kappa系数

Kappa系数主要用于一致性检验，可以用于衡量识别的精度，是基于混淆矩阵计算的。其计算式为：

式中：po是总体分类精度；a1,a2,…,aC是每一类样本的实际个数；b1,b2,…,bC是预测出来的每一类样本的个数；n是样本总数。Kappa系数通常落在 0～1 之间，可按如表1所示的五组范围来表示不同级别的一致性。

表1 Kappa系数表示的一致性级别

表2 消融实验结果

由表可知，只加入时间卷积模块或只加入残差结构时，Accuracy、Precision和Recall均有所提高。当同时加入时间卷积和残差结构时，模型的识别Accuracy为92.27%,明显高于其他三种情况，Precision和Recall也明显优于其他三种情况。由此可见，加入的时间卷积和残差结构是有效的。

另外，考虑到加入时间卷积层的数量可能也会对识别Precision有所影响，为了选择识别效果最佳的网络结构，在划分为3类60个样本的超表面传输信号数据集上进行了对比实验，实验结果如表3所示。

观察表中结果可以发现，加入2个时间卷积层的模型识别Accuracy高于1个时间卷积层的模型，但是当继续增加时间卷积层的数量，识别准确率会逐渐下降，即当时间卷积层的数量为2时，模型可以达到最优的识别Accuracy。所以我们选择在模型中加入2个时间卷积层，这样就得到了如图2所示的TCSNN模型的结构图。

表3 验证时间卷积层的数量对识别精度的影响

2.4 超表面信号识别的结果与分析

为了评估提出的TCSNN的性能，在划分为3类的超表面传输信号数据集上，将该模型与全连接的SNN和CSNN进行了对比实验。需要注意的一点是，作为对照组的模型，也是通过实验选择了其识别效果最佳的超参数和网络结构。为了更好地验证网络性能，文中取了不同数量的样本分别进行了对比实验，结果如表4所示，其中，样本量用数据类别数乘以每类的样本量表示。

分析表4中的结果可知，当TCSNN对划分为3类的60个超表面传输信号样本进行识别实验时，识别Accuracy可以达到92.27%,随着样本量逐渐减少，Accuracy也逐渐降低，但即使仅有15个样本，识别Accuracy也可以达到81.75%。显然，和另外三个模型相比，不论样本量多少，TCSNN的识别Accuracy都是最高的。

为了进一步说明TCSNN可以取得更好的识别效果，文中还选择了其他4种常用的评估指标(包括Precision、Recall、F1-score和Kappa系数)来进行网络性能评估，这里的结果是在划分为3类的60个超表面传输信号样本上进行实验得到的。表5给出了3种模型在不同评估指标方面的结果对比，显然，无论从哪个指标进行分析，都可以得到“TCSNN的识别效果最好”这一结论。

*样本量=类别数量×每个类别的样本量

表4 不同样本量的超表面传输信号数据集的识别准确率(%)

表5 不同评价指标下的结果(3类，60个样本)

3、结论

总之，文中提出了一种将TCSNN应用于超表面信号的方法。首先基于COMSOL仿真和MATLAB编程建立了金属太赫兹超表面信号数据集。然后在常见的浅层全连接的SNN的基础上，加入时间卷积和残差结构两个模块构建了TCSNN模型，并基于建立的超表面信号数据集，与浅层全连接的SNN和CSNN进行了对比实验，评估提出的网络的性能。实验结果表明，TCSNN在60个划分为3类的超表面传输信号数据集上可以取得92.27%的识别准确率，且无论样本量多少，TCSNN的识别效果都比另外两个模型更好。

未来计划进行更多其他光学器件信号的识别实验，不再局限于超表面。此外，从目前的实验可以看出，该模型仍有很大的改进空间，所以下一步还准备继续对模型进行改进，并尝试基于模型进行其他不易大量采集的一维信号的识别研究。

参考文献:

[11]石驰宇,周冕.基于检测､重识别和社会长短型记忆网络的多目标行人跟踪[J].天津理工大学学报,2022,38(2):23-28.

[18]刘如慧,姜军,王剑峰,等.基于BP神经网络的双模型光伏发电量预测[J].天津理工大学学报,2020,36(1):25-30.

基金资助:国家自然科学基金面上项目(62274119);

文章来源:孙娜,李毅.基于时间卷积脉冲神经网络的超表面信号识别[J].天津理工大学学报,2024,40(06):87-93.