1.
中国矿业大学 信息与控制工程学院, 江苏 徐州 221000
2.
中国矿业大学 机电工程学院, 江苏 徐州 221000
3.
北京航天计量测试技术研究所, 北京 100076
基金项目: 国家自然科学基金(No. 62071471);江苏省自然科学基金(No. BK20211244)
太赫兹(Terahertz,THz)波是介于毫米波与红外光之间的电磁波谱[1],频率在0.1~10 THz之间。与微波、红外成像相比,THz波具有以下特性:光子能量低,对物质电离作用小;易透过陶瓷、塑料等常见非极性和非金属材料,可对其内部进行成像;许多生物大分子振动和转动能级处于THz频段,可以建立分子指纹特征谱,鉴别物质成分;对水敏感性高,非常适合做物质的含水量分析[2]等等。这些特性使THz技术被广泛地应用于光谱分析、安全检查、医疗诊断以及工业检测[3-10]等领域。
在无损检测中,THz检测及成像技术得到了很好的应用,比如在热障涂层的检测中取得了一些研究成果[11-12]。然而,为了研究热障涂层服役状态与内部微观结构的关系,以直观反映涂层内部信息,需要重建高质量图像。在其它领域的应用中也有同样需求。因此,如何获得THz超分辨率图像已经成为THz技术的研究热点。
目前,THz超分辨率成像主要有两种解决方案:一个是成像系统方面,以近场探测倏逝波来突破衍射极限的思路设计相关光学器件,采集近场倏逝波,达到超分辨率成像目的;以超材料为基础的超透镜实现对倏逝波放大,以达到超分辨率成像;此外,THz波段的喷射效应也可实现超分辨率成像。另一个是信号处理方面,超分辨率重建与卷积计算均为提升图像质量的有效手段。通过学习方法建立模型,确定低分辨率图像与高分辨率图像之间的映射关系,进一步对未知低分辨率图像进行超分辨率预测,得到超分辨率图像;卷积计算等方法则是直接对低分辨率图像进行处理,以提高成像分辨率。
本文主要对利用成像系统以及信号处理技术实现超分辨率成像的方法进行综述。
THz成像可分为连续波成像与脉冲波成像。如图1(a)所示,THz连续波系统(Terahertz Continuous Wave, THz-CW)采集信号,使用THz波振幅信息进行实时成像[13]。耿氏二极管作为辐射源,辐射出的THz波穿过分光镜(BS)后由透镜聚焦到待测样品上,最后由肖特基二极管和振荡器探测信号。图1(b)(彩图见期刊电子版)为THz时域光谱系统(Terahertz Time-Domain Spectroscopy, THz-TDS),它可以同时获得振幅和相位信息进行成像。THz-TDS系统有透射模式和反射模式两种常用模式[14],THz脉冲照射样品后将携带其信息,此时与探测脉冲共同作用至探测器上,实现信号采集,根据等效时间采样定理,还原时域THz波信号,实现THz脉冲的检测[15]。
图 1 太赫兹成像装置原理图。(a)太赫兹连续波系统;(b)太赫兹时域光谱系统
Figure 1. Schematic diagram of the terahertz imaging device. (a) THz-CW system; (b) THz-TDS system
连续成像系统应用THz信号强度信息成像,移动样品进行逐点扫描,可获得二维图像。目前有研究人员[16]提出,基于三角波调制原理对连续THz波进行调频,可以实现样品内部不同深度信息的采集。
当THz脉冲作用在样本上时,可获取其透射或反射波形。其中,被测样本的折射率、吸收系数以及厚度等会改变THz波的脉冲幅度和相位。通过平移样本,可获取不同点的THz波形,从而逐个像素构建出被测样本完整的THz图像。由于每个像素都包含一个完整的时域波形,故THz时域波形的最大幅度、最小幅度或者到达时间均可以用来重建二维图像,经傅立叶变换到频域中,单个频点的幅值或者相位也可以用来重建图像。
THz-TDS层析成像可对三维物体的内部结构进行成像[17]。将特定时间点的时域波形幅值作为成像特征,重建二维图像,堆叠不同时间点的二维图像可以重建出被测对象的三维图像。THz脉冲时间分辨率在皮秒量级,故飞行时间法能够以微米级分辨率确定交界面位置,还可以通过分析交界面处的反射率获得物质的折射率信息[18]。
根据衍射效应可知,在光学成像过程中,一个点物经过光学系统后所成的不是一个点像,这从根本上限制了光学系统的成像性能。
样品散射信息中的近场信息包含了表征样品高频成分的倏逝波,因此有研究人员通过探测倏逝波,实现近场成像,突破衍射效应限制,提高成像分辨率。
物体发射或散射的电磁场可分为两个部分:远场与近场。其中,远场有能流传播,不携带样品细节信息,振幅与传播距离成反比;近场无能流传播,但携带更多细节信息,振幅随距离增加呈指数衰减。倏逝波作为近场的一种驻波,在介质边界处传播,如图2(a)所示,仅存在于样品表面波长范围内。Synge等人首次提出应用近场扫描系统实现光学超分辨率成像方法[19],如图2(b)所示。通过探针在近场探测倏逝波,可以实现λ/20�/20的分辨能力。
图 2 (a)倏逝场示意图和(b)近场扫描示意图[19]
Figure 2. Schematic diagrams of (a) evanescent field and (b) near field scanning[19]
研究人员借鉴微波、红外、可见光等其它波段成熟方法[20],提出了THz波段的近场成像技术,以实现物体表面的无损扫描[21-24]。图3(a)是共焦法光学成像系统[25],初步可实现λ/4�/4分辨率。随后,研究人员发现应用波导探测反射信号,可降低传输损耗[26-28],提升入射与出射THz波的耦合效率,进一步提升成像分辨率。图3(b)将平行平板波导作为耦合增强装置,应用滤波反投影算法重建图像,最小分辨力可达100 μm(λ/15�/15)。同样,Yu等人结合3D打印技术设计THz空芯共焦波导[29-30],实现超分辨率成像。孔径法则将亚波长孔径放置于近场区域内,通过探测器采集倏逝波,其空间分辨率不受入射波长限制,图3(c)为同心周期凹槽的亚波长孔径[31],这种结构实现了λ/17�/17的空间分辨率。光导探针结构如图3(d)所示,光电导天线设计为亚波长量级锥形针尖结构,将针尖放置于样品近场区域,可以获得超高分辨率。如图3(e)所示,采用直径为0.2 μm的探针对封装芯片进行检测,最小分辨精度能达到0.55 μm [32],目前光导探针测量技术在生物医学诊断、电路缺陷检测等相关领域得到了广泛的应用[33-34]。
图 3 太赫兹近场成像方法示意图。(a)共焦法原理图[25];(b)波导法示意图[28];(c)孔径法示意图[31];(d)光导探针示意图[32];(e)光导探针测量过程示意图[32]
Figure 3. Principle diagram of Terahertz near field imaging method. (a) Schematic diagram of confocal method[25]; (b) schematic diagram of waveguide system[28]; (c) schematic diagram of aperture system[31]; (d) schematic diagram of photoconductive probe[32]; (e) schematic diagram of photoconductive probe measurement[32]
Pendry等人[35]发现电磁波在负折射率材料中传输时,倏逝波振幅呈指数级增长,基于此,提出了“完美透镜”理论被提出,也称为超透镜,它可以放大倏逝波。然而,自然界中并不存在负折射率材料。
超材料是亚波长尺度微纳器件中的典型代表,是由亚波长尺度的有序结构单元组成的宏观复合材料[36]。通过设计不同的尺寸和结构,可以获得负折射率或超高折射率。图4(a)为开口谐振环结构[37],在垂直于环面的磁场分量激励下,产生磁响应,其磁谐振频率约为1.0 THz ;图4(b)(彩图见期刊电子版)为多层吸波器[38-39],由金属线谐振器和损耗介质组成,在中心频率为1.06 THz,0.5 THz频宽范围内,能实现超过95%高吸波率。
图 4 太赫兹超材料。(a)开口谐振环结构[37];(b)太赫兹吸波器[38]
Figure 4. Terahertz metamaterials. (a) Split resonant ring[37]; (b) terahertz absorber[38]
Grbic[40]利用负折射率开展成像实验,首先在微波频段得到了λ/5�/5的成像分辨率。由于该超材料工作过程中损耗严重,因此研究人员改变思路研制“单负”透镜,只需使透镜介电常数为负,即可实现倏逝波放大[41]。在THz频段,利用周期性金属结构可获得理想超透镜,常见的周期性金属结构主要有金属光栅和亚波长周期金属线两种典型结构。金属光栅超透镜具有各向异性双曲色散材料特性,可实现渠道运输成像。图5(a)(彩图见期刊电子版)为Jung等人设计的金属光栅,其在3 THz中心频率处可实现λ/7�/7成像分辨率[42]。随后Huang等人对上述光栅结构进行改进,使用扇形光栅,如图5(b)(彩图见期刊电子版)所示,可将成像距离拓展至远场,并在0.3 THz中心频率下得到λ/10�/10成像分辨率[43]。
图 5 太赫兹光栅超透镜。(a)金属光栅超透镜[42];(b)扇形光栅超透镜[43]
Figure 5. Terahertz grating metalens. (a) Metal grating metalens[42]; (b) sector grating metalens[43]
亚波长周期金属超透镜可以通过调控材料参数实现对倏逝波的传输和控制。图6(a)(彩图见期刊电子版)为Belov等人首次利用周期金属结构设计超透镜,并将金属结构设计为放射状,仿真得到了λ/6�/6的成像分辨率[44]。随后在红外频段仿真得到λ/10�/10的分辨率,并在10 THz中心频率下进行验证,研究人员发现随着频率升高,材料色散和损耗特性更为突出[45-46]。Tuniz等人设计了如图6(b)(彩图见期刊电子版)所示的周期金属结构,表面由聚甲基丙烯酸甲酯(Polymethyl Methacrylate,PMMA)中空管与铟丝(Indium)堆叠而成,铟丝被环烯烃聚合物(Zeonex)包围,聚合物在THz波段吸收率较低,通过微丝阵列在0.11 THz中心频率下近场扫描得到λ/28�/28成像分辨率[47],首次在THz波段验证了周期金属线超分辨率成像能力。然而,亚波长周期金属结构超透镜结构庞大、损耗较高,在实际应用中仍然存在诸多不便之处。
图 6 太赫兹金属超透镜。(a)放射型金属线超透镜[44];(b)周期金属线超透镜[47]
Figure 6. Terahertz metal metalens. (a) Radial metal wire metalens[44]; (b) periodic metal wire metalens[47]
石墨烯是一种单层的半金属材料,利用电学或者化学方式掺杂[48-49],不同掺杂方式的石墨烯等离激元(Graphene Surface Plasmon,GSP)的工作频段在红外至THz波段变化。基于等离激元超透镜思想,可以使GSP在THz频段实现超分辨率成像。图7(a)(彩图见期刊电子版)是Taubner等人设计的双层石墨烯结构,识别金属狭缝可得到λ/7�/7分辨率[50],对金属圆孔进行成像实验[51],分辨率达到了λ/11�/11。与光学双曲色散材料不同,石墨烯双曲色散材料能同时支持横电波和横磁波。Andryieuski等人设计的扇形结构超透镜,如图7(b)(彩图见期刊电子版)所示,通过石墨烯和介质的角向堆叠可以在THz波段实现λ/5�/5远场超分辨率[52]。随后,Tang等人结合扇形调制设计了单层石墨烯超透镜,电极结构如图7(c)(彩图见期刊电子版)所示,在4.5~9 THz带宽下调制THz波,实现了λ/150�/150的超分辨率成像[53-54]。现阶段石墨烯的加工和测试等较难完成,特别是石墨烯的周期性调制还存在较大挑战。
图 7 太赫兹石墨烯超透镜。(a)双层石墨烯超透镜[50];(b)扇形多层结构石墨烯双曲超透镜[52];(c)扇形调制结构石墨烯双曲超透镜[54]
Figure 7. Terahertz graphene metalens. (a) Dobule-layer graphene metalens[50]; (b) sector multilayer graphene hyperbolic metalens[52]; (c) sector modulated graphene hyperbolic metalens[54]
超表面为超材料的二维结构形式,给THz超透镜提供了新的思路。Jiang等人设计全介质超表面透镜[55],焦长和半径均为300λ�,聚束时最大入射角达48°,证明超表面在THz波段具有聚焦与成像能力。随后Yang等人结合光学超振荡理论设计超表面透镜[56],获得半峰全宽为0.67λ�的聚焦光斑,突破了衍射极限。
综上,超透镜成像能很好地实现超分辨率重建,但是目前大多数超透镜成像方法仍处于实验室研究阶段,且对检测环境要求较高,损耗和集成等问题仍然非常严峻。
研究人员发现介质微球能够在白光光源下,获得突破衍射极限的成像分辨率。微球透镜可把倏逝波转换为传播波,其高频信息得以进入光学系统,可实现超分辨成像。这种超分辨率成像的原理基于光子喷射效应[57]。
将聚四氟乙烯介质柱体放置于距样品表面0.5 mm (λ/5�/5)处,对入射THz波经过二次聚焦和调制,可实现亚波长太喷射效应,通过THz-CW系统进行成像达到λ/2.3�/2.3分辨能力[58]。如图8(彩图见期刊电子版)所示,在THz-TDS系统的两个抛物面镜中间放置直径为3 mm 聚四氟乙烯介质小球[59],对宽度为110 μm 的硅基介质光栅进行成像,能够明显地分辨出介质光栅条纹。
图 8 太喷射THz-TDS应用[59]。(a)聚四氟乙烯介质小球工作示意图;(b)硅介质光栅成像对比图
Figure 8. Terajet THz-TDS application[59]. (a) Working diagram of teflon sphere; (b) comparison chart of silicon dielectric grating imaging
综上,太喷射效应也可以实现超分辨率成像,但还存在如下问题:(1) THz波经介质结构后所产生的光场形状、大小等与仿真结果的一致性有待实验验证;(2)超精细结构信息的增强与探测、超分辨信息的提取等也有待进一步研究与探讨。
在已有THz成像系统上,应用信号处理技术提升分辨率是一种经济实用且有效手段,目前常用方法主要有图像超分辨率重建以及卷积等方法。
图像超分辨率重建主要可分为两类,一类是图像插值方法,该方法不需要训练样本,通过增强图像边缘提高图像分辨率[60];另一类为应用学习方法实现图像分辨率的提高,其中稀疏编码和卷积神经网络等是目前常用的学习方法[61-62]。
郭等人使用图像插值方法进行THz图像超分辨率重建[63],其中低频信息得以有效恢复,但高频信息丢失。为了更好地保留高频信息,有研究人员将学习法与太赫兹图像超分辨率重建结合使用。
基于学习方法的超分辨率重建被广泛应用于光学、电子学等各个领域。邓等人提出一种局部约束稀疏编码方法用于实现红外图像超分辨率重建[64]。但在该稀疏模型中,字典的不完备限制了超分辨率重建效果。基于此,邵等人将深度学习方法引入超分辨率重建[65],利用卷积神经网络建立训练模型,实现超分辨率重建。同样,席等人提出基于深层残差网络超分辨率重建方法[66]。该方法主要用于解决卷积神经网络计算量大、收敛速度慢以及图像纹理块模糊等问题。
在红外图像超分辨率重建技术的发展过程中,一些学者研究了基于学习的THz图像超分辨率重建。卢等人通过卷积神经网络模型实现了THz图像超分辨率重建[67]。其中,卷积神经网络是经过离散的固定水平训练,这使得网络恢复水平与THz图像不匹配,重建过程计算量巨大,耗时严重。Li等人通过结合THz成像系统三维退化模型[68],通过点扩散函数(Point Spread Function, PSF)确定成像范围与相应图像恢复水平之间的关系,如图9(彩图见期刊电子版)所示。针对THz波聚焦不同纵深处PSF不断变化这种情况,通过模型确定成像范围和相应的图像恢复水平之间的关系,实现不同深度THz图像的超分辨率重建。
图 9 适应性超分辨率方法示意图[68]
Figure 9. Schematic diagram of an adaptive super-resolution method[68]
纵向分辨率同样是评价成像质量的重要指标,当前提升纵向分辨率的方法主要有小波分析与反卷积,它们均是通过卷积运算进行THz信号处理。
小波分析在信号处理、数据压缩、图像处理、地震勘探、语音处理、机械故障诊断等多个领域发挥了重要作用[69-70]。水蒸气对THz波吸收会产生信号干扰,降低信号质量。邓等人提出使用 Gabor 小波分析方法处理THz信号,结果表明小波变换适合于THz波的时域特性分析[71]。随后,陈等人在空气中使用THz-TDS系统对淀粉、阿司匹林、苏打以及二苯甲酮4种样品进行逐点扫描成像,经小波变换对THz信号进行处理,样品图像识别效果清晰[72]。
在复杂薄样品检测中,THz中心波长在亚毫米量级,而纵向分辨率难以逾越这个量级,无法辨别样品内部分界面。Dai等人使用中心频率为0.3 THz成像系统对带有预埋缺陷多层隔热毡薄样品进行检测,其上下表面反射峰距离太近因而产生混叠,使用Gaus2小波对所有检测点信号进行处理,可以有效分辨出混叠峰[73]。图10(彩图见期刊电子版)给出了小波变换处理前后的图像对比,可以看出,经过小波变换处理后,可精确定位隔热毡缺陷区域,且与实际样品吻合良好。
图 10 采用Gaus2小波变换处理前后的成像对比图[73]。
Figure 10. Imaging comparison diagram[73] (a) before and (b) after Gaus2 wavelet transform
Zhang等人使用THz成像系统对集成电路进行检测,选择db5小波基进行处理,使得成像分辨率得到提升[74]。同样,张等人使用THz成像系统对预制楔形缺陷酚醛塑料板进行检测,使用小波变换软硬阈值方式处理检测信号后再进行成像[75]。结果显示:该方法处理后能清晰分辨出样件内部的结构变化,有效提升了成像分辨率。
利用THz反卷积同样可以解决反射峰混叠,使纵向分辨率得到提高[76]。Dong等人使用中心频率为1.5 THz的成像系统对聚酯涂层进行检测,在涂层中预制腐蚀、分层以及气泡等各类失效情况,使获得的THz信号存在严重混叠。通过反卷积后,反射峰更容易辨识,因此可以提升成像分辨率[77-78]。同样,Ye等人应用THz成像系统检测热障涂层,在涂层内部预制两种不同规格平行裂纹[79]。通过对THz信号进行反卷积处理,能有效分辨出裂纹宽度,将最小分辨精度从130 μm提升到了80 μm。
然而,卷积方法通过压缩反射峰脉宽消除混叠现象,在压缩过程中会引起THz时域信号的失真,使厚度测量结果不准确。因此,在使用反卷积时,需要事先确定样品折射率、消光系数等参数,才能准确地提升纵向分辨率。
THz超分辨率成像是成像系统不懈追求的永恒目标。为了提升成像分辨率,研究人员将大量精力投入成像系统研发与信号处理两个方面。
未来超分辨率成像研究方向主要包括以下方面:(1) THz量子级联激光器因结构紧凑、功率较高,THz成像领域备受关注,而大功率THz源是提升成像系统稳定性的关键之一,因此,结合THz量子级联激光器技术进行实时、大景深以及超分辨率成像系统的研发是各领域重点关注方向;(2) 将可编程技术与超材料融合是目前的热点,目前在3 GHz工作频率下已实现智能化实时成像,因此,有望进一步向THz频段迈进;(3) 超分辨率图像重建算法是前沿课题,在THz波段引入AI算法建立模型,建立常规成像与THz成像信息的映射关系,实现超分辨率重建。总而言之,成像分辨率提升是一个复杂问题,需要在THz源、光学系统、信号处理等各个方面进行研究与突破。