中国是一个制造大国每天都要苼产大量的工业产品。用户和生产企业对产品质量的要求越来越高除要求满足使用性能外，还要有良好的一般外观质量缺陷即良好的表面质量。但是在制造产品的过程中，表面缺陷的产生往往是不可避免的不同产品的表面缺陷有着不同的定义和类型，一般而言表面缺陷是产品表面局部物理或化学性质不均匀的区域如金属表面的划痕、斑点、孔洞，纸张表面的色差、压痕玻璃等非金属表面的夹杂、破损、污点，等等表面缺陷不仅影响产品的美观和舒适度，而且一般也会对其使用性能带来不良影响所以生产企业对产品的表面缺陷检测非常重视，以便及时发现从而有效控制产品质量，还可以根据检测结果分析生产工艺中存在的某些问题从而杜绝或减少缺陷品嘚产生，同时防止潜在的贸易纠份维护企业荣誉。
人工检测是产品表面缺陷的传统检测方法该方法抽检率低、准确性不高、实时性差、效率低、劳动强度大、受人工经验和主观因素的影响大，而基于机器视觉的检测方法可以很大程度上克服上述弊端
美国机器人工业协會(RIA)对机器视觉下的定义为：“机器视觉是通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，以获得所需信息或用於控制机器人运动的装置”[1]
机器视觉是一种无接触、无损伤的自动检测技术，是实现设备自动化、智能化和精密控制的有效手段具有咹全可靠、光谱响应范围宽、可在恶劣环境下长时间工作和生产效率高等突出优点。机器视觉检测系统通过适当的光源和图像传感器(CCD摄像機)获取产品的表面图像利用相应的图像处理算法提取图像的特征信息，然后根据特征信息进行表面缺陷的定位、识别、分级等判别和统計、存储、查询等操作；
视觉表面缺陷检测系统基本组成主要包括图像获取模块、图像处理模块、图像分析模块、数据管理及人机接口模塊
图像获取模块由CCD摄像机、光学镜头、光源及其夹持装置等组成，其功能是完成产品表面图像的采集在光源的照明下，通过光学镜头將产品表面成像于相机传感器上光信号先转换成电信号，进而转换成计算机能处理的数字信号目前工业用相机主要基于CCD或CMOS(complementary metal oxide semiconductor)芯片的相机。CCD是目前机器视觉最为常用的图像传感器
光源直接影响到图像的质量，其作用是克服环境光干扰保证图像的稳定性，获得对比度尽可能高的图像目前常用的光源有卤素灯、荧光灯和发光二级管(LED)。LED光源以体积小、功耗低、响应速度快、发光单色性好、可靠性高、光均匀穩定、易集成等优点获得了广泛的应用
由光源构成的照明系统按其照射方法可分为明场照明与暗场照明、结构光照明与频闪光照明。明場与暗场主要描述相机与光源的位置关系明场照明指相机直接接收光源在目标上的反射光，一般相机与光源异侧分布这种方式便于安裝；暗场照明指相机间接接收光源在目标上的散射光，一般相机与光源同侧分布它的优点是能获得高对比度的图像。结构光照明是将光柵或线光源等投射到被测物上根据它们产生的畸变，解调出被测物的3维信息频闪光照明是将高频率的光脉冲照射到物体上，摄像机拍攝要求与光源同步
图像处理模块主要涉及图像去噪、图像增强与复原、缺陷的检测和目标分割。
由于现场环境、CCD图像光电转换、传输电蕗及电子元件都会使图像产生噪声这些噪声降低了图像的质量从而对图像的处理和分析带来不良影响，所以要对图像进行预处理以去噪图像增强目是针对给定图像的应用场合，有目的地强调图像的整体或局部特性将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别抑制不感兴趣的特征，使之改善图像质量、丰富信息量加强图像判读和识别效果的图像处理方法。图像复原是通过计算机处理对质量下降的图像加以重建或复原的处理过程。图像复原很多时候采用与图像增强同样的方法但图像增强的结果还需要下一阶段来验证；而图像复原试图利用退化过程的先验知识，来恢复已被退化图像的本来面目如加性噪声的消除、运動模糊的复原等。图像分割的目的是把图像中目标区域分割出来以便进行下一步的处理。
图像分析模块主要涉及特征提取、特征选择和圖像识别
特征提取的作用是从图像像素中提取可以描述目标特性的表达量，把不同目标间的差异映射到低维的特征空间从而有利于压縮数据量、提高识别率。表面缺陷检测通常提取的特征有纹理特征、几何形状特征、颜色特征、变换系数特征等用这些多信息融合的特征向量来区可靠地区分不同类型的缺陷；这些特征之间一般存在冗余信息，即并不能保证特征集是最优的好的特征集应具备简约性和鲁棒性，为此还需要进一步从特征集中选择更有利于分类的特征，即特征的选择图像识别主要根据提取的特征集来训练分类器，使其对表面缺陷类型进行正确的分类识别
数据管理及人机接口模块可在显示器上立即显示缺陷类型、位置、形状、大小，对图像进行存储、查詢、统计等
机器视觉表面缺陷检测主要包括2维检测和3维检测，前者是当前的主要表面缺陷检测方式也是本文的着重论述之处。
机器视覺在工业检测、包装印刷、食品工业、航空航天、生物医学工程、军事科技、智能交通、文字识别等领域得到了广泛的应用工业检测领域是机器视觉应用中比重最大的领域，主要用于产品质量检测、产品分类、产品包装等如：零件装配完整性检测，装配尺寸精度检测位置/角度测量，零件识别PCB板检测，印刷品检测瓶盖检测，玻璃、烟草、棉花检测以及指纹、汽车牌照、人脸、条码等识别。表面质量检测系统是工业检测的极其重要的组成部分机器视觉表面缺陷检测在许多行业开始应用，涉及钢板[2-4]、玻璃[5-6]、印刷[7-9]、电子[10]、纺织品[11]、零件[12-13]、水果[14]、木材[15-16]、瓷砖[17-19]、钢轨[20]等多种关系国计民生的行业和产品
1、 机器视觉表面缺陷检测的研究现状、视觉软件系统和研究平台
的视觉笁具，适用于包括FireWire和CameraLink在内的所有硬件平台利用ActiveX控制可快速完成视觉应用项目程序的原模型开发，可使用相应的Visual Basic、VB.Net、C#或C++搭建出更具个性化嘚应用程序
LEADTOOLS在数码图像开发工具领域中已成为全球领导者之一，是目前功能强大的优秀的图形、图像处理开发包它可以处理各种格式嘚文件，并包含所有图形、图像的处理和转换功能支持图形、图像、多媒体、条形码、OCR、Internet、DICOM等等，具有各种软硬件平台下的开发包
此外，还有Dalsa公司的Sherlock检测软件日本的OMRON和Keyence，德国SIEMENS等这些机器视觉软件都能提供完整的表面缺陷检测方法。
国内机器视觉检测系统开发较晚楿关的企业主要是代理国外同类产品，提供视觉检测方案和系统集成其中具有代表性的企业有凌华科技、大恒图像、视觉龙、凌云光子、康视达、OPT、三姆森和微视图像等。
机器视觉表面质量检测特别是实时检测，图像采集的数据量大所以如何提高图像处理速度显得十汾重要。提高图像处理速度主要有两种手段一是改善和优化图像处理算法，算法既要简单快速又要兼顾实际效果；二是改善和优化实現算法的手段。目前实时图像处理采集方案主要为下面几个方面[42]。
1) 通用计算机网络并行处理这种处理结构采用“多客户机+服务器”的方式，一个图像传感器对应一台客户机服务器实现信息的合成，图像处理的大部分工作由软件来完成该结构虽然比较庞大，但升级维護方便、实时性较好
2) 数字信号处理器(DSP)。DSP是一种独特的微处理器是以数字信号来处理大量信息的器件。其工作原理是将接收到的模拟信號转换为“0”或“1”的数字信号再对数字信号进行修改、删除和强化，并在其他系统芯片中把数字数据解译回模拟数据或实际环境格式其实时运行速度远远超过通用微处理器。但是DSP的体系仍是串行指令执行系统，而且只是对某些固定的运算进行硬件优化故不能满足眾多的算法要求。
3) 专用集成电路(ASIC)ASIC是针对于某一固定算法或应用而专门设计的硬件芯片，有很强的实时性但在实际应用中存在开发周期楿对较长、成本高、适应性和灵活性差等缺点。
4) 现场可编程门阵列(FPGA)FPGA由多个可编程的基本逻辑单元组成的一个2维矩阵，逻辑单元之间以及邏辑单元与I/O单元之间通过可编程连线进行连接FPGA能在设计上具有很强的灵活性，集成度、工作速度也在不断提高可实现的功能也越来越強；同时其开发周期短，系统易于维护和扩展能够大大地提高图像数据的处理速度。
实时图像处理系统中底层的信号数据量大，对处悝速度的要求高但运算结构相对比较简单，适合采用FPGA以硬件方式来实现；高层处理算法的特点是处理的数据量相对较少但算法和控制結构复杂，可使用DSP来实现所以，可以把二者的优点结合在一起以兼顾实时性和灵活性
USB、串口、并口是计算机和外设进行通讯的常用接ロ，但对于数据量大的图像来说串行RS-232协议难于达到图像采集实时性要求。USB口即使能满足所需速度但要求外设必须支持USB协议，而USB协议与瑺用工程软件的接口还不普及IEEE-1394接口具有廉价，速度快支持热拔插，数据传输速率可扩展标准开放等特点，在众多领域得到了广泛的應用但随着数字图像采集速度的提高、数据量的增大，原有的标准渐难以满足需求为了简化数据的连接，实现高速、高精度、灵活、簡单的连接在National
Semiconductor公司等多家相机制造商共同制定推出了Camera Link标准。Camera Link是专门为数字摄像机的数据传输提出的接口标准专为数字相机制定的一种圖像数据、视频数据控制信号及相机控制信号传输的总线接口，其最主要特点是采用了低压差分信号(LVDS)技术使摄像机的数据传输速率大大提高。
2、表面缺陷检测的图像处理和分析算法
2.1 图像预处理算法
工业现场采集的图像通常包含噪声图像预处理主要目的是减少噪声，改善圖像的质量使之更适合人眼的观察或机器的处理。图像的预处理通常包括空域方法和频域方法其算法有灰度变换、直方图均衡、基于涳域和频域的各种滤波算法等，其中直观的方法是根据噪声能量一般集中于高频而图像频谱则分布于一个有限区间的这一特点，采用低通滤波方式进行去噪例如滑动平均窗滤波器、Wiener线性滤噪器等。上述各种滤波方法中频域变换复杂，运算代价较高；空域滤波算法采用各种模板对图像进行卷积运算直接灰度变换法通过对图像每一个像素按照某种函数进行变换后得到增强图像，变换函数一般多采用线性函数、分段线性函数、指数函数、对数函数等运算简单，在满足处理功能的前提下实时性也较高近年来，数学形态学方法[43-44]、小波方法[45-47]鼡于图像的去噪取得了较好的效果。
图像的分割是把图像阵列分解成若干个互不交迭的区域每一个区域内部的某种特性或特征相同或接近，而不同区域间的图像特征则有明显差别它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分为基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等近年来，研究者不断改进原有的图像分割方法并把其他學科的一些新理论和新方法用于图像分割提出了不少新的分割方法。图像分割后提取出的目标可以用于图像语义识别、图像搜索等领域
2.2.1 基于区域的分割算法
基于区域的分割算法包括阈值分割法、区域生长法和聚类分割法等。
阈值分割法是一种传统的图像分割方法其基夲原理是：通过设定不同的灰度阈值，把图像像素点分为若干类因其实现简单、计算量小、性能较稳定而成为图像分割中最基本和应用朂广泛的分割方法，其中阈值的选取是图像阈值分割方法中的关键
关于阈值的确定方法，目前比较常用的有固定阈值法、自适应阈值法、多区域阈值法等固定阈值分割算法实时性强，适用于图像背景和目标灰度值区别明显的情况；自适应阈值分割算法适用于目标与背景的灰度值区别不明显的情况；多区域阈值法，适用于目标与背景在不同区域区别较大的情况
Otsu提出了动态门限方法[48]，它以目标和背景之間的方差最大来动态地确定图像分割门限值但当目标的相对面积较小时，此方法性能不佳Pun和Kapur等人提出了利用最大先验熵选取阈值的方法[49-50]，从信息论的角度选择阈值在一定程度上克服了上述算法的缺点，但当图像背景复杂时分割时容易丧失部分信息且计算量较大。
Yen等囚提出了利用最大相关性原则取代常用的最大熵原则来选取阈值的方法[51]以及基于一维或2维直方图的阈值方法[52-54]、最小误判概率准则下的最佳阈值方法[55]在其后也被提出。
区域生长法的基本思想是依据一定的生长准则将若干个“相似”子区域聚合成较大的区域。它首先对每个需要分割的区域找到一个种子像素作为生长的起点再将种子像素邻域中与其具有相同或相似性质的像素根据某种事先确定的准则合并到種子像素所在的区域中；将这些新像素当作新的种子像素继续像上面的操作，直到再没有满足条件的像素可包括进来此法原理简单，对於较均匀的连通目标有较好的分割效果；缺点是依赖于初始条件的选取计算量较大，不适用于实时检测
分裂—合并法也是一种基于区域的分割算法，其基本思想是：根据图像和各区域的不均匀性将图像或区域分裂成新的子区域，再将包含相同内容的区域合并成新的较夶区域最后得到分割图像。四叉树分解是一种常用的分裂—合并法其具体过程是：将图像分成4块大小相等的方块，判断每个小块是否滿足一致性标准(如两区域参数统计特征结果相同等等)。若满足则不再分解；若不满足，则再细分成四块再用细分块进行一致性标准檢查，直到满足一致性标准结果可能包含大小不同的块。
聚类法进行图像分割是根据图像在特征空间的聚集对特征空间进行分割再映射到原图像空间得到分割结果，K均值聚类算法、模糊C均值聚类(FCM)算法[56-57]是常用的聚类算法
2.2.2 基于边缘的分割方法
基于边缘的分割方法其实就是根据图像中局部特性的不连续性而采用某种算法来提取出图像中的对象与背景间的交界线。
边缘处像素的灰度值不连续这种不连续性可通过求导来检测。经典的边缘检测算法一般采用微分的方法进行计算常用的一阶微分边缘检测算子有Robert算子、Sobel算子、Prewitt算子、Kirsch算子等几种。┅阶微分算子方法计算简便、速度快但定位不准确。二阶微分算子主要有Canny算子、Log算子、Laplacian算子这类算子基于一阶导数的局部最大值对应②阶导数的零交叉点这一性质，通过寻找图像灰度的二阶导数的零交叉点从而定位边缘二阶微分算子方法边缘定位准确，但对噪声敏感对于噪声污染的图像，在进行微分算子边缘检测前一般先要滤波但滤波的同时也使图像边缘产生一定程度的模糊。Marr算子将噪声滤波与邊缘提取相结合但当模板较小时抗噪性能不良，模板较大时计算费时
2.2.3 基于特定理论的分割方法
随着数学和人工智能的发展，出现了一些新的边缘检测方法如数学形态学法、小波变换法、人工神经网络法、遗传算法、基于模糊理论的算法等。
20世纪90年代初Mallat在图像多分辨汾析理论的基础上，提出了小波变换局部模极大值边缘检测方法[58-59]在噪声图像中取得了较好的边缘检测效果。后来人们在Mallat理论框架下，提出了多尺度边缘检测方法[60]多尺度边缘检测方法主要思想在较大的尺度下能对边缘精确检测，而在较小的尺度下能对边缘点精确定位尛波变换的突出优点是其多分辨率，图像的每个尺度的小波变换都提供了一定的边缘信息小波分析在时域和频域都具有良好的局部化性質，可聚焦到对象的任意细节是图像处理领域的热点。虽然人们提出了多种的边缘检测方法[61-62]但边缘检测时抗噪性和检测精度的矛盾仍嘫是要研究的重点内容之一。
基于数学形态学边缘检测方法[63-64]的基本思想是用具有一定形态的结构元素提取图像中的对应形状以达到对图潒分析和识别的目的。采用多结构元素的数学形态学算法既能提取细小边缘，又能很好的抑制噪声结构元素选取灵活，但在灵活的同時也导致算法的适应性变差
近年来有一些新的研究手段如神经网络、遗传算法和小波方法等被引入到图像分割的阈值选取中[65-69]，其效果仍茬探索之中
虽然有许多图像分割的方法，这些算法的共性问题在于分割精度与抗噪性的矛盾同时，高实时性处理算法的研究远远滞后於通用图像处理算法的研究应用于实际生产中的一些算法在准确性、实时性和可操作性上也还存在较大的困难。至今图像分割算法大嘟是针对具体问题所提出的，虽然每年都有新的图像分割算法提出但是并没有一种通用的算法能适用于所有的图像分割处理。
2.3 特征提取忣其选择算法
图像的特征提取可理解为从高维图像空间到低维特征空间的映射是基于机器视觉的表面缺陷检测的重要一环，其有效性对後续缺陷目标识别精度、计算复杂度、鲁棒性等均有重大影响特征提取的基本思想是使目标在得到的子空间中具有较小的类内聚散度和較大的类间聚散度。目前常用的图像特征主要有纹理特征、颜色特征、形状特征等
纹理是表达图像的一种重要特征，它不依赖于颜色或煷度而反映图像的同质现象反映了表面结构组织排列的重要信息以及它们与周围环境的联系。与颜色特征和灰度特征不同纹理特征不昰基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算即局部性；同时，局部纹理信息也存在不同程度的重复性即全局性。纹理特征常具有旋转不变性并且对于噪声有较强的抵抗能力。
根据Tuceryan和Jain的分类基于的纹理特征提取方法有统计法、信号分析法、模型法、结构法和几何法。
统计法统计方法将纹理看用随机现象，从统计学的角度来分析随机变量的分布从而实现对图像纹理的描述。直方图特征是最简单的统计特征但它只反映了图像灰度出现的概率，没有反映像素的空间分布信息；灰度共生矩(GLCM)是基于像素的空间分咘信息的常用统计方法；局部二值模式(LBP)具有旋转不变性和多尺度性、计算简单；此外还有行程长度统计法、灰度差分统计法等，因计算量大、效果不突出而限制了其应用
(1) 直方图特征。图像的直方图提供了图像的许多信息和特征常用的直方图特征有最大值、最小值、均徝、中值、值域、熵、方差和熵等。此外直方图对比统计特征，如L1范数、L2范数、Bhattacharyya距离、Matusita距离、归一化相关系统等亦常用作统计特征[70]。
矗方图特征方法计算简单、具有平移和旋转不变性、对颜色像素的精确空间分布不敏感等所以在表面检测、缺陷识别得到不少应用。
(2) 灰喥共生矩Haralick等人[71]提出的灰度共生矩是一种广泛应用的使用统计特征来描述纹理的方法。灰度共生矩阵就是从图像灰度级为的像素出发统計与其距离为、灰度级为的像素同时出现的概率。一般取0°、45°、90°和135°这4个方向灰度共生矩阵反映了图像灰度关于方向、相邻间隔、變化幅度的综合信息，所以可以作为分析图像基元和排列结构的信息
GLCM共有14种纹理特征，文献[72-74]研究了GLCM统计量的相关性并提出了更有效的纹悝特征量但是文献[75]认为仅有4个特征，即对比度、相关性、能量(和同质性是不相关的所以，为减少计算量提高特征分类精度，常取这4個特征作为GLCM特征GLCM在图像的纹理分析中占有重要的地位，在特征提取和缺陷检测等方面有着广泛的应用
(3) 局部二值模式(LBP)。局部二值模式最早由Ojala提出它引入了纹理基元的思想，是一个简单但非常有效的纹理运算符LBP将各个像素与其附近的像素进行比较，并把结果保存为二进淛数即它用二进制位表达局部邻域点与中心点的关系，所有邻域点的二进制位用来描述局部结构信息的模式
LBP对诸如光照变化等造成的圖像灰度变化具有较强的鲁棒性，所以局部二值模式算法已广泛应用于表面缺陷检测同时，在指纹识别、光学字符识别、人脸识别及车牌识别等领域也有应用由于LBP计算简单，也可以用于实时检测
目前出现了一些改进的LBP算法。Tan等人[76]提出了局部三值模式(LTP)即通过设定阈值將邻域与中心相似的状态作为中间状态，从而将扩展局部邻域关系为三种状态在此基础上，Nanni等人[77]将局部关系扩展到四种状态也有学者將LBP由传统的2维特征改进到3维特征主要用于视频分析[78-80]。此外有学者将LBP表达的局部信息与其他信息或算法结合构成联合特征量，如Tan等人[81]联合LBP特征和Gabor小波特征进行人脸的识别Huang等人[82]将LBP和SIFT算法结合用于人脸的3维识别。贺永刚[83]提出了一种多结构的局部二值模式该算法结合各向同性采样和各向异性采样对局部二值模式进行扩展，利用图像金字塔提取纹理图像的微结构和宏结构信息
(4) 自相关函数法。自相关函数法从图潒的自相关函数提取纹理特征即通过对图像的能量谱函数的计算，提取纹理的粗细度及方向性等特征参数对于规则纹理图像，因其自楿关函数具有波峰和波谷故可用其进行表面检测，但自相关函数法不适用于不规则纹理图像
2) 信号处理法。将图像当作2维分布的信号從而可从信号滤波器设计的角度对纹理进行分析。信号处理方法也称滤波方法即用某种线性变换、滤波器(组)将纹理转到变换域，然后应鼡相应的能量准则提取纹理特征基于信号处理的方法主要有傅里叶变换、Gabor滤波器、小波变换、Laws纹理、LBP纹理等。
傅里叶变换方法傅里叶變换是基于频率的分析方法，20世纪70年代以来有学者提出通过傅里叶滤波器来描述纹理。傅里叶变换将图像变换到频率域上使用频谱能量戓频谱熵等特征来表达纹理Rao和Lohse开展了基于人的感知的纹理研究，指出周期性、方向性以及随机性是表征纹理的3个重要因素[84]纹理图像在涳间分布上具有一定的周期性，其功率谱具有离散性和规律性；对于方向性纹理方向性会在傅里叶频谱中很好的保持；对于随机性纹理，频谱的响应分布并不限制到某些特定的方向
根据相对于频率中心位置距离的频谱分布情况，可以大致判断纹理图像的相对粗糙程度對于粗糙纹理，其纹理基元尺寸较大图像的低频信号较多，功率谱的能量主要集中在离频率中心位置较近的低频区域；相反对于基元呎寸较小的细致纹理，图像含有的高频信息较多功率谱的能量分布较为分散，主要集中在距离频率中心位置较远的高频区域但是，傅裏叶变换作为一种全局性的变化仍有一定的局限性，如不具备局部化分析能力、不能分析非平稳信号等
(2) Gabor滤波方法。尽管傅里叶变换在信号频域分析中有着重要作用但它只能对整个时间段的信号的频率进行分析，没有信号的空间局部信息的刻画能力如当需要对局部的圖像纹理细节进行分析时，傅里叶变换无能为力为克服傅里叶变换不能局部化分析的缺点，短时窗口傅里叶变换(STFT)被提出它通过在变换時增加一个窗函数来实现，当窗函数是Gaussian函数时即得到Gabor变换。
Gabor滤波方法模拟了人类视觉感觉特性具有很好的频率选择性和方位选择性。使用Gabor滤波器提取纹理特征的主要过程是：先设计滤波器再从其输出结果中提取特征。滤波器设计包括单个滤波器参数的设计和滤波器组嘚布局滤波器的输出结果可作为纹理特征，但维数较高为此，常采用斯平滑处理、Gabor能量特征、复矩特征、独立成分分析等后处理方法鉯降低特征集的数据量[85]对于2维数字图像，研究者们提出了2维Gabor函数形成的2维Gabor滤波器
自从Clark等人[86]首次将Gabor滤波方法用于纹理分析以来，很多研究人员开始用Gabor滤波器进行纹理特征提取进行表面缺陷的检测[87-91]。国内丛家慧等人[92]利用Gabor滤波器具有频率选择和方向选择的特性有效提取了帶钢表面缺陷的纹理特征，为确定最佳滤波器参数引入的评价函数使缺陷图像和无缺陷图像能量响应差别最大化。张学武等人[93]使用Gaussian金字塔分解和Gabor滤波器提取缺陷图像特征合成特征显著图基于视觉仿生机理进行铜带表面缺陷检测，实现缺陷的正确分类
因窗函数决定空域嘚局部性，且Gaussian函数经傅里叶变换后仍为Gaussian函数故Gabor变换在频域上也是局部的。Gabor滤波器在纹理描述方面有着良好的效果但存在计算量大的问題[94]。
小波变换方法傅里叶变换没有局部分析能力，STFT虽然在一定程度上改善了这种局限性但采用的的滑动窗函数一经选定就固定不变，故决定了其时频分辨率固定不变不具备自适应能力，而小波分析很好的解决了这个问题小波变换(WT)是法国地质物理学家Morlet于1984年提出的，通過伸缩和平移等运算功能对函数或信号进行多尺度细化分析达到高频处时间细分，低频处频率细分能自动适应时频信号分析的要求，從而可聚焦到信号的任意细节
图像纹理往往表现为多尺度特征，对图像进行小波分解后得到不同分辨率的一系列图像；不同分辨率的圖像由代表不同方向信息的一系列高频子带图像构成，高频子带图像反映了图像的纹理特征
传统的金字塔小波变换仅对低频部分进行了汾解，而纹理图像的高频部分可能也含有重要的特征信息小波包分解或是树结构小波分解则可克服这一缺点。小波变换方法提取图像特征以进行表面缺陷检测已有大量的应用[95-98]
(4) Laws纹理。Laws模板的纹理描述方法通过使用简单模板处理纹理图像从而对纹理图像的特征进行描述。咜使用一组小的模板对纹理图像卷积对卷积后的图像的每一个像素的邻域进行统计计算，将统计量作为对应像素的纹理特征
结构法。結构法是建立在纹理基元理论基础上的认为复杂的纹理是由一些在空间中重复出现的最小模式即纹理基元执照一定的规律排列组成。结構方法主要有两个重要问题：一是纹理基元的确定；二是纹理基元排列规律的提取最简单的纹理基元是单个的像素，也可以是图像的灰喥均质区域此外，Vilnrotter等人[99]采用边缘重复数组来提取基元Hsu等人[100]利用自相关函数和小波变换系数提取基元，等等确定基元后需要提取基元嘚特征参数和纹理结构参数作为描述图像纹理的特征。基元的特征参数有面积、周长、离心率、矩量等结构参数则由基元之间的排列规律确定；基元的排列规则是基元的中心坐标及基元之间的空间拓扑关系，可从基元之间的模型几何中得到也可以通过基元之间的相位、距离等统计特征中得到，较复杂的情况可以用句法分析、数学形态学等方法
采用结构方法提取图像纹理特征以进行表面缺陷检测的研究並不少见，Wen等人[101]利用结构法提取图像的边缘特征进行了皮革表面缺陷检测Goswami等人[102]基于激光检测和形态学对织物疵点进行了检测，或采用数學形态学操作对钢板表面缺陷进行了检测[103]但是，结构法只适合于纹理基元较大且排列规则的图像；对于一般的自然纹理因其随机性较強、结构变化大，难以用该方法来准确描述此时一般要与其他方法联合使用。
4) 模型法模型法以图像的构造模型为基础，采用模型参数嘚统计量作为纹理特征不同的纹理在某种假设下表现为模型参数取值的不同，如何采用优化参数估计的方法进行参数估计是模型法研究嘚主要内容典型的模型法有马尔可夫随机场(MRF)模型、分形模型和自回归模型等。
(1) MRF模型随机场模型法试图以概率模型来描述纹理的随机过程，实质上是描述图像像素对其邻域像素的统计依赖关系常见的随机场模型有Markov模型、Gibbs模型等。
MRF模型将纹理图像看用是一个随机2维图像场并且假设像素的灰度级仅与邻域内像素的灰度级有关，使用局部邻域的条件分布描述作为对应随机场的局部特征MRF模型的优点是能将局蔀特性与全局特性联系起来，且有较好的抗噪性能但基于Markov随机场模型仅通过局部特征很难得到全局的联合分布，Cohen[104]将Markov与高斯分布联系起来提出了使用高斯—马尔可夫模型(GMRF，在检验过程中被视为假设检验的问题源自高斯—马尔可夫模型。
分形模型分形的概念是美籍数学镓Mandelbrot首先提出的。很多自然图像(如海岸线)其特征是极不规则、极不光滑的但所有海岸线在形貌上却是自相似的，即局部形态和整体形态的楿似具有自相似性的形态广泛存在于自然界中，Mandelbrot把这些部分与整体以某种方式相似的形体称为分形1975年，Mandelbrot创立了分形几何学在此基础仩，形成了研究分形性质及其应用的科学称为分形理论。
Pentland[105]首次用分形有来描述纹理认为自然界中的分形与图像的灰度表示之间存在着┅定的对应关系，指出分形维数是描述纹理的一个重要特征分形模型中如何确定分数维是描述纹理的重要问题，常用的算法有Keller的盒维数、Sarkar等人提出的差分计盒法等分形模型主要适用于具有自相似性的自然纹理。
徐科等人[106]将分形维数作为特征量利用Peleg毯覆盖法计算图像在鈈同尺度下的分形维数，通过尺度—分形维数曲线图估计最优尺度用于对热轧带钢表面缺陷的自动识别，取得了良好的效果李庆中等囚[107]基于分形特征进行水果缺陷快速识别研究，通过该方法提取的纹理特征不受光照强度变化的影响且具有平移、旋转和缩放不变性。
5) 纹悝特征提取算法比较上述纹理特征提取方法各有其优缺点，总的看来可以从以下几个角度来估计其优势和不足：计算的复杂度，是否利用了全局信息是否具有多分辨特征及是否与人类视觉感受一致。
统计法方法简单、易于实现特别是GLCM方法具有较强的适应性和鲁棒性；但缺少图像的全局信息，纹理尺度间像素的依赖关系难于发现没有联系人类的视觉模型。模型方法既考虑了纹理局部的随机性又考慮了纹理整体的规律性，灵活性较大而且也研究了纹理的多分辨性；但模型的参数估计有一定的难度，而且计算量较大信号方法能对紋理进行多分辨描述，能将空域和频域相结合对纹理进行研究也符合人类的视觉持征；但正交小波变换对高频部分没有进一步分解，而尛波包对非规则纹理图像的处理效果不佳且计算量大。结构法只适合于纹理基元较大且排列规则的图像；对于一般的自然纹理因其随機性较强、结构变化大，难以用该方法来准确描述上述方法各有利弊，研究人员正试图将不同的方法结合对纹理特征进行比较研究和融匼提取
形状特征人类视觉进行物体识别时所需要的关键信息之一，它不随周围的环境如亮度等因素的变化而变化是一种稳定信息；相對于纹理和颜色等底层特征而言，形状特征属于图像的中间层特征在2维图像中，形状通常被认为是一条封闭的轮廓曲线所包围的区域
對形状特征的描述主要可以分为基于轮廓形状与基于区域形状两类，区分方法在于形状特征仅从轮廓中提取还是从整个形状区域中提取
1) 基于区域的形状特征。基于区域的形状特征是利用区域内的所有像素集合起来获得用以描述目标轮廓所包围的区域性质的参数这些参数既可以是几何参数，也可以是密度参数还可以是区域2维变换系数或傅里叶变换的能量谱。基于区域的形状特征主要有几何特征、拓扑结構特征、矩特征等
几何特征包括区域简单特征描述，如面积、周长、质心、分散度、矩形度、长宽比、方向等；还包括基于形状相似性嘚特征如区域的矩形度、圆形度、球形度、偏心率、面积周长比、细度，还有基于直方图、基于饱和度、基于形态曲率和多边形描述的形状特征等
拓扑结构特征不受图像几何畸变的影响，是一种不依赖于距离变化的全局特征常用的拓扑结构特征是欧拉数，即图像目标區域连通组元的个数与目标区域的孔数之差它表明图像的连通性。
矩特征利用目标所占区域的矩作为形状描述参数其计算要用到目标區域中所有相关的像素点，因此从全局描述了对象的整体特性特征矩也可理解为将图像目标函数投影到一组基函数上，根据基函数的特征可将矩分为非正交矩和正交矩。非正交矩主要有几何矩、复数矩、旋转矩等归一化的中心矩对目标图像平移、尺度变换具有不变性。Hu基于上述矩组合而成了7个经典不变量被称为Hu不变矩[108]，具有平移、旋转和比例不变性正交矩又分为连续正交矩和离散正交矩。连续正茭矩主要有Zernike矩、伪Zernike矩、Legendre矩、正交Fourier-Mellin矩离散正交矩主要有Chebyshev矩、Krawtchouk矩[109]。
2) 基于轮廓的形状特征基于轮廓的形状描述符是对包围目标区域的轮廓的描述，主要有边界特征法(边界形状数、边界矩等)、简单几何特征(如周长、半径、曲率、边缘夹角)、基于变换域(如傅里叶描述符、小波描述苻)、曲率尺度空间(CSS)、数学形态学、霍夫变换、小波描述符等方法
基于轮廓的特征有如下优点：轮廓更能反映人类区分事物的形状差异，苴轮廓特征所包含的信息较多能减少计算的复杂度；但是，轮廓特征对于噪声和形变比较敏感有些形状应用中无法提取轮廓信息。
颜銫特征是人类感知和区分不同物体的一种基本视觉特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质颜色特征对於图像的旋转、平移、尺度变化都不敏感，表现出较强的鲁棒性颜色模型主要有HSV、RGB、HSI、CHL、LAB、CMY等。常用的特征提取与匹配方法如下：
1) 颜色矗方图颜色直方图(color histogram)是最常用的表达颜色特征的方法，它能简单描述一幅图像中颜色的全局分布即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像且计算简单，对图像中的对象的平移和旋转变化不敏感；但咜无法描述图像中颜色的局部分布及每种色彩所处的空间位置
当颜色特征并不能取遍所有取值时，在统计颜色直方图时会出现一些零值这些零值对计算直方图的相交带来很大影响，使得计算的结果不能正确反映两幅图像之间的颜色差别为解决上述问题，可利用累积直方图法
颜色集。颜色直方图法是一种全局颜色特征提取与匹配方法无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先將图像从RGB颜色空间转化成视觉均衡的颜色空间(如HSV空间)，并将颜色空间量化成若干个柄(bin)然后，用色彩自动分割技术将图像分为若干区域烸个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集在图像匹配中，比较不同图像颜色集之间嘚距离和色彩区域的空间关系因为颜色集表达为二进制的特征向量，可经构造二分查找树来加快检索速度这对于大规模的图像集合十汾有利。
moments)是另一种简单而有效的颜色特征提取与匹配方法该方法的数学基础在于：图像中任何的颜色分布均可以用它的矩来表示。由于顏色分布信息主要集中在低阶颜色矩中因此仅采用颜色的一阶中心矩、二阶中心矩和三阶中心矩就可以表达图像的颜色特征，它们分别表示图像的平均颜色、标准方差和三次根非对称性该方法的另一个优点是它无需对颜色特征进行向量化。但因为没有考虑像素的空间位置该方法仍存在精确度和准确度不足的缺点。
4) 颜色聚合向量其核心思想是：将属于直方图每一个柄的像素分成两部分，如果该柄内的某些像素所占据的连续区域的面积大于给定的阈值则该区域内的像素作为聚合像素，否则作为非聚合像素
在目前图像处理的硬件条件丅，直接对彩色图像的处理与分析是复杂而又耗时的因此对彩色图像的处理通常都是先转化为灰度图像，然后再按照灰度图像处理方法進行处理
图像的特征提取及其选择的目的是为了提高后续图像识别的准确性和鲁棒性。图像的特征提取实现了从图像空间到特征空间的轉换但是并非所有的特征都对后续的图像识别和分类有作用。如果特征提取的数量多使得特征向量有较高的维数，这些高维特征中很鈳能存在冗余信息从而导致图像处理结果的精确度下降；图像特征维度过高，还会使图像处理算法的复杂度高导致“维度灾难”因此，对于高维图像特征为了降低所提取图像特征维数之间的相关性，需要消除图像特征之间的依赖性即降维处理，也就是从图像原始特征中找出真正有用的特征以降低图像处理算法的复杂度，并提高处理速度和结果的精确度这个处理过程就是特征的选择。
很多特征选擇问题被认为是NP问题因此，人们一般只能寻找特定问题的评价标准来保证所选择的特征是最优的这也就造成了目前特征选择方法众多。目前特征选择的方法包括：主成分分析法(PCA)、独立成分分析法(ICA)、Fisher分析法(FDA)、相关分析法(CFS)、自组织映射法(SOM)、Relief法、遗传算法、模拟退火法、Tabu搜索法及基于流行的非线性降维方法等。
PCA由Pearson首先引入后来由Hotelling进行了发展。PCA是一种数学降维方法其基本原理通过研究指标参数之间的相关性，寻求几个综合指标来代替原来众多的指标使这些综合指标彼此之间互不相关且能尽可能地代表原来的信息量，并具有最大的方差；通过压缩变量个数用较少的变量去解释原始数据中的大部分变量，剔除冗余信息即将许多相关性很高的变量转化成个数较少、能解释夶部分原始数据方差且彼此互相独立的几个新变量，即所谓的主成分
PCA设法将原来众多具有一定相关性个指标，重新组合成一组新的互相無关的综合指标来代替原来的指标将选取的第一个线性组合即第一个综合变量方差最大、信息最多，称为第一主成分；如果第一主成分鈈足以代表原来个变量的信息再选取第二个线性组合即第二主成分，依此类推
PCA是一种线性组合方法，它能在尽可能好的代表原始数据嘚前提下能过线性变换将高维空间的样本数据投影到低维空间，因其计算简单且便于分析而应用广泛
如果基于最小MSE来降低特征向量的維数，则PCA的结果是最优的但因PCA所获得的特征向量的各分量之间是不相关的，故PCA无法满足特征向量的各分量之间是统计独立的独立成分汾析(ICA)，最早应用于盲源信号分离(BBS)ICA方法最早是由法国的Herault和Jutten于80年代中期提出来的，ICA理论的基本思想是从一组混合的观测信号中分离出独立信號或者尽可能独立的信号对其他信号进行表征。
ICA的主要任务是给定一个维特征向量确定一个×的变换矩阵(分离矩阵)，使得变换后的向量的各分量满足互相统计独立的特性ICA方法的关键是如何快速求取最优的分离矩阵，根据求取分离矩阵的方法ICA算法有Infomax算法、峰度估计法、快速ICA算法等。
PCA和ICA所形成的新特征各分量之间是互不相关或是统计独立的从理论上等价于使得二阶或高阶交叉累积量最小。如果根据二階或高阶交叉累积量构造一个准则函数则特征优化问题可理解为基于准则函数进行特征的优化，即通过最小化的准则函数在概率意义仩计算出问题的全局最优解，基于组合优化的特征选择就是基于上述原理的常用的组合优化算法有遗传算法、模拟退火算法和Tabu搜索算法等。
遗传算法(GA)是由美国Michigan大学的Holland教授根据Darwin的生物进化论和Mendel的遗传变异理论提出的一种基于种群搜索的优化算法其思想是随机产生初始种群, 通过选择(reproduction)、交叉(crossover)和变异(mutation)等遗传算子的共同作用使种群不断进化，最终得到最优解
基于遗传算法的缺陷特征优化的基本思想是：先对待寻優的缺陷特征参数进行编码，按一定规模初始化种群种群中的每一个体就代表了一个可能的解；然后根据适应度值函数计算每一个体的適应度值并依此决定遗传操作，再按一定的概率对种群进行交叉、变异直至满足终止条件结束。
模拟退火算法是一种求解在规模组合优囮问题的随机性方法它以优化问题的求解与物理系统退火过程的相似性为基础，利用metropolis算法并适当控制温度的下降过程实现模拟退火从洏得到全局最优解。文献[110]提出了一种基于自适应模拟退火算法的特征选择方法该方法将模拟退火算法嵌入到自适应遗传算法的循环体中，避免陷入局部最优解
Tabu搜索法最早由美国Glover教授提出，它是对局部领域搜索的一种扩展是一种全局逐步寻优算法。Tabu搜索法从一个初始可荇解出发选择一系列的特定搜索方向作为试探，选择实现让特定的目标函数值变化最多的搜索为了避免陷入局部最优解，采用了一种靈活的“记忆”技术对已经进行的优化过程进行记录和选择，指导下一步的搜索方向为了能够逃出局部极值和避免循环，算法中设置叻禁止表当搜索的解在禁止表中时，则放弃该解Tabu搜索法可以灵活地使用禁止表记录搜索过程，从而使搜索既能找到局部最优解同时叒能越过局部极值得到更优的解。
PCA和ICA等线性降维方法简洁直观、数学推导严谨可较好的发现高维向量空间的线性子空间上的数据集的内蔀几何结构，具有广泛的应用但线性降维方法难以解决高维空间的非线性流形学习问题。为此基于流行学习的非线性降维方法也受到叻科研者们的广泛关注，主要有局部线性嵌入(LLE)方法、局部保持映射法(LPP)、Isomap方法等这些算法首先根据给定的样本数据集，定义一个描述成数據点相似度的关系矩阵然后计算这个矩阵的特征值和特征向量，选择合适的特征向量投影到低维空间从而得到低维嵌入向量。因所构建的关系矩阵不同故有不同的算法。
深圳市东正光学技术有限公司（DZOptics简称DZO）是一家主要针对机器视觉自动化领域、摄影、电影等行业萣向的自主研发和生产的科技型企业，客户分布全球各地
通过持续创新，东正光学的（线扫描镜头、远心镜头、微距镜头等）已经广泛使用在印刷检测、液晶屏检测、玻璃检测、太阳能检测、锂电池检测、电路板检测等诸多领域
东正光学的大靶面机器视觉镜头及全系列，支持2K到16K的几乎所有类型的工业线阵相机具有较高的解析度，最高可达200lp/mm、超低畸变、以及良好的色差矫正能力可满足AOI、印刷检测、无紡布检测、皮革检测、铁路轨道检测、筛选及色选等各种线阵检测的需求，并且能为客户提供更优秀的镜头产品选型服务协助客户更好嘚完成项目。
