阈值分割的核心就是如何选取阈值， 选取正确的阈值是分割成功的关键。
全局阈值分割指的是将灰度值大于 thresh （阈值）的像素设为白色，小于或者等于 thresh 的像素设为黑色； 或者反过来， 将大于 thresh 的像素设为黑色， 小于或者等于 thresh 的像素设为白色， 两者的区别只是呈现形式不同。
需要注意的是，当类型为 THRESH_OTSU 或 THRESH_TRIANGLE 时，输入参数 src 只支持 uchar 类型， 这时 thresh 也是作为输出参数的， 即通过 Otsu 和 TRIANGLE 算法自动计算出来。
局部阈值分割的核心也是计算阈值矩阵，比较常用的是后面提到的自适应阈值算法（又称移动平均值算法） ， 是一种简单但是高效的局部阈值算法，其核心思想就是把每一个像素的邻域的“平均值”作为该位置的阈值。
一幅含有一个与背景呈现 明显对比 的物体的图像具有包含 双峰 的直方图，两个峰值对应于物体内部和外部较多数目的点，两个峰值之间的波谷对应于物体边缘附近相对较少数目的点。
直方图技术法就是首先找到这两个峰值，然后取两个峰值之 间的 波谷位置 对应的灰度值，就是所要的阈值。
一 种常用的方式是先对直方图进行高斯平滑处理，逐渐增大高斯滤波器的标准差，直到能从平滑后的直方图中得到两个唯一的波峰和它们之间唯一的最小值。但这种方式需要手动调节，下面介绍一种规则自动选取波峰和波谷的方式。
假设输入图像为I， 高为H、 宽为W， histogramI 代表其对应的灰度直方图， histogramI （k） 代表灰度值等于k的像素点个数， 其中0≤k≤255。
利用熵计算阈值的步骤如下:
在对图像进行阈值分割时，所选取的分割阈值应使前景区域的平均灰度、背景区域 的平均灰度与整幅图像的平均灰度之间的差异最大， 这种差异用区域的 方差 来表示。 Otsu[2]提出了最大方差法， 该算法是在判别分析最小二乘法原理的基础上推导得出的， 计算过程简单， 是一种常用的阈值分割的稳定算法。
在不均匀照明或者灰度值分布不均的情况下，如果使用全局阈值分割， 那么得到的分割效果往往会很不理想。那么想到的策略是针对每一个位置的灰度值 设置一个对应的阈值， 而该位置阈值的设置也和其 邻域 有必然的关系。
在对图像进行平滑处理时，均值平滑、高斯平滑、中值平滑用不同规则计算出以当前像素为中心的邻域内的灰度“平均值”， 所以可以使用平滑处理后的输出结果作为每个 像素设置阈值的参考值，如用均值滤波后的结果乘以某个比例系数作为最后的阈值矩阵。
平滑算子的宽度必须大于被识别物体的宽度，平滑算子的尺寸越大，平滑后的结果越能更好地作为每个像素的阈值的参考，当然也不能无限大。
就可以理解OpenCV提供的自适应阈值函数：
OpenCV提供的两个函数 bitwise_and 和 bitwise_or 分别实现了两 个矩阵之间的与运算和或运算，它们本质上完成的是两个矩阵对应位置数值的逻辑运算。
林倩倩，女，出生于 1986年10月，籍贯福建龙岩，硕士研究生。毕业于华侨大学电子与通信工程专业。 主要研究方向：图像分割算法。
林倩倩的科研成果：Lin Q Q，Ou C J. Tsallis entropy and the long-range correlation in image thresholding. Signal Processing，2012，92(12)，2931-2939 林倩倩，欧聪杰。
二维Tsallis熵在图像阈值分割中的应用. 传感器与微系统，2014,33(7)，150-153。
论文《Tsallis熵以及图像阈值处理中的长程相互作用》荣获第八届泉州市自然科学优秀学术论文三等奖。
泉州市自然科学优秀学术论文的评选范围：
包括自然科学基础理论、科学研究、应用技术等方面的优秀学术论文和正式出版的专著。具有一定学术水平，对促进国民经济建设有重要作用的决策性咨询论文，可列入评选范围。
工作总结、国内外科技动态介绍、统计资料、一般性试验报告、调查报告等，不在评选之列。
凡申请参加评选的学术论文，必须在市级以上(含市级)有全国统一刊号或正式出版的国际性学术刊物、国际学术会议论文集全文发表，或在市级以上(含市级）学会年会、国际学术会议宣读过的论文。
已获得高一级奖励的学术论文，不再参加评选。以外市科技人员为主、合作撰写的论文，不参加我市评选。
参考资料来源：百度百科-林倩倩
跟徐彪不要脸程度一样的网红，跟王勇白辰网操
①：题目，不妨在百度搜索：毕业 选题 图像处理可以找到其它学校给出的参考题目。②：论文资料，最好去学校图书馆（网上）的期刊论文数据库检索。万方的学位论文，比较有参考价值不知你是否要做设计，涉及到具体问题，再去专门的论坛写论文，没必要在网上瞎搜索的……
1 基于形态学运算的星空图像分割 主要内容： 在获取星图像的过程中，由于某些因素的影响，获得的星图像存在噪声，而且星图像的背景经常是不均匀的，为星图像的分割造成了极大的困难。膨胀和腐蚀是形态学的两个基本运算。用形态学运算对星图像进行处理，补偿不均匀的星图像背景，然后进行星图像的阈值分割。 要求： 1> 图像预处理：对原始星空图像进行滤波去噪处理； 2> 对去噪后的图像进行形态学运算处理； 3> 选取自适应阈值对形态学运算处理后的图像进行二值化； 4> 显示每步处理后的图像； 5> 对经过形态学处理后再阈值的图像和未作形态学处理后再阈值的图像进行对比分析。 待分割图像 直接分割图像 处理后的分割图像 2 基于数字图像处理的印刷电路板智能检测方法 主要内容： 通过对由相机实时获取的印刷电路板图像进行焊盘识别，从而提高电子元件的贴片质量，有效提高电路板的印刷效率。 要求： 1> 图像预处理：将原始彩色印刷电路板图像转成灰度图像，对灰度图像进行背景平滑和滤波去噪； 2> 对去噪后的图像进行图像增强处理，增强边缘提取的效果。 3> 对增强后的图像进行边缘提取（至少两种以上的边缘提取算法）； 4> 显示每步处理后的图像（原始电路板图像可自行查找）； 5> 图像处理后要求能对每个焊盘进行边缘提取，边缘清晰。
论文地址： V-Net 是另一种版本的3D U-Net。它与U-Net的区别在于： 1、3D图像分割end2ent模型（基于3D卷积），用于MRI前列腺容积医学图像分割。2、新的目标函数，基于Dice coefficient。3、数据扩充方法：random non-linear transformations和histogram matching（直方图匹配）。4、加入残差学习提升收敛。 （1）网络结构 其网络结构主要特点是3D卷积，引入残差模块和U-Net的框架，网络结构如图： 整个网络分为压缩路径和非压缩路径，也就是缩小和扩大feature maps，每个stage将特征缩小一半，也就是128-128-64-32-16-8，通道上为1-16-32-64-128-256。每个stage加入残差学习以加速收敛。 图中的圆圈加交叉代表卷积核为5*5*5，stride为1的卷积，可知padding为2*2*2就可以保持特征大小不变。每个stage的末尾使用卷积核为2*2*2，stride为2的卷积，特征大小减小一半（把2x2 max-pooling替换成了2x2 conv.）。整个网络都是使用keiming等人提出的PReLU非线性单元。网络末尾加一个1*1*1的卷积，处理成与输入一样大小的数据，然后接一个softmax。 （2）损失函数 由于前景比较小，在学习过程中不容易被学习到，因此重新定义了Dice coefficient损失函数。两个二进制的矩阵的dice相似系数为： 使用这个函数能避免类别不平衡。
随着图像处理技术的迅速发展，图像识别技术的应用领域越来越广泛。我整理了图像识别技术论文，欢迎阅读!
图像识别技术研究综述
摘要：随着图像处理技术的迅速发展，图像识别技术的应用领域越来越广泛。图像识别是利用计算机对图像进行处理、分析和理解，由于图像在成像时受到外部环境的影响，使得图像具有特殊性，复杂性。基于图像处理技术进一步探讨图像识别技术及其应用前景。
关键词：图像处理;图像识别;成像
中图分类号：TP391 文献标识码：A 文章编号：1009-3044(2013)10-2446-02
图像是客观景物在人脑中形成的影像，是人类最重要的信息源，它是通过各种观测系统从客观世界中获得，具有直观性和易理解性。随着计算机技术、多媒体技术、人工智能技术的迅速发展，图像处理技术的应用也越来越广泛，并在科学研究、教育管理、医疗卫生、军事等领域已取得的一定的成绩。图像处理正显著地改变着人们的生活方式和生产手段，比如人们可以借助于图像处理技术欣赏月球的景色、交通管理中的车牌照识别系统、机器人领域中的计算机视觉等，在这些应用中，都离不开图像处理和识别技术。图像处理是指用计算机对图像进行处理，着重强调图像与图像之间进行的交换，主要目标是对图像进行加工以改善图像的视觉效果并为后期的图像识别大基础[1]。图像识别是利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术。但是由于获取的图像本事具有复杂性和特殊性，使得图像处理和识别技术成为研究热点。
1 图像处理技术
图像处理(image processing)利用计算机对图像进行分析，以达到所需的结果。图像处理可分为模拟图像处理和数字图像图像处理，而图像处理一般指数字图像处理。这种处理大多数是依赖于软件实现的。其目的是去除干扰、噪声，将原始图像编程适于计算机进行特征提取的形式，主要包括图像采样、图像增强、图像复原、图像编码与压缩和图像分割。
1)图像采集，图像采集是数字图像数据提取的主要方式。数字图像主要借助于数字摄像机、扫描仪、数码相机等设备经过采样数字化得到的图像，也包括一些动态图像，并可以将其转为数字图像，和文字、图形、声音一起存储在计算机内，显示在计算机的屏幕上。图像的提取是将一个图像变换为适合计算机处理的形式的第一步。
2)图像增强，图像在成像、采集、传输、复制等过程中图像的质量或多或少会造成一定的退化，数字化后的图像视觉效果不是十分满意。为了突出图像中感兴趣的部分，使图像的主体结构更加明确，必须对图像进行改善，即图像增强。通过图像增强，以减少图像中的图像的噪声，改变原来图像的亮度、色彩分布、对比度等参数。图像增强提高了图像的清晰度、图像的质量，使图像中的物体的轮廓更加清晰，细节更加明显。图像增强不考虑图像降质的原因，增强后的图像更加赏欣悦目，为后期的图像分析和图像理解奠定基础。
3)图像复原，图像复原也称图像恢复，由于在获取图像时环境噪声的影响、运动造成的图像模糊、光线的强弱等原因使得图像模糊，为了提取比较清晰的图像需要对图像进行恢复，图像恢复主要采用滤波方法，从降质的图像恢复原始图。图像复原的另一种特殊技术是图像重建，该技术是从物体横剖面的一组投影数据建立图像。
4)图像编码与压缩，数字图像的显著特点是数据量庞大，需要占用相当大的存储空间。但基于计算机的网络带宽和的大容量存储器无法进行数据图像的处理、存储、传输。为了能快速方便地在网络环境下传输图像或视频，那么必须对图像进行编码和压缩。目前，图像压缩编码已形成国际标准，如比较著名的静态图像压缩标准JPEG，该标准主要针对图像的分辨率、彩色图像和灰度图像，适用于网络传输的数码相片、彩色照片等方面。由于视频可以被看作是一幅幅不同的但有紧密相关的静态图像的时间序列，因此动态视频的单帧图像压缩可以应用静态图像的压缩标准。图像编码压缩技术可以减少图像的冗余数据量和存储器容量、提高图像传输速度、缩短处理时间。
5)图像分割技术，图像分割是把图像分成一些互不重叠而又具有各自特征的子区域，每一区域是像素的一个连续集，这里的特性可以是图像的颜色、形状、灰度和纹理等。图像分割根据目标与背景的先验知识将图像表示为物理上有意义的连通区域的集合。即对图像中的目标、背景进行标记、定位，然后把目标从背景中分离出来。目前，图像分割的方法主要有基于区域特征的分割方法、基于相关匹配的分割方法和基于边界特征的分割方法[2]。由于采集图像时会受到各种条件的影响会是图像变的模糊、噪声干扰，使得图像分割是会遇到困难。在实际的图像中需根据景物条件的不同选择适合的图像分割方法。图像分割为进一步的图像识别、分析和理解奠定了基础。
2 图像识别技术
图像识别是通过存储的信息(记忆中存储的信息)与当前的信息(当时进入感官的信息)进行比较实现对图像的识别[3]。前提是图像描述，描述是用数字或者符号表示图像或景物中各个目标的相关特征，甚至目标之间的关系，最终得到的是目标特征以及它们之间的关系的抽象表达。图像识别技术对图像中个性特征进行提取时，可以采用模板匹配模型。在某些具体的应用中，图像识别除了要给出被识别对象是什么物体外，还需要给出物体所处的位置和姿态以引导计算初工作。目前，图像识别技术已广泛应用于多个领域，如生物医学、卫星遥感、机器人视觉、货物检测、目标跟踪、自主车导航、公安、银行、交通、军事、电子商务和多媒体网络通信等。主要识别技术有：
指纹识别
指纹识别是生物识别技术中一种最实用、最可靠和价格便宜的识别手段，主要应用于身份验证。指纹识别是生物特征的一个部分，它具有不变性：一个人的指纹是终身不变的;唯一性：几乎没有两个完全相同的指纹[3]。一个指纹识别系统主要由指纹取像、预处理与特征提取、比对、数据库管理组成。目前，指纹识别技术与我们的现实生活紧密相关，如信用卡、医疗卡、考勤卡、储蓄卡、驾驶证、准考证等。
人脸识别 目前大多数人脸识别系统使用可见光或红外图像进行人脸识别，可见光图像识别性能很容易受到光照变化的影响。在户外光照条件不均匀的情况下，其正确识别率会大大降低。而红外图像进行人脸识别时可以克服昏暗光照条件变化影响，但由于红外线不能穿透玻璃，如果待识别的对象戴有眼镜，那么在图像识别时，眼部信息全部丢失，将严重影响人脸识别的性能[4]。
文字识别
文字识别是将模式识别、文字处理、人工智能集与一体的新技术，可以自动地把文字和其他信息分离出来，通过智能识别后输入计算机，用于代替人工的输入。文字识别技术可以将纸质的文档转换为电子文档，如银行票据、文稿、各类公式和符号等自动录入，可以提供文字的处理效率，有助于查询、修改、保存和传播。文字识别方法主要有结构统计模式识别、结构模式识别和人工神经网络[5]。由于文字的数量庞大、结构复杂、字体字形变化多样，使得文字识别技术的研究遇到一定的阻碍。
3 结束语
人类在识别现实世界中的各种事物或复杂的环境是一件轻而易举的事，但对于计算机来讲进行复杂的图像识别是非常困难的[6]。在环境较为简单的情况下，图像识别技术取得了一定的成功，但在复杂的环境下，仍面临着许多问题：如在图像识别过程中的图像分割算法之间的性能优越性比较没有特定的标准，以及算法本身存在一定的局限性，这使得图像识别的最终结果不十分精确等。
参考文献：
[1] 胡爱明，周孝宽.车牌图像的快速匹配识别方法[J].计算机工程与应用，2003，39(7)：90—91.
[2] 胡学龙.数字图像处理[M].北京：电子工业出版社，2011.
[3] 范立南，韩晓微，张广渊.图像处理与模式识别[M].北京：科学出版社，2007.
[4] 晓慧，刘志镜.基于脸部和步态特征融合的身份识别[J].计算机应用，2009，1(29)：8.
[5] 陈良育，曾振柄，张问银.基于图形理解的汉子构型自动分析系统[J].计算机应用，2005，25(7)：1629-1631.
[6] Sanderson C，Paliwal K Fusion and Person Verification Using Speech & Face Information[C].IDIAP-RR 02-33，Martigny，Swizerland，2002.
点击下页还有更多>>>图像识别技术论文
数字图像处理技术是一个跨学科的领域。随着计算机科学技术的不断发展，图像处理和分析逐渐形成了自己的科学体系，新的处理方法层出不穷，尽管其发展历史不长，但却引起各方面人士的广泛关注。首先，视觉是人类最重要的感知手段，图像又是视觉的基础，因此，数字图像成为心理学、生理学、计算机科学等诸多领域内的学者们研究视觉感知的有效工具。其次，图像处理在军事、遥感、气象等大型应用中有不断增长的需求。1998年以来，人工神经网络识别技术已经引起了广泛的关注，并且应用于图像分割。基于神经网络的分割方法的基本思想是通过训练多层感知机来得到线性决策函数，然后用决策函数对像素进行分类来达到分割的目的。这种方法需要大量的训练数据。神经网络存在巨量的连接，容易引入空间信息，能较好地解决图像中的噪声和不均匀问题。选择何种网络结构是这种方法要解决的主要问题。图像分割是图像识别和计算机视觉至关重要的预处理。没有正确的分割就不可能有正确的识别。但是，进行分割仅有的依据是图像中像素的亮度及颜色，由计算机自动处理分割时，将会遇到各种困难。例如，光照不均匀、噪声的影响、图像中存在不清晰的部分，以及阴影等，常常发生分割错误。因此图像分割是需要进一步研究的技术。人们希望引入一些人为的知识导向和人工智能的方法，用于纠正某些分割中的错误，是很有前途的方法，但是这又增加了解决问题的复杂性。在通信领域中，图像分割技术对可视电话等活动图像的传输很重要，需要把图像中活动部分与静止的背景分开，还要把活动部分中位移量不同的区域分开，对不同运动量的区域用不同的编码传输，以降低传输所需的码率。
1 基于形态学运算的星空图像分割 主要内容： 在获取星图像的过程中，由于某些因素的影响，获得的星图像存在噪声，而且星图像的背景经常是不均匀的，为星图像的分割造成了极大的困难。膨胀和腐蚀是形态学的两个基本运算。用形态学运算对星图像进行处理，补偿不均匀的星图像背景，然后进行星图像的阈值分割。 要求： 1> 图像预处理：对原始星空图像进行滤波去噪处理； 2> 对去噪后的图像进行形态学运算处理； 3> 选取自适应阈值对形态学运算处理后的图像进行二值化； 4> 显示每步处理后的图像； 5> 对经过形态学处理后再阈值的图像和未作形态学处理后再阈值的图像进行对比分析。 待分割图像 直接分割图像 处理后的分割图像 2 基于数字图像处理的印刷电路板智能检测方法 主要内容： 通过对由相机实时获取的印刷电路板图像进行焊盘识别，从而提高电子元件的贴片质量，有效提高电路板的印刷效率。 要求： 1> 图像预处理：将原始彩色印刷电路板图像转成灰度图像，对灰度图像进行背景平滑和滤波去噪； 2> 对去噪后的图像进行图像增强处理，增强边缘提取的效果。 3> 对增强后的图像进行边缘提取（至少两种以上的边缘提取算法）； 4> 显示每步处理后的图像（原始电路板图像可自行查找）； 5> 图像处理后要求能对每个焊盘进行边缘提取，边缘清晰。
①：题目，不妨在百度搜索：毕业 选题 图像处理可以找到其它学校给出的参考题目。②：论文资料，最好去学校图书馆（网上）的期刊论文数据库检索。万方的学位论文，比较有参考价值不知你是否要做设计，涉及到具体问题，再去专门的论坛写论文，没必要在网上瞎搜索的……
论文地址： V-Net 是另一种版本的3D U-Net。它与U-Net的区别在于： 1、3D图像分割end2ent模型（基于3D卷积），用于MRI前列腺容积医学图像分割。2、新的目标函数，基于Dice coefficient。3、数据扩充方法：random non-linear transformations和histogram matching（直方图匹配）。4、加入残差学习提升收敛。 （1）网络结构 其网络结构主要特点是3D卷积，引入残差模块和U-Net的框架，网络结构如图： 整个网络分为压缩路径和非压缩路径，也就是缩小和扩大feature maps，每个stage将特征缩小一半，也就是128-128-64-32-16-8，通道上为1-16-32-64-128-256。每个stage加入残差学习以加速收敛。 图中的圆圈加交叉代表卷积核为5*5*5，stride为1的卷积，可知padding为2*2*2就可以保持特征大小不变。每个stage的末尾使用卷积核为2*2*2，stride为2的卷积，特征大小减小一半（把2x2 max-pooling替换成了2x2 conv.）。整个网络都是使用keiming等人提出的PReLU非线性单元。网络末尾加一个1*1*1的卷积，处理成与输入一样大小的数据，然后接一个softmax。 （2）损失函数 由于前景比较小，在学习过程中不容易被学习到，因此重新定义了Dice coefficient损失函数。两个二进制的矩阵的dice相似系数为： 使用这个函数能避免类别不平衡。
数字图像处理技术是一个跨学科的领域。随着计算机科学技术的不断发展，图像处理和分析逐渐形成了自己的科学体系，新的处理方法层出不穷，尽管其发展历史不长，但却引起各方面人士的广泛关注。首先，视觉是人类最重要的感知手段，图像又是视觉的基础，因此，数字图像成为心理学、生理学、计算机科学等诸多领域内的学者们研究视觉感知的有效工具。其次，图像处理在军事、遥感、气象等大型应用中有不断增长的需求。1998年以来，人工神经网络识别技术已经引起了广泛的关注，并且应用于图像分割。基于神经网络的分割方法的基本思想是通过训练多层感知机来得到线性决策函数，然后用决策函数对像素进行分类来达到分割的目的。这种方法需要大量的训练数据。神经网络存在巨量的连接，容易引入空间信息，能较好地解决图像中的噪声和不均匀问题。选择何种网络结构是这种方法要解决的主要问题。图像分割是图像识别和计算机视觉至关重要的预处理。没有正确的分割就不可能有正确的识别。但是，进行分割仅有的依据是图像中像素的亮度及颜色，由计算机自动处理分割时，将会遇到各种困难。例如，光照不均匀、噪声的影响、图像中存在不清晰的部分，以及阴影等，常常发生分割错误。因此图像分割是需要进一步研究的技术。人们希望引入一些人为的知识导向和人工智能的方法，用于纠正某些分割中的错误，是很有前途的方法，但是这又增加了解决问题的复杂性。在通信领域中，图像分割技术对可视电话等活动图像的传输很重要，需要把图像中活动部分与静止的背景分开，还要把活动部分中位移量不同的区域分开，对不同运动量的区域用不同的编码传输，以降低传输所需的码率。
图像分割是图像处理与计算机视觉的基本问题之一，是图像处理图像分析的关键步骤。我整理了图像分割技术论文，欢迎阅读!
图像分割技术研究
摘要：图像分割是图像处理与计算机视觉的基本问题之一，是图像处理图像分析的关键步骤。本文介绍了基于阈值的分割方法和图像分割的图像分割性能的评价、应用现状;最后总结出图像分割的发展趋势。
关键词：图像分割、阈值、边缘检测、区域分割
中图分类号： 文献标识码： A
1引言
随着图像分割技术研究的深入，其应用日趋广泛。凡属需要对图像目标进行提取、测量的工作都离不开图像分割。图像分割是图像处理、模式识别和人工智能等多个领域中一个十分重要且又十分困难的问题，是计算机视觉技术中首要的、重要的关键步骤。图像分割结果的好坏直接影响对计算机视觉中的图像理解。现有的方法多是为特定应用设计的，有很大的针对性和局限性，到目前为止还不存在一个通用的方法，也不存在一个判断分割是否成功的客观标准。因此，对图像分割的研究目前还缺乏一个统一的理论体系，使得图像分割的研究仍然是一个极富有挑战性的课题。
2图像分割方法
图像分割(Image Segmentation)，简单地说就是将一幅数字图像分割成不同的区域，在同一区域内具有在一定的准则下可认为是相同的性质，如灰度、颜色、纹理等。而任何相邻区域之间其性质具有明显的区别。
基于灰度特征的阈值分割方法
阈值分割技术是经典的、流行的图象分割方法之一，它是用一个或几个阈值将图像的灰度级分为几个部分，认为属于同一个部分的像素是同一个物体。
这类方法主要包括以下几种：
(1)单阈值法，用一个全局阈值区分背景和目标。当一幅图像的直方图具有明显的双峰时，选择两峰之间的谷底作为阈值。
(2)双阈值法，用两个阈值区分背景和目标。通过设置两个阈值，以防单阈值设置阈值过高或过低，把目标像素误归为背景像素，或把背景像素误归为目标像素。
(3)多阈值法，当存在照明不均，突发噪声等因素或背景灰度变化较大时，整幅图像不存在合适的单一阈值，单一阈值不能兼顾图像不同区域的具体情况，这时可将图像分块处理，对每一块设一个阈值。
边缘检测分割法
基于边缘检测技术可以按照处理的顺序分为并行边缘检测和串行边缘检测两大类。常见的边缘检测方法有：差分法、模板匹配法及统计方法等。由于边缘灰度变化规律一般体现为阶梯状或者脉冲状。边缘与差分值的关系可以归纳为两种情况，其一是边缘发生在差分最大值或者最小值处;其二是边缘发生在过零处。
基于区域的分割方法
基于区域的分割方法利用的是图像的空间性质。该方法认为分割出来的某一区域具有相似的性质。常用的方法有区域生长法和区域分裂合并法。该类方法对含有复杂场景或自然景物等先验知识不足的图像进行分割，效果较好。
区域生长方法是把一幅图像分成许多小区域开始的，这些初始的小区域可能是小的邻域甚至是单个像素，在每个区域中，通过计算能反映一个物体内像素一致性的特征，作为区域合并的判断标准。区域合并的第一步是赋给每个区域一组参数，即特征。接下来对相邻区域的所有边界进行考查，如果给定边界两侧的特征值差异明显，那么这个边界很强，反之则弱。强边界允许继续存在，而弱边界被消除，相邻区域被合并。没有可以消除的弱边界时，区域合并过程结束，图像分割也就完成。
结合特定工具的图像分割技术
20世纪80年代末以来，随着一些特殊理论的出现及其成熟，如数学形态学、分形理论、模糊数学、小波分析、模式识别、遗传算法等，大量学者致力于将新的概念、新的方法用于图像分割，有效地改善了分割效果。产生了不少新的分割算法。下面对这些算法做一些简单的概括。
基于数学形态学的分割算法
分水岭算法是一种经典的借鉴了数学形态理论的分割方法。该方法中，将一幅图像比为一个具有不同高度值的地形，高灰度值处被认为是山脊，底灰度值处被认为是山谷，将一滴水从任一点流下，它会朝地势底的地方流动，最终聚于某一局部最底点，最后所有的水滴会分聚在不同的吸引盆地，由此，相应的图像就被分割成若干部分。分水岭算法具有运算简单、性能优良，能够较好提取运动对象轮廓、准确得到运动物体边缘的优点。但分割时需要梯度信息，对噪声较敏感。
基于模糊数学的分割算法
目前，模糊技术在图像分割中应用的一个显著特点就是它能和现有的许多图像分割方法相结合，形成一系列的集成模糊分割技术，例如模糊聚类、模糊阈值、模糊边缘检测技术等。
这类方法主要有广义模糊算子与模糊阈值法两种分割算法。
(1)广义模糊算子在广义模糊集合的范围内对图像处理，使真正的边缘处于较低灰度级，但还有一些不是边缘的像素点的灰度也在较低灰度级中，虽然算法的计算简明，且边缘细腻，但得到的边缘图会出现断线问题。
(2)模糊阈值法引入灰度图像的模糊数学描述，通过计算图像的模糊熵来选取图像的分割阈值，后用阈值法处理图像得到边界。
基于遗传算法的分割方法
此算法是受生物进化论思想提出的一种优化问题的解决方法，它使用参数编码集而不是参数本身，通过模拟进化，以适者生存的策略搜索函数的解空间，它是在点群中而不是在单点进行寻优。遗传算法在求解过程中使用随机转换规则而不是确定性规则来工作，它唯一需要的信息是适应值，通过对群体进行简单的复制、杂交、变异作用完成搜索过程。由于此法能进行能量函数全局最小优化搜索，且可以降低搜索空间维数，降低算法对模板初始位置的敏感，计算时间也大为减少。其缺点是容易收敛于局部最优。
基于神经网络分割算法
人工神经网络具有自组织、自学习、自适应的性能和非常强的非线性映射能力，适合解决背景知识不清楚、推理规则不明确和比较复杂的分类问题，因而也适合解决比较复杂的图像分割问题。原则上讲，大部分分割方法都可用 ANN(attificial neural network)实现。ANN 用于分割的研究起步较晚，只有多层前馈NN，多层误差反传(BP)NN，自组织NN，Hopfield NN以及满足约束的NN(CSNN-Const raint Satisfaction Neurat Network)等得到了应用。使用一个多层前向神经网络用于图象分割，输入层神经元的数目取决于输入特征数，而输出层神经元的数目等同于分类的数目。
图像分割中的其他方法
前面介绍了4大类图像分割较常用的方法，有关图像分割方法和文献很多，新方法不断产生，这些方法有的只对特定的情形有效，有的综合了几种方法，放在一起统称为第5类。
(1)标号法(labeling)是一种基于统计学的方法，这种方法将图像欲分割成的几个区域各以一个不同的标号来表示，用一定的方式对图像中的每一个像素赋以标号，标号相同的像素就合并成该标号所代表的区域。
(2)基于Snak模型的分割方法，基于Snake模型的分割是通过对能量函数的动态优化来逼近图像目标的真实轮廓的
(3)纹理分割，由于新的数学工具的引入，纹理分割技术取得了一些进展，张蓬等人将小波分析应用于纹理基元提取。
(4)基于知识的图像分割方法，直接建立在先验知识的基础上，使分割更符合实际图像的特点。该方法的难度在于知识的正确合理的表示与利用。
3图像分割性能的评价
图像分割评价主要有两个方面的内容：一是研究各分割算法在不同情况下的表现，掌握如何选择和控制其参数设置，以适应不同需要。二是分析多个分割算法在分割同一图像时的性能，比较优劣，以便在实际应用中选取合适的算法。分割评价方法分为分析法和实验法两大类。分析法是直接分析分割算法本身的原理及性能，而实验法是通过对测试图像的分割结果来评价算法的。两种方法各有优劣，由于缺乏可靠理论依据，并非所有分割算法都能够通过分析法分析其性能。每种评价方法都是出于某种考虑而提出来的，不同的评价方法只能反映分割算法性能的某一性能。另一方面，每一种分割算法的性能是由多种因素决定的，因此，有可能需要多种准则来综合评价。
4图像分割技术的发展趋势
随着神经网络、遗传算法、统计学理论、小波理论以及分形理论等在图像分割中的广泛应用，图像分割技术呈现出以下的发展趋势：(1)多种特征的融合。(2)多种分割方法的结合。(3)新理论与新方法。
参考文献
[1] [美]RC冈萨雷斯.数字图像处理(第二版)[M].阮秋琦，等译.北京：电子工业出版社，2003
[2] 章毓晋.图像分割[M].北京：科学出版社，2001.
[3] 李弼程，彭天强，彭波等.智能图像处理技术[M].北京：电子工业出版社，2004.
[4] 杨晖，曲秀杰.图像分割方法综述[J].电脑开发与应用。2005，18(3)：21-23.
点击下页还有更多>>>图像分割技术论文
姓名：闫伟 学号： 【嵌牛导读】：在计算机视觉领域，图像分割指的是为图像中的每个像素分配一个标签的任务，它也可以被看作是dense prediction task，对图像中每个像素进行分类。和使用矩形候选框的目标检测不同，图像分割需要精确到像素级位置，因此它在医学分析、卫星图像物体检测、虹膜识别和自动驾驶汽车等任务中起着非常重要的作用。 【嵌牛鼻子】：图像分割 CNN 语义分割 【嵌牛提问】：如何利用CNN对图像进行分割? 【嵌牛正文】： 随着深度学习的不断发展，近年来图像分割技术也在速度和准确率上迎来了一次次突破。现在，我们能在几分之一秒内完成分割，同时保证极高的准确性。在这篇文章中，我们将介绍一些用于图像分割的主要技术及其背后的简单思路。我们将从最基础的语义分割（semantic segmentation）开始，慢慢进阶到更复杂的实例分割（instance segmentation）。 目标检测、语义分割和实例分割 语义分割 语义图像分割是为图像中的每个像素分配语义类别标签的任务，它不分割对象实例。现在，处理这类任务的主流方法是FCN及其衍生，所以我们先从FCN看起。 全卷积网络（FCN） FCN架构 创建FCN的方法很简单，我们只需把CNN里的所有全连接层替换成宽高1×1的卷积层，这时卷积层的filter数量等于全连接层的神经元（输出）数量，所有层都是卷积层，故称全卷积网络。之所以要这么做，是因为每个像素的空间位置对于分割来说都很重要，而卷积层能分类全连接层无法处理的单个像素。作为处理结果，神经网络较高层中的位置会对应于它们路径连接的图像中的位置，即它们的感受野。 如上图所示，FCN的架构非常简单，主要由编码器CNN（以VGG为例）构成，只不过其中和分类网络对应的最后三层被改成了(4096,1,1)(4096,1,1)(N+1,1,1)的卷积层（N表示类别数量）。编码器后是一个解码器网络，它只包含一个反向的卷积层（也称为转置卷积transposed convolution或反卷积deconvolution）。它的输出与输入图像具有相同的空间维度，并具有N+1个通道，每个通道预测一个类别。 反向的卷积操作 仍以VGG为例，由于前面采样部分过大，有时候会导致后面进行反向卷积操作得到的结果分辨率较低，会出现细节丢失等问题。为此，FCN的解决方法是叠加第三、四、五层池化层的特征，以生成更精准的边界分割。如下图所示： 需要注意的一点是，在进行上采样之前，所有池化特征都会先通过(N+1,1,1)这个卷积层。 FCN分割效果 U-NET U-NET架构 U-NET常被用于生物医学图像分割，它遵循了FCN的编码器-解码器结构，不使用任何全连接层。如上图所示，常规情况下，U-NET的编码器是一个包含10个卷积层的CNN，中间包含最大池化层（红色箭头）。它的解码器会对feature map进行多次上采样和卷积，目的是为了提取更高效、更抽象的特征。得到heatmap后，U-NET最后再用1×1的卷积层做分类，也就是说解码器一共有13层，整个架构总共由23层可学习的卷积层组成。 为什么要做上采样？ 答：池化层会丢失图像信息和降低图像分辨率且是不可逆的操作，对图像分割任务有一些影响。上采样可以补足一些图片的信息，但是信息补充的肯定不完全，所以还需要与左边的分辨率比较高的图片相连接起来（直接复制过来再裁剪到与上采样图片一样大小），这就相当于在高分辨率和更抽象特征当中做一个折衷，因为随着卷积次数增多，提取的特征也更加有效，更加抽象。—— jianyuchen23 SEGNET SegNet架构 SegNet的全称是“用于图像分割的深度卷积编码器-解码器架构”，事实上，大多数语义分割方法都遵循这种基本架构，它们的编码器都是用VGG16，解码器都仿照U-NET——多次上采样后再卷积。但是，SegNet有自己独到的特点： 上采样是不可学习的 解码器使用和编码器相同的卷积（filter大小和相应层的通道数量） SegNet中的上采样是一种反向最大池化操作。为了补足图像信息，U-NET会对编码阶段的特征做通道降维，再把它和特征反向卷积后得到上采样进行相加，这一过程需要学习。而SegNet采用的方法是记录下编码阶段的最大池化index，比如在某层移动2×2的最大池化窗口时最高值像素的位置，然后把这个index用于解码阶段的上采样。空白的值用0填充： SegNet上采样 在这个稀疏feature map进行正常卷积后，我们就能得到密集feature map。因此相比较FCN，SegNet的内存利用率更高，计算效率也更高。 需要注意的是，一般来说，解码器每一层的输入通道数和feature map大小都与其对应的编码器相同，但第一层不是。编码器的第一层都3个输入通道（RGB），但解码器第一层有更多通道，这是为了给每个类别生成分割掩膜。 用SegNet进行道路场景分割 实例分割 所谓实例分割，指的就是结合了语义分割和分类的任务。它在本质上更复杂，因为为了区分同一类的不同实例，我们往往需要为每个独立对象创建单独的、缩小的掩膜，然后再把它的大小调整为输入图像中对象的大小。 下面是实例分割的一些常用方法。 DEEPMASK DeepMask架构 DeepMask是FAIR于2015年提出的一种实例分割方法，输入一张图片后，它能为子图像块（image patch）中的对象生成56×56的分割掩膜，并以掩膜为中心进行分类。对于图像的子图像块，它有两个约束： 子图像块中必须包含一个大致居中的对象 这个对象必须被完整包含在子图像块中，且在给定的比例范围内 由于DeepMask一次只能为子图像块分割一个对象，当它处理包含复杂、重复对象的图像时，它会在多个位置以多个比例密集应用。鉴于以上两个约束条件，这是可以理解的，也是必要的。 整个模型由VGG-A构成，它保留了两个全连接层，但删去了最后一个最大池化层，共有8个卷积层和4个池化层。模型输出的下采样因子为16，共有2个输出，一是子图像块对应物体的一个掩膜，二是这个子图像块包含一个物体的得分。 DeepMask分割效果 Multi-task Network Cascades(MNC) MNC架构，右上为简化原理图 MNC不直接进行实例分割，它把这个任务分成了三个更小、更简单的子任务： 区分实例。这个子任务的目标是为每个实例预测候选框和候选框是否包含对象的概率； 估计掩膜。这个子任务的目标是预测对象的像素级掩膜； 对对象进行分类。这个子任务的目标是为每个掩膜级实例预测类别标签。 这三个子任务不是并行执行的，它们要按照顺序一个个完成，这也是MNC的全称“多任务网络级联”的原因。模型用移除了所有全连接层的VGG-16处理输入图像，生成feature map，作为三个子任务的共用数据。 子任务1：预测实例候选框 首先，神经网络以窗口的形式提取对象实例，这些候选框不包含分类预测信息，但有一个包含/不包含对象的概率。这是个全卷积的子网络，结构类似RPN。 子任务2：估计实例掩膜 基于子任务1返回的候选框预测，模型再用ROI pooling从共享卷积特征中提取该候选框的特征，之后是两个全连接层（fc），第一个fc负责把维度降到256， 第二个fc负责回归像素级的掩膜。掩膜的预定义分辨率是M×M，这和DeepMask中使用的预测方法有些类似，但不同的是MNC只从几个候选框中回归掩膜，计算成本大大降低。 子任务3：对实例进行分类 现在模型有了子任务1给出的候选框预测，也有了子任务2用ROI pooling提取的feature map，之后就是基于掩膜和候选框预测实例类别。 这是两条并行路径。在基于掩膜的路径中，ROI提取的feature map被子任务2预测的掩膜“覆盖”，使模型更关注预测掩膜的前景特征，计算乘积后，将特征输入两路4096维的fc层。在基于候选框的路径中，用ROI pooling提取的特征被直接传递到4096维的fc层（图中未画出），目的是为了解决特征大幅被掩模级通道“覆盖”的情况（如目标对象很大）。之后，基于掩膜和基于候选框的路径被连接起来，紧接着是N+1类的Softmax分类器，其中N类是物体，1类是背景。 MNC分割效果 即便是这么复杂的架构，整个网络也是可以端到端训练的。 INSTANCEFCN InstanceFCN是FCN的改进版，它不仅在语义分割任务上表现出色，在实例分割上也有不错的结果。之前我们提到过，FCN的每个输出像素是一个类别的分类器，那么InstanceFCN的每个输出像素就是实例相对位置的分类器。例如，下图被分为9块区域，在其中的第6个得分图中，每个像素就是对象是否在实例右侧的分类器。 试想一下，如果图像中只有一个实例，分割过程会很简单；如果有多个重叠实例，那么我们就得先区分实例，然后再进行分割。相比FCN，InstanceFCN的最大改进是引入相对位置，它在输入图像上生成k2实例敏感分数图，每个分数图对应于特定的相对位置，这就实现了相同位置不同语义的预测。 为了从这些分数图上生成图像实例，InstanceFCN在这组分数图上用了一个m×m的滑动窗口。在这个滑动窗中，每一个m/k×m/k的子窗口直接从相应的分数图中同样的子窗口复制那一部分数值。之后这组子窗口按照相对位置拼起来就得到了m×m的结果。 这一部分被称为实例组合模块（instance assembling module） 。 模型的架构包括在输入图像上用VGG-16做特征提取。在输出的feature map顶部，有两个全卷积分支：一个用来估计分割实例（如上所述），另一个用来对实例进行评分。 InstanceFCN架构 如上图所示，对于第一个分支，模型先采用一个512维的1×1卷积层转换特征，然后用3x3的卷积层生成一组k2实例敏感分数图。这个实例组合模块负责在分辨率为m×m（m=21）的滑动窗中预测分割掩膜。 对于第二个分支，模型先采用一个512维的3×3卷积层，后面跟随一个1x1的卷积层。这个1x1的卷积层是逐像素的逻辑回归，用于分类以像素为中心的m×m滑动窗口中的对象是/不是实例。因此，这个分支的输出是对象分数图，其中一个分数对应于生成一个实例的一个滑动窗口，所以它对不同的对象类别会“视而不见”。 InstanceFCN分割效果 FCIS 正如InstanceFCN是对FCN的改进，完全卷积实例感知语义分割（FCIS）也是在InstanceFCN基础上做出的进一步优化。上节我们说道，InstanceFCN预测分割掩膜的分辨率都是m×m，而且没法将对象分类为不同类别。FCIS解决了这两个问题，它既能预测不同分辨率的掩膜，也能预测不同的对象类别。 FCIS实例敏感分数图 给定ROI，首先用InstanceFCN的实例组合模块生成上述分数图。对于ROI中的每个像素，有两个任务（所以要生成两个分数图）： 检测：它是否在某相对位置的对象检测候选框内，是（detection+），否（detection-） 分割：它是否在对象实例的边界内，是（segmentation+），否（segmentation-） 基于上述任务，这时出现了三种情况： 内部得分高，外部得分低：detection+，segmentation+（像素点位于ROI中的目标部分） 内部得分低，外部得分高：detection+，segmentation-（像素点位于ROI中的背景部分） 两个得分都很低：detection-，segmentation-（像素点不在ROI中） 对于检测，我们可以用取最大值把前两种情况（detection+）和情况3（detection-）区分开。整个ROI的得分是求取最大值得到分数图的所有值的平均数，之后再通过一个softmax分类器。对于分割，softmax可以区分情况1（segmentation+）和其他情况（segmentation-）。ROI的前景掩膜是每个类别每个像素分割分数的合并。 FCIS架构 FCIS分割效果 MASK R-CNN MASK R-CNN是目标检测模型Faster R-CNN的进阶版，它在后者候选框提取的基础上添加了一个并行的分支网络，用预测分割掩膜。这个分支网络是个共享feature map的FCN，它为每个ROI提供Km2 维的输出，其中K对应类别个数，即输出K个掩膜，m对应池化分辨率。这样的设计允许网络为每个类别生成掩膜，避免了不同类实例之间因重叠产生混淆。此外，分类分支是直接在掩膜上分类，所以分割和分类是分离的。 Mask R-CNN架构中用于预测掩膜的分支 关注输入图像的空间结构是准确预测掩膜的前提，而这种像素到像素的操作需要ROI特征的完全对齐。在目标检测任务中，一些模型会用RoIPool提取这些特征，但它们不总是严格对齐的，因为ROI的维度不仅可以是积分，也可以是浮点数。RoIPool通过将它们四舍五入到最接近的整数来量化这些维度，不仅如此，量化的RoI还被进一步细分为量化的空间区间，在该区间上执行合并。虽然这些量化对分类问题没什么影响，但如果把它们用于像素级对齐，分割掩膜预测会出现巨大偏差。 RoIAlign： 虚线网格表示feature map，实线表示RoI（有2×2个bin，每个bin中4个采样点） 考虑到实例分割要求像素级别的精准，MASK R-CNN引入了一种新的方法来提取特征，称为RoIAlign。它背后的想法是很简单：既然错位是由量化引起的，那就避免所有量化。RoIAlign不会对维度做任何约减，它引入了一个插值过程，先通过双线性插值到14×14，再池化到7×7，很大程度上解决了由直接池化采样造成的Misalignment对齐问题。需要注意的是，使用RoIAlign提取的RoI特征具有固定的空间维度，这点和RoIPool一样。 小结 以上就是现在常用的语义分割、实例分割模型，它们基本上都是FCN的变体，把编码器作为简单的特征提取器，重点放在解码器创新上。此外，一些研究人员也尝试过用其他方法来解决实例分割问题，比如上面提到的MASK R-CNN就是改造目标检测模型的成果，总而言之，FCN还是解决这类任务的重要基石。 译者的话：以上只是简短的关键提炼，如果读者希望了解这些模型的具体细节，可以参考文末推荐的几篇中文论文解读，点击阅读原文获取超链接。 参考文献 [1] J. Long, E. Shelhamer, and T. D ar rell. Fully convolutional networks for semantic segmentation. In CVPR, 2015. (paper) [2] O. Ronneberger, P. Fischer, and T. Brox, “U-net: Convolutional networks for biomedical image segmentation,” in MICCAI, pp. 234–241, Springer, 2015. (paper) [3] Badrinarayanan, V., Kendall, A., & Cipolla, R. (2017). SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39, 2481-2495. (paper) [4] P. O. Pinheiro, R. Collobert, and P. Dollar. Learning to segment object candidates. In NIPS, 2015. (paper) [5] Dai, J., He, K., Sun, J. Instance-aware semantic segmentation via multi-task network cascades. In CVPR., 2016. (paper) [6] J. Dai, K. He, Y. Li, S. Ren, and J. Sun. Instance-sensitive fully convolutional networks. In ECCV, 2016. (paper) [7] Y. Li, H. Qi, J. Dai, X. Ji, and Y. Wei. Fully convolutional instance-aware semantic segmentation. In CVPR, 2017. (paper) [8] K He, G Gkioxari, P Dollár, R Girshick. Mask R-CNN. In ICCV, 2017. (paper) 编译参考 [1] jianyuchen23—— U-Net论文详解 [2] DelphiFan’s Blog—— 语义分割论文-SegNet [3] Elaine_Bao—— 物体检测与分割系列 DeepMask [4] AHU-WangXiao—— Instance-aware Semantic Segmentation via Multi-task Network Cascades [5] Tina’s Blog—— InstanceFCN:Instance-sensitive Fully Convolutional Networks [6] 技术挖掘者—— Mask R-CNN详解