图像的异常检测论文

论文: Generative adversarial network in medical imaging: A review 这篇文章发表于顶刊Medical Imaging Analysis 2019上，文章细数了GAN应用于医学图像的七大领域——重建（图像去噪）、合成、分割、分类、检测、配准和其他工作，并介绍了包括医学图像数据集、度量指标等内容，并对未来工作做出展望。由于笔者研究方向之故，本博客暂时只关注重建、合成部分的应用。关于该论文中所有列出的文章，均可在 GitHub链接 中找到。 GAN在医学成像中通常有两种使用方式。第一个重点是生成方面，可以帮助探索和发现训练数据的基础结构以及学习生成新图像。此属性使GAN在应对数据短缺和患者隐私方面非常有前途。第二个重点是判别方面，其中辨别器D可以被视为正常图像的先验知识，因此在呈现异常图像时可以将其用作正则器或检测器。示例(a)，(b)，(c)，(d)，(e)，(f)侧重于生成方面，而示例 (g) 利用了区分性方面。下面我们看一下应用到分割领域的文章。 (a)左侧显示被噪声污染的低剂量CT，右侧显示降噪的CT，该CT很好地保留了肝脏中的低对比度区域[1]。 (b)左侧显示MR图像，右侧显示合成的相应CT。在生成的CT图像中很好地描绘了骨骼结构[2]。 (c)生成的视网膜眼底图像具有如左血管图所示的确切血管结构[3]。(d)随机噪声（恶性和良性的混合物）随机产生的皮肤病变[4]。 (e)成人胸部X光片的器官（肺和心脏）分割实例。肺和心脏的形状受对抗性损失的调节[5]。 (f)第三列显示了在SWI序列上经过域调整的脑病变分割结果，无需经过相应的手动注释训练[6]。 (g) 视网膜光学相干断层扫描图像的异常检测[7]。 通常，研究人员使用像像素或逐像素损失（例如交叉熵）进行分割。尽管使用了U-net来组合低级和高级功能，但不能保证最终分割图的空间一致性。传统上，通常采用条件随机场（CRF）和图割方法通过结合空间相关性来进行细分。它们的局限性在于，它们仅考虑可能在低对比度区域中导致严重边界泄漏的 pair-wise potentials (二元势函数 -- CRF术语)。另一方面，鉴别器引入的对抗性损失可以考虑到高阶势能。在这种情况下，鉴别器可被视为形状调节器。当感兴趣的对象具有紧凑的形状时，例如物体，这种正则化效果更加显着。用于肺和心脏mask，但对诸如血管和导管等可变形物体的用处较小。这种调节效果还可以应用于分割器(生成器)的内部特征，以实现域（不同的扫描仪，成像协议，模态）的不变性[8、9]。对抗性损失也可以看作是f分割网络（生成器）的输出和 Ground Truth 之间的自适应学习相似性度量。因此，判别网络不是在像素域中测量相似度，而是将输入投影到低维流形并在那里测量相似度。这个想法类似于感知损失。不同之处在于，感知损失是根据自然图像上的预训练分类网络计算而来的，而对抗损失则是根据在生成器演变过程中经过自适应训练的网络计算的。 [10] 在鉴别器中使用了多尺度L1损失，其中比较了来自不同深度的特征。事实证明，这可以有效地对分割图执行多尺度的空间约束，并且系统在BRATS 13和15挑战中达到了最先进的性能。 [11] 建议在分割管道中同时使用带注释的图像和未带注释的图像。带注释的图像的使用方式与 [10] 中的相同。 [10] 和 [12] ，同时应用了基于元素的损失和对抗性损失。另一方面，未注释的图像仅用于计算分割图以混淆鉴别器。 [13] 将pix2pix与ACGAN结合使用以分割不同细胞类型的荧光显微镜图像。他们发现，辅助分类器分支的引入为区分器和细分器提供了调节。 这些前述的分割训练中采用对抗训练来确保最终分割图上更高阶结构的一致性，与之不同的是， [14] -- code 中的对抗训练方案,将网络不变性强加给训练样本的小扰动，以减少小数据集的过度拟合。表中总结了与医学图像分割有关的论文。 参考链接： [1] X. Yi, P. Babyn. Sharpness-aware low-dose ct denoising using conditional generative adversarial network. J. Digit. Imaging (2018), pp. 1-15 [2] . Wolterink, . Dinkla, . Savenije, . Seevinck, . van den Berg, I. Išgum. Deep MR to CT synthesis using unpaired data International Workshop on Simulation and Synthesis in Medical Imaging, Springer (2017), pp. 14-23 [3] P. Costa, A. Galdran, . Meyer, M. Niemeijer, M. Abràmoff, . Mendonça, A. Campilho. End-to-end adversarial retinal image synthesis IEEE Trans. Med. Imaging(2017) [4] Yi, X., Walia, E., Babyn, P., 2018. Unsupervised and semi-supervised learning with categorical generative adversarial networks assisted by Wasserstein distance for dermoscopy image classification. arXiv: . [5] Dai, W., Doyle, J., Liang, X., Zhang, H., Dong, N., Li, Y., Xing, ., 2017b. Scan: structure correcting adversarial network for chest x-rays organ segmentation. arXiv: . [6] K. Kamnitsas, C. Baumgartner, C. Ledig, V. Newcombe, J. Simpson, A. Kane, D. Menon, A. Nori, A. Criminisi, D. Rueckert, et al. Unsupervised domain adaptation in brain lesion segmentation with adversarial networks International Conference on Information Processing in Medical Imaging, Springer (2017), pp. 597-609 [7] T. Schlegl, P. Seeböck, . Waldstein, U. Schmidt-Erfurth, G. Langs Unsupervised anomaly detection with generative adversarial networks to guide marker discovery International Conference on Information Processing in Medical Imaging, Springer (2017), pp. 146-157 [8] K. Kamnitsas, C. Baumgartner, C. Ledig, V. Newcombe, J. Simpson, A. Kane, D. Menon, A. Nori, A. Criminisi, D. Rueckert, et al. Unsupervised domain adaptation in brain lesion segmentation with adversarial networks International Conference on Information Processing in Medical Imaging, Springer (2017), pp. 597-609 [9] Dou, Q., Ouyang, C., Chen, C., Chen, H., Heng, ., 2018. Unsupervised cross-modality domain adaptation of convnets for biomedical image segmentations with adversarial loss. arXiv: . [10] Y. Xue, T. Xu, H. Zhang, . Long, X. Huang Segan: adversarial network with multi-scale l 1 loss for medical image segmentation Neuroinformatics, 16 (3–4) (2018), pp. 383-392 [11] Y. Zhang, L. Yang, J. Chen, M. Fredericksen, . Hughes, . Chen. Deep adversarial networks for biomedical image segmentation utilizing unannotated images International Conference on Medical Image Computing and Computer-Assisted Intervention, Springer (2017), pp. 408-416 [12] Son, J., Park, ., Jung, ., 2017. Retinal vessel segmentation in fundoscopic images with generative adversarial networks. arXiv: . [13] Y. Li, L. Shen. CC-GAN: a robust transfer-learning framework for hep-2 specimen image segmentation IEEE Access, 6 (2018), pp. 14048-14058 [14] W. Zhu, X. Xiang, . Tran, . Hager, X. Xie. Adversarial deep structured nets for mass segmentation from mammograms 2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018), IEEE (2018) [15] D. Yang, D. Xu, . Zhou, B. Georgescu, M. Chen, S. Grbic, D. Metaxas, D. Comaniciu. Automatic liver segmentation using an adversarial image-to-image network International Conference on Medical Image Computing and Computer-Assisted Intervention, Springer (2017), pp. 507-515 [16] Dou, Q., Ouyang, C., Chen, C., Chen, H., Heng, ., 2018. Unsupervised cross-modality domain adaptation of convnets for biomedical image segmentations with adversarial loss. arXiv: . [17] Rezaei, M., Yang, H., Meinel, C., 2018a. Conditional generative refinement adversarial networks for unbalanced medical image semantic segmentation. arXiv: . [18] A. Sekuboyina, M. Rempfler, J. Kukačka, G. Tetteh, A. Valentinitsch, . Kirschke, . Menze. Btrfly net: Vertebrae labelling with energy-based adversarial learning of local spine prior International Conference on Medical Image Computing and Computer-Assisted Intervention, Springer, Cham (2018) [19] M. Rezaei, K. Harmuth, W. Gierke, T. Kellermeier, M. Fischer, H. Yang, C. Meinel. A conditional adversarial network for semantic segmentation of brain tumor International MICCAI Brainlesion Workshop, Springer (2017), pp. 241-252 [20] P. Moeskops, M. Veta, . Lafarge, . Eppenhof, . Pluim. Adversarial training and dilated convolutions for brain MRI segmentation Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, Springer (2017), pp. 56-64 [21] Kohl, S., Bonekamp, D., Schlemmer, ., Yaqubi, K., Hohenfellner, M., Hadaschik, B., Radtke, ., Maier-Hein, K., 2017. Adversarial networks for the detection of aggressive prostate cancer. arXiv: . [22]Y. Huo, Z. Xu, S. Bao, C. Bermudez, . Plassard, J. Liu, Y. Yao, A. Assad, . Abramson, . Landman. Splenomegaly segmentation using global convolutional kernels and conditional generative adversarial networks Medical Imaging 2018: Image Processing, 10574, International Society for Optics and Photonics (2018), p. 1057409 [23]K. Kamnitsas, C. Baumgartner, C. Ledig, V. Newcombe, J. Simpson, A. Kane, D. Menon, A. Nori, A. Criminisi, D. Rueckert, et al. Unsupervised domain adaptation in brain lesion segmentation with adversarial networks International Conference on Information Processing in Medical Imaging, Springer (2017), pp. 597-609 [24]Z. Han, B. Wei, A. Mercado, S. Leung, S. Li. Spine-GAN: semantic segmentation of multiple spinal structures Med. Image Anal., 50 (2018), pp. 23-35 [25]M. Zhao, L. Wang, J. Chen, D. Nie, Y. Cong, S. Ahmad, A. Ho, P. Yuan, . Fung, . Deng, et al. Craniomaxillofacial bony structures segmentation from MRI with deep-supervision adversarial learning International Conference on Medical Image Computing and Computer-Assisted Intervention, Springer (2018), pp. 720-727 [26] Son, J., Park, ., Jung, ., 2017. Retinal vessel segmentation in fundoscopic images with generative adversarial networks. arXiv: . [27]Y. Li, L. Shen. CC-GAN: a robust transfer-learning framework for hep-2 specimen image segmentation IEEE Access, 6 (2018), pp. 14048-14058 [28] S. Izadi, Z. Mirikharaji, J. Kawahara, G. Hamarneh. Generative adversarial networks to segment skin lesions Biomedical Imaging (ISBI 2018), 2018 IEEE 15th International Symposium on, IEEE (2018), pp. 881-884 Close [29]W. Zhu, X. Xiang, . Tran, . Hager, X. Xie. Adversarial deep structured nets for mass segmentation from mammograms 2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018), IEEE (2018)

1. 使用复杂的模型：使用更复杂的深度学习模型，如卷积神经网络（CNN）、循环神经网络（RNN）或变分自编码器（VAE）等，可以提高图异常检测的准确性。2. 结合图像和图数据：结合图像和图数据可以提高异常检测的准确性，例如可以使用卷积神经网络（CNN）提取图像特征，然后将这些特征与图数据结合使用来进行异常检测。3. 弱化异常数据的影响：通过对异常数据进行去噪、降维等处理，可以减少异常数据对整个图的影响，从而提高异常检测的准确性。4. 结合其他数据源：将图数据与其他数据源结合使用，例如社交网络数据、地理信息数据、生物数据等，可以提高异常检测的准确性。5. 优化损失函数：通过设计更合理的损失函数，可以提高异常检测模型的准确性。例如，可以设计基于图结构的损失函数、基于异常度量的损失函数等。6. 数据增强：通过对图数据进行增强，例如添加噪声、旋转、缩放等，可以增加训练数据的多样性，提高异常检测模型的准确性。

随着图像处理技术的迅速发展，图像识别技术的应用领域越来越广泛。我整理了图像识别技术论文，欢迎阅读!

图像识别技术研究综述

摘要：随着图像处理技术的迅速发展，图像识别技术的应用领域越来越广泛。图像识别是利用计算机对图像进行处理、分析和理解，由于图像在成像时受到外部环境的影响，使得图像具有特殊性，复杂性。基于图像处理技术进一步探讨图像识别技术及其应用前景。

关键词：图像处理;图像识别;成像

中图分类号：TP391 文献标识码：A 文章编号：1009-3044(2013)10-2446-02

图像是客观景物在人脑中形成的影像，是人类最重要的信息源，它是通过各种观测系统从客观世界中获得，具有直观性和易理解性。随着计算机技术、多媒体技术、人工智能技术的迅速发展，图像处理技术的应用也越来越广泛，并在科学研究、教育管理、医疗卫生、军事等领域已取得的一定的成绩。图像处理正显著地改变着人们的生活方式和生产手段，比如人们可以借助于图像处理技术欣赏月球的景色、交通管理中的车牌照识别系统、机器人领域中的计算机视觉等，在这些应用中，都离不开图像处理和识别技术。图像处理是指用计算机对图像进行处理，着重强调图像与图像之间进行的交换，主要目标是对图像进行加工以改善图像的视觉效果并为后期的图像识别大基础[1]。图像识别是利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术。但是由于获取的图像本事具有复杂性和特殊性，使得图像处理和识别技术成为研究热点。

1 图像处理技术

图像处理(image processing)利用计算机对图像进行分析，以达到所需的结果。图像处理可分为模拟图像处理和数字图像图像处理，而图像处理一般指数字图像处理。这种处理大多数是依赖于软件实现的。其目的是去除干扰、噪声，将原始图像编程适于计算机进行特征提取的形式，主要包括图像采样、图像增强、图像复原、图像编码与压缩和图像分割。

1)图像采集，图像采集是数字图像数据提取的主要方式。数字图像主要借助于数字摄像机、扫描仪、数码相机等设备经过采样数字化得到的图像，也包括一些动态图像，并可以将其转为数字图像，和文字、图形、声音一起存储在计算机内，显示在计算机的屏幕上。图像的提取是将一个图像变换为适合计算机处理的形式的第一步。

2)图像增强，图像在成像、采集、传输、复制等过程中图像的质量或多或少会造成一定的退化，数字化后的图像视觉效果不是十分满意。为了突出图像中感兴趣的部分，使图像的主体结构更加明确，必须对图像进行改善，即图像增强。通过图像增强，以减少图像中的图像的噪声，改变原来图像的亮度、色彩分布、对比度等参数。图像增强提高了图像的清晰度、图像的质量，使图像中的物体的轮廓更加清晰，细节更加明显。图像增强不考虑图像降质的原因，增强后的图像更加赏欣悦目，为后期的图像分析和图像理解奠定基础。

3)图像复原，图像复原也称图像恢复，由于在获取图像时环境噪声的影响、运动造成的图像模糊、光线的强弱等原因使得图像模糊，为了提取比较清晰的图像需要对图像进行恢复，图像恢复主要采用滤波方法，从降质的图像恢复原始图。图像复原的另一种特殊技术是图像重建，该技术是从物体横剖面的一组投影数据建立图像。

4)图像编码与压缩，数字图像的显著特点是数据量庞大，需要占用相当大的存储空间。但基于计算机的网络带宽和的大容量存储器无法进行数据图像的处理、存储、传输。为了能快速方便地在网络环境下传输图像或视频，那么必须对图像进行编码和压缩。目前，图像压缩编码已形成国际标准，如比较著名的静态图像压缩标准JPEG，该标准主要针对图像的分辨率、彩色图像和灰度图像，适用于网络传输的数码相片、彩色照片等方面。由于视频可以被看作是一幅幅不同的但有紧密相关的静态图像的时间序列，因此动态视频的单帧图像压缩可以应用静态图像的压缩标准。图像编码压缩技术可以减少图像的冗余数据量和存储器容量、提高图像传输速度、缩短处理时间。

5)图像分割技术，图像分割是把图像分成一些互不重叠而又具有各自特征的子区域，每一区域是像素的一个连续集，这里的特性可以是图像的颜色、形状、灰度和纹理等。图像分割根据目标与背景的先验知识将图像表示为物理上有意义的连通区域的集合。即对图像中的目标、背景进行标记、定位，然后把目标从背景中分离出来。目前，图像分割的方法主要有基于区域特征的分割方法、基于相关匹配的分割方法和基于边界特征的分割方法[2]。由于采集图像时会受到各种条件的影响会是图像变的模糊、噪声干扰，使得图像分割是会遇到困难。在实际的图像中需根据景物条件的不同选择适合的图像分割方法。图像分割为进一步的图像识别、分析和理解奠定了基础。

2 图像识别技术

图像识别是通过存储的信息(记忆中存储的信息)与当前的信息(当时进入感官的信息)进行比较实现对图像的识别[3]。前提是图像描述，描述是用数字或者符号表示图像或景物中各个目标的相关特征，甚至目标之间的关系，最终得到的是目标特征以及它们之间的关系的抽象表达。图像识别技术对图像中个性特征进行提取时，可以采用模板匹配模型。在某些具体的应用中，图像识别除了要给出被识别对象是什么物体外，还需要给出物体所处的位置和姿态以引导计算初工作。目前，图像识别技术已广泛应用于多个领域，如生物医学、卫星遥感、机器人视觉、货物检测、目标跟踪、自主车导航、公安、银行、交通、军事、电子商务和多媒体网络通信等。主要识别技术有：

指纹识别

指纹识别是生物识别技术中一种最实用、最可靠和价格便宜的识别手段，主要应用于身份验证。指纹识别是生物特征的一个部分，它具有不变性：一个人的指纹是终身不变的;唯一性：几乎没有两个完全相同的指纹[3]。一个指纹识别系统主要由指纹取像、预处理与特征提取、比对、数据库管理组成。目前，指纹识别技术与我们的现实生活紧密相关，如信用卡、医疗卡、考勤卡、储蓄卡、驾驶证、准考证等。

人脸识别 目前大多数人脸识别系统使用可见光或红外图像进行人脸识别，可见光图像识别性能很容易受到光照变化的影响。在户外光照条件不均匀的情况下，其正确识别率会大大降低。而红外图像进行人脸识别时可以克服昏暗光照条件变化影响，但由于红外线不能穿透玻璃，如果待识别的对象戴有眼镜，那么在图像识别时，眼部信息全部丢失，将严重影响人脸识别的性能[4]。

文字识别

文字识别是将模式识别、文字处理、人工智能集与一体的新技术，可以自动地把文字和其他信息分离出来，通过智能识别后输入计算机，用于代替人工的输入。文字识别技术可以将纸质的文档转换为电子文档，如银行票据、文稿、各类公式和符号等自动录入，可以提供文字的处理效率，有助于查询、修改、保存和传播。文字识别方法主要有结构统计模式识别、结构模式识别和人工神经网络[5]。由于文字的数量庞大、结构复杂、字体字形变化多样，使得文字识别技术的研究遇到一定的阻碍。

3 结束语

人类在识别现实世界中的各种事物或复杂的环境是一件轻而易举的事，但对于计算机来讲进行复杂的图像识别是非常困难的[6]。在环境较为简单的情况下，图像识别技术取得了一定的成功，但在复杂的环境下，仍面临着许多问题：如在图像识别过程中的图像分割算法之间的性能优越性比较没有特定的标准，以及算法本身存在一定的局限性，这使得图像识别的最终结果不十分精确等。

参考文献：

[1] 胡爱明，周孝宽.车牌图像的快速匹配识别方法[J].计算机工程与应用，2003，39(7)：90—91.

[2] 胡学龙.数字图像处理[M].北京：电子工业出版社，2011.

[3] 范立南，韩晓微，张广渊.图像处理与模式识别[M].北京：科学出版社，2007.

[4] 晓慧，刘志镜.基于脸部和步态特征融合的身份识别[J].计算机应用，2009，1(29)：8.

[5] 陈良育，曾振柄，张问银.基于图形理解的汉子构型自动分析系统[J].计算机应用，2005，25(7)：1629-1631.

[6] Sanderson C，Paliwal K Fusion and Person Verification Using Speech & Face Information[C].IDIAP-RR 02-33，Martigny，Swizerland，2002.

点击下页还有更多>>>图像识别技术论文