多聚焦图像融合毕业论文

我也在做。给你个东西。看能否帮你的忙！已发至邮箱。

clc;clear all;close all; % 清理工作空间clear[imA,map1] = imread('');M1 = double(imA) / 256;[imB,map2] = imread('');M2 = double(imB) / 256;zt= 4; wtype = 'haar';% M1 - input image A% M2 - input image B% wtype使用的小波类型% Y - fused image %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 小波变换图像融合%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 小波变换的绝对值大的小波系数，对应着显著的亮度变化，也就是图像中的显著特征。所以，选择绝对值大%% 的小波系数作为我们需要的小波系数。【注意，前面取的是绝对值大小，而不是实际数值大小】%%%% 低频部分系数采用二者求平均的方法%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% [c0,s0] = wavedec2(M1, zt, wtype);%多尺度二维小波分解 [c1,s1] = wavedec2(M2, zt, wtype);%多尺度二维小波分解 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 后面就可以进行取大进行处理。然后进行重构，得到一个图像%% 的小波系数，然后重构出总的图像效果。%% 取绝对值大的小波系数，作为融合后的小波系数%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%KK = size(c1);Coef_Fusion = zeros(1,KK(2));Temp = zeros(1,2);Coef_Fusion(1:s1(1,1)) = (c0(1:s1(1,1))+c1(1:s1(1,1)))/2; %低频系数的处理 %这儿，连高频系数一起处理了，但是后面处理高频系数的时候，会将结果覆盖，所以没有关系 %处理高频系数 MM1 = c0(s1(1,1)+1:KK(2)); MM2 = c1(s1(1,1)+1:KK(2)); mm = (abs(MM1)) > (abs(MM2)); Y = (mm.*MM1) + ((~mm).*MM2); Coef_Fusion(s1(1,1)+1:KK(2)) = Y; %处理高频系数end %重构 Y = waverec2(Coef_Fusion,s0,wtype); %显示图像 subplot(2,2,1);imshow(M1);colormap(gray);title('input2');axis square subplot(2,2,2);imshow(M2);colormap(gray);title('input2');axis square subplot(223);imshow(Y,[]);colormap(gray);title('融合图像');axis square;%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

论文原文： A Semantic-based Medical Image Fusion Approach 医学图像融合对临床诊断有着很重要的作用。但是目前存在的医学图像融合方法忽略了图像的语义信息，试融合后的图像难以理解。（本来融合就是要更多的保留不同模态之间的互补信息来辅助诊断的。因此语义信息当让重要了。）在本文中提出了一种基于语义的医学图像融合方法。Fusion W-Net（FW-Net）。大大的减少了语义信息的损失。并且与先进方法一样有较好的视觉效果，在临床应用上有很大潜力。 低成本的融合方法大致采用这样策略：把不同域的图像转换成不同尺度的参数，然后采用人工设计的规则来优化融合他们，但是这些方法忽视了不同模态之间的语义冲突。例如：骨组织在CT中试比较亮的，但是在MR-T2图像中试安的（这是由不同模态图像的成像原理决定的）因此这些存在的方法有如下两个弊端： 1）现存方法忽视语义冲突。从而导致融合图像的于一损失，如，CT中亮的是密度的组织，MR中量的部分代表组织的流动性和磁性。所以不容模态之间图像嗯待亮的部分的语义完全不同。 2）不考虑亮度语义的融合方法会导致某些脑组织边界模糊。在图1 (b)的绿色框架中，我们可以清楚地看到额窦的炎症区域，这也是临床医生关注的重点。但由于图1 (a)对应部分为亮部，融合时额窦边界(c)(d)和(e)变得模糊。 在本文中我们提出了基于语义的融合方法：先提取不同模态的图像的语义特征，然后把他们映射到新的语义空间，然后再新的于一空间生成出融合的医学图像。采用的FW-Ne由两个U-net组成。 两种方式：1）任务中有目标域的情况（目标域是其中一个源域）：这种一般是把另一个域的图像融合进这个域。通过像素级或者结构级的回归来实现。2）目标域不在任务中通常训练一个度量来生成图片。 底层保留了细粒度信息，高层保留了语义和高频信息。这再图像融合中是有益的。 1）从源域提取信息，包括结构信息和语义信息 2）把不同域的信息映射到相同的空间， 3）再相同空间内融合重建图像。 自动编码器中编码器用力拍提取特征，解码器用来进行重构，通过最小化生成图像和源图像之间的均方误差(MSE）来进行学习和训练。 编码器和解码器都使用U-Net。第一U-Net用于生成融合图像从两个源域到目标域，第二U-Net用于重建源图像。最后，通过最小化重构误差得到融合后的图像。传统的自编码器框架是完全连接的，因此编码器的矢量输出不能保证与源图像在空间上保持一致，而U-Net采用局部连接结构，使得输出矢量在空间上保持一致，从而得到视觉融合的图像。 前两项是重构的语义损失，个人感觉类似于cycle的损失。只不过cycle的损失还有对抗损失这里没有用到鉴别器。 KL散度的目的是是图像平滑，是图像平滑和显著性之间的权衡。 最后一项是正则化，防止模型过拟合 为了评估语义损失，为每个方法训练一个编码器，再训练过程中用来优化 训练之后采用下式来计算语义 损失 1)在编码器和解码器的每一层都加入了batchnorm 加速收敛，提升效果CT and MR-T2 Q_MI 互信息 QAB/F 衡量边缘信息保留成都 SSIM 结构相似性 Q_D 视觉不同行 SL 语义损失 SSIM一个很高，一个很低。作者得解释是因为融合后得图像比较好的保留了CT得信息，又因为是通过语义相似性约束得，不同模态之间得语义相似性相差很大，所以才一个一个. 红色是钙化得组织。再临床上应该重点关注。所以融合得话这个信息应该保留。所以相比本文方法其他方法都对这部分有了一定得模糊效果。 黄色脑室 黄色箭头指得点再MR中有体现，再融合图中也有体现。说明确实是融合了两个图得信息。 蓝色为头外骨。 思考： 总觉得语义相似性有点怪怪得，但说不出哪里有毛病。