OpenCV的TIF红外可见光融合算法

一、简介

首先TIF是Two-Scale Image Fusion的缩写，论文《Two-Scale Image Fusion of Infrared and Visible Images Using Saliency Detection (TIF)》，作者在论文中提到TIF算法主要通过以下三个步骤实现融合：

图像分解，图像分解使用的是均值滤波器获取图像的基础（base）和细节（detail）层；
图像融合，对待基础和细节层分别使用不同的融合算法；
图像重建，从融合后的基础和细节层重建图像。

二、详细介绍

2.1 图像分解

考虑到原始的同样大小（宽高）两幅图像 $\phi_{1}(x,y)$ , $\phi_{2}(x,y)$ ,将这两幅图像分解为基础层（base）和细节（detail）层，作者在文中使用了均值滤波器来生成基础层和细节层（文中作者通过验证，使用的均值滤波窗口大小为35）。

$\phi_{1}^{B}(x, y)=\phi_{1}(x, y) * \mu(x, y)$

$\phi_{2}^{B}(x, y)=\phi_{2}(x, y) * \mu(x, y)$

在得到基础层之后，通过原始图像与基础层图像得到细节层图像。

$\phi_{1}^{D}(x, y)=\phi_{1}(x, y) - \phi_{1}^{B}(x, y)$

$\phi_{2}^{D}(x, y)=\phi_{2}(x, y) * \phi_{2}^{B}(x, y)$

基于可视显著检测理论，作者在文中使用了一种很有效的可视显著检测方法，就是用均值滤波（作者通过验证，使用的中值窗口大小为3）得到的图像减去中值滤波得到的图像，并取绝对值。
在这里插入图片描述

$\xi(x,y)=|\phi_u(x,y)-\phi_\eta(x,y)|$

如果是RGB图像的话，使用L2-norm或欧拉距离的方法：

$\xi(x,y)=de(\phi_u,\phi_\eta)=\sqrt{(\phi_u^R-\phi_\eta^R)^2+(\phi_u^G-\phi_\eta^G)^2+(\phi_u^B-\phi_\eta^B)^2}$
对于原始的输入图像 $\phi_{1}(x,y)$ , $\phi_{2}(x,y)$ ,通过分别计算可以得到 $\xi_{1}(x,y)$ , $\xi_{2}(x,y)$ 通过这两个矩阵，得到detail层的融合系数矩阵。

$\psi_1(x,y)=\frac{\xi_1(x,y)}{\xi_1(x,y)+\xi_2(x,y)}$

$\psi_2(x,y)=\frac{\xi_2(x,y)}{\xi_1(x,y)+\xi_2(x,y)}$

2.2 图像融合

基础层的融合，使用平均的策略进行融合：
$\phi^B(x,y)=\frac{1}{2}(\phi_1^B(x,y)+\phi_2^B(x,y))$
细节层的融合，使用加权平均的策略进行融合，二加权矩阵就是之前求得的 $\psi_1(x,y)$ , $\psi_2(x,y)$

$\phi^D(x,y)=\psi_1(x,y)\phi_1^D(x,y)+\psi_2(x,y)\phi_2^D(x,y)$

2.3 图像重建

在得到基础层和细节层之后，通过简单的加法多基础层和细节层进行融合：

$\gamma(x,y)=\phi^B(x,y)+\phi^D(x,y)$

三、python实现

import numpy as np
import cv2
import argparsedef TIF_GRAY(img_r, img_v):img_r_blur = cv2.blur(img_r, (35,35))img_v_blur = cv2.blur(img_v, (35,35))img_r_median = cv2.medianBlur(img_r, 3)img_v_median = cv2.medianBlur(img_v, 3)img_r_detail = img_r*1. - img_r_blur*1.img_v_detail = img_v*1. - img_v_blur*1.img_r_the = cv2.pow(cv2.absdiff(img_r_median,img_r_blur), 2)img_v_the = cv2.pow(cv2.absdiff(img_v_median ,img_v_blur),2)img_r_weight = cv2.divide(img_r_the*1.,img_r_the*1.+img_v_the*1.+0.000001)img_v_weight = 1- img_r_weightimg_base_fused = (img_r_blur*1.  + img_v_blur*1.) / 2img_detail_fused = img_r_weight * img_r_detail + img_v_weight * img_v_detailimg_fused_tmp = (img_base_fused  + img_detail_fused).astype(np.int32)#first method to change <0 to 0 and > 255 to 255img_fused_tmp[img_fused_tmp<0] = 0img_fused_tmp[img_fused_tmp>255]=255#second method to change value to[0,255] using minmax method#cv2.normalize(img_fused_tmp,img_fused_tmp,0,255,cv2.NORM_MINMAX)img_fused = cv2.convertScaleAbs(img_fused_tmp)return img_fuseddef TIF_RGB(img_r, img_v):fused_img = np.ones_like(img_r)r_R = img_r[:,:,2]v_R = img_v[:,:,2]r_G = img_r[:,:,1]v_G = img_v[:,:,1]r_B = img_r[:,:,0]v_B = img_v[:,:,0]fused_R = TIF_GRAY(r_R, v_R)fused_G = TIF_GRAY(r_G, v_G)fused_B = TIF_GRAY(r_B, v_B)fused_img[:,:,2] = fused_Rfused_img[:,:,1] = fused_Gfused_img[:,:,0] = fused_Breturn fused_imgdef TIF(_rpath, _vpath):img_r = cv2.imread(_rpath)img_v = cv2.imread(_vpath)if not isinstance(img_r, np.ndarray) :print('img_r is null')returnif not isinstance(img_v, np.ndarray) :print('img_v is null')returnif img_r.shape[0] != img_v.shape[0]  or img_r.shape[1] != img_v.shape[1]:print('size is not equal')returnfused_img = Noneif len(img_r.shape)  < 3 or img_r.shape[2] ==1:if len(img_v.shape)  < 3 or img_v.shape[-1] ==1:fused_img = TIF_GRAY(img_r, img_v)else:img_v_gray = cv2.cvtColor(img_v, cv2.COLOR_BGR2GRAY)fused_img = TIF_GRAY(img_r, img_v)else:if len(img_v.shape)  < 3 or img_v.shape[-1] ==1:img_r_gray = cv2.cvtColor(img_r, cv2.COLOR_BGR2GRAY)fused_img = TIF_GRAY(img_r_gray, img_v)else:fused_img = TIF_RGB(img_r, img_v)cv2.imshow('fused image', fused_img)cv2.imwrite("fused_image_tif.jpg", fused_img)cv2.waitKey(0)if __name__ == '__main__':parser = argparse.ArgumentParser()parser.add_argument('-r', type=str, default='ir.png' ,help='input IR image path', required=False)parser.add_argument('-v', type=str, default= 'vr.png',help='input Visible image path', required=False)args = parser.parse_args()TIF(args.r, args.v)