图像滤波

Posted Dec 9, 2023

By du-xinyi

27 min read

图像滤波相关笔记

图像滤波，即在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，是图像预处理中不可缺少的操作，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。

线性滤波

邻域算子（局部算子）是利用给定像素周围的像素值的决定此像素的最终输出值的一种算子。而线性邻域滤波是一种常用的邻域算子，像素的输出值取决于输入像素的加权和，具体过程如下图。

左边图像与中间图像的卷积产生右边图像。目标图像中蓝色标记的像素是利用原图像中红色标记的像素计算得到的。
线性滤波处理的输出像素值g(i,j)是输入像素值f(i+k,j+l)的加权和 :

\[g(i,j) = \sum_{k,l}f(i+k,j+l)h(k,l)\]

其中的h(k,l)为“核”，是滤波器的加权系数，即滤波器的滤波系数。可以简单写作

\[g = f\otimes h\]

其中f表示输入像素值，h表示加权系数“核“，g表示输出像素值

方框滤波(boxFilter)

方框滤波所用的核表示如下

\[K = \alpha\begin{bmatrix} 1 & 1 & 1 & ... & 1 & 1 \\ 1 & 1 & 1 & ... & 1 & 1 \\ ..&...&...&.....&...&.. \\ 1 & 1 & 1 & ... & 1 & 1 \\ \end{bmatrix}\]

其中

\[\alpha = \left\{\begin{matrix} \frac{1}{ksize.width*ksize.height} & normalize = true \\ 1 & normalize = false \end{matrix} \right.\]

其中f表示原图，h表示核，g表示目标图，当normalize=true的时候，方框滤波就变成了均值滤波。也就是说，均值滤波是方框滤波归一化（normalized）后的特殊情况。
而非归一化（Unnormalized）的方框滤波用于计算每个像素邻域内的积分特性，比如密集光流算法（dense optical flow algorithms）中用到的图像倒数的协方差矩阵（covariance matrices of image derivatives）

  
void boxFilter(InputArray src,OutputArray dst, int ddepth, 
               Size ksize, Point anchor=Point(-1,-1), 
               boolnormalize=true, 
               int borderType=BORDER_DEFAULT );

参数详解：

第一个参数，InputArray类型的src ，输入图像。该函数对通道是独立处理的，且可以处理任意通道数的图片，但需要注意，待处理的图片深度应该为CV_8U, CV_16U, CV_16S, CV_32F 以及CV_64F之一。
第二个参数，OutputArray类型的dst，目标图像，需要和源图片有一样的尺寸和类型。
第三个参数，int类型的ddepth，输出图像的深度，-1代表使用原图深度，即src.depth()。
第四个参数，Size类型的ksize，内核的大小。一般用Size( w,h )来表示内核的大小( 其中，w 为像素宽度， h为像素高度)。
第五个参数，Point类型的anchor，表示锚点（即被平滑的那个点），默认为Point(-1,-1)。如果这个点坐标是负值的话，就表示取核的中心为锚点。
第六个参数，bool类型的normalize，默认值为true，一个标识符，表示内核是否被其区域归一化。
第七个参数，int类型的borderType，用于推断图像外部像素的某种边界模式。有默认值BORDER_DEFAULT。

均值滤波(meanBlur)

均值滤波本身存在着固有的缺陷，即它不能很好地保护图像细节，在图像去噪的同时也破坏了图像的细节部分，从而使图像变得模糊，不能很好地去除噪声点。

  
void blur(InputArray src, OutputArraydst, 
          Size ksize, Point anchor=Point(-1,-1), 
          int borderType=BORDER_DEFAULT );

参数详解：

第一个参数，InputArray类型的src ，输入图像。该函数对通道是独立处理的，且可以处理任意通道数的图片，但需要注意，待处理的图片深度应该为CV_8U, CV_16U, CV_16S, CV_32F 以及CV_64F之一。
第二个参数，OutputArray类型的dst，目标图像，需要和源图片有一样的尺寸和类型。
第三个参数，Size类型的ksize，内核的大小。一般用Size( w,h )来表示内核的大小( 其中，w 为像素宽度， h为像素高度)。
第四个参数，Point类型的anchor，表示锚点（即被平滑的那个点），默认为Point(-1,-1)。如果这个点坐标是负值的话，就表示取核的中心为锚点。
第五个参数，int类型的borderType，用于推断图像外部像素的某种边界模式。有默认值BORDER_DEFAULT。

高斯滤波(gaussianBlur)

高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板（或称卷积、掩模）扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。
高斯滤波器是一类根据高斯函数的形状来选择权值的线性平滑滤波器。高斯平滑滤波器对于抑制服从正态分布的噪声非常有效。一维零均值高斯函数为：

\[G(x) = exp(\frac{-x^{2}}{2\sigma^{2}})\]

其中，高斯分布参数Sigma决定了高斯函数的宽度。对于图像处理来说，常用二维零均值离散高斯函数作平滑滤波器。
二维高斯函数为：

\[G_{0}(x,y) = Ae\frac{-{(x-u_{x})}^2}{2{\sigma_{x}}^2}+\frac{-{(y-u_{y})}^2}{2{\sigma_{y}}^2}\]

  
void GaussianBlur(InputArray src,OutputArray dst, Size ksize, 
                  double sigmaX, double sigmaY=0, 
                  int borderType=BORDER_DEFAULT );

参数详解：

第一个参数，InputArray类型的src ，输入图像。该函数对通道是独立处理的，且可以处理任意通道数的图片，但需要注意，待处理的图片深度应该为CV_8U, CV_16U, CV_16S, CV_32F 以及CV_64F之一。
第二个参数，OutputArray类型的dst，目标图像，需要和源图片有一样的尺寸和类型。
第三个参数，Size类型的ksize，高斯内核的大小。其中ksize.width和ksize.height可以不同，但他们都必须为正数和奇数。或者，它们可以是零，由sigma计算而来。
第四个参数，double类型的sigmaX，表示高斯核函数在X方向的的标准偏差。
第无个参数，double类型的sigmaY ，表示高斯核函数在Y方向的的标准偏差。若sigmaY为零，就将其设为sigmaX，如果sigmaX和sigmaY都是0，那么就由ksize.width和ksize.height计算出来。
第六个参数，int类型的borderType，用于推断图像外部像素的某种边界模式。有默认值BORDER_DEFAULT。

非线性滤波

中值滤波(medianBlur)

中值滤波（Median filter）是一种典型的非线性滤波技术，基本思想是用像素点邻域灰度值的中值来代替该像素点的灰度值，该方法在去除脉冲噪声、椒盐噪声的同时又能保留图像边缘细节。中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，其基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点，对于斑点噪声（speckle noise）和椒盐噪声（salt-and-pepper noise）来说尤其有用，因为它不依赖于邻域内那些与典型值差别很大的值。中值滤波器在处理连续图像窗函数时与线性滤波器的工作方式类似，但滤波过程却不再是加权运算。中值滤波在一定的条件下可以克服常见线性滤波器如最小均方滤波、方框滤波器、均值滤波等带来的图像细节模糊，而且对滤除脉冲干扰及图像扫描噪声非常有效，也常用于保护边缘信息。

  
void medianBlur( InputArray src, OutputArray dst, int ksize );

参数详解：

第一个参数，InputArray类型的src ，输入图像。该函数对通道是独立处理的，填入1、3或者4通道的图像，当ksize为3或者5的时候，图像深度需为CV_8U，CV_16U ，或CV_32F，而对于较大孔径尺寸的图片，只能是CV_8U。
第二个参数，OutputArray类型的dst，目标图像，需要和源图片有一样的尺寸和类型。
第三个参数，Size类型的ksize，孔径的线性尺寸。必须是大于1的奇数。

中值滤波与均值滤波器比较

优势：在均值滤波器中，由于噪声成分被放入平均计算中，所以输出受到了噪声的影响，但是在中值滤波器中，由于噪声成分很难选上，所以几乎不会影响到输出。因此同样用3x3区域进行处理，中值滤波消除的噪声能力更胜一筹。
劣势：中值滤波花费的时间是均值滤波的5倍以上

双边滤波(bilateralFilter)

双边滤波（Bilateral filter）是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。具有简单、非迭代、局部的特点。双边滤波器的好处是可以做边缘保存（edge preserving），一般过去用的维纳滤波或者高斯滤波去降噪，都会较明显地模糊边缘，对于高频细节的保护效果并不明显。双边滤波器顾名思义比高斯滤波多了一个高斯方差sigma－d，它是基于空间分布的高斯滤波函数，所以在边缘附近，离的较远的像素不会太多影响到边缘上的像素值，这样就保证了边缘附近像素值的保存。但是由于保存了过多的高频信息，对于彩色图像里的高频噪声，双边滤波器不能够干净的滤掉，只能够对于低频信息进行较好的滤波。

在双边滤波器中，输出像素的值依赖于邻域像素值的加权值组合：

\[g(i,j)=\frac{\sum{_{k,l}}f(k,l)w(i,j,k,l)}{\sum{_{k,l}}w(i,j,k,l)}\]

加权系数w(i,j,k,l)取决于定义域核和值域核的乘积。
其中定义域核表示如下

\[d(i,j,k,l)=exp\Big(-\frac{(i-k)^2+(j-l)^2}{2\sigma^2_d} \Big)\]

值域核表示为

\[r(i,j,k,l)=exp\Big(-\frac{\parallel f(i,j)-f(k,l)\parallel^2}{2\sigma^2_r} \Big)\]

两者相乘后，就会产生依赖于数据的双边滤波权重函数

\[w(i,j,k,l)=exp\Big(-\frac{(i-k)^2+(j-l)^2}{2\sigma^2_d} - \frac{\parallel f(i,j)-f(k,l)\parallel^2}{2\sigma^2_r} \Big)\]

  
void bilateralFilter( InputArray src, OutputArray dst, int d,
                      double sigmaColor, double sigmaSpace,
                      int borderType = BORDER_DEFAULT );

参数详解：

第一个参数，InputArray类型的src，输入图像。该函数对通道是独立处理的，需要为8位或者浮点型单通道、三通道的图像。
第二个参数，OutputArray类型的dst，目标图像，需要和源图片有一样的尺寸和类型。
第三个参数，int类型的d，表示在过滤过程中每个像素邻域的直径。如果这个设为非正数，那么会从第五个参数sigmaSpace来计算。
第四个参数，double类型的sigmaColor，颜色空间滤波器的sigma值。这个参数的值越大，就表明该像素邻域内有更宽广的颜色会被混合到一起，产生较大的半相等颜色区域。
第无个参数，double类型的sigmaSpace ，坐标空间中滤波器的sigma值，坐标空间的标注方差。其数值越大，意味着越远的像素会相互影响，从而使更大的区域足够相似的颜色获取相同的颜色。当d> 0，d指定了邻域大小且与sigmaSpace无关。否则，d正比于sigmaSpace。
第六个参数，int类型的borderType，用于推断图像外部像素的某种边界模式。有默认值BORDER_DEFAULT。

形态学滤波

膨胀(dilate)

膨胀就是求局部最大值的操作，核B与图形卷积，即计算核B覆盖的区域的像素点的最大值，并把这个最大值赋值给参考点指定的像素。这样就会使图像中的高亮区域逐渐增长。

  
void dilate( InputArray src, OutputArray dst, InputArray kernel,
             Point anchor = Point(-1,-1), int iterations = 1,
             int borderType = BORDER_CONSTANT,
             const Scalar& borderValue = morphologyDefaultBorderValue() );

参数详解：

第一个参数，InputArray类型的src，输入图像，即源图像，填Mat类的对象即可。图像通道的数量可以是任意的，但图像深度应为CV_8U，CV_16U，CV_16S，CV_32F或 CV_64F其中之一。
第二个参数，OutputArray类型的dst，即目标图像，需要和源图片有一样的尺寸和类型。
第三个参数，InputArray类型的kernel ，膨胀操作的核。若为NULL时，表示的是使用参考点位于中心3x3的核。一般使用函数getStructuringElement 配合这个参数的使用。getStructuringElement函数会返回指定形状和尺寸的结构元素（内核矩阵）。其中，getStructuringElement函数的第一个参数表示内核的形状，可以选择如下三种形状
- 矩形: MORPH_RECT
- 交叉形: MORPH_CROSS
- 椭圆形: MORPH_ELLIPSE
第四个参数，Point类型的anchor，锚的位置，其有默认值（-1，-1），表示锚位于中心。
第五个参数，int类型的iterations，迭代使用dilate()函数的次数，默认值为1。
第六个参数，int类型的borderType，用于推断图像外部像素的某种边界模式。有默认值BORDER_DEFAULT。
第七个参数，const Scalar&类型的borderValue，当边界为常数时的边界值，有默认值morphologyDefaultBorderValue()。

腐蚀(erode)

膨胀和腐蚀是相反的一对操作，所以腐蚀就是求局部最小值的操作

  
void erode( InputArray src, OutputArray dst, InputArray kernel,
            Point anchor = Point(-1,-1), int iterations = 1,
            int borderType = BORDER_CONSTANT,
            const Scalar& borderValue = morphologyDefaultBorderValue() );

参数详解：

第一个参数，InputArray类型的src，输入图像，即源图像，填Mat类的对象即可。图像通道的数量可以是任意的，但图像深度应为CV_8U，CV_16U，CV_16S，CV_32F或 CV_64F其中之一。
第二个参数，OutputArray类型的dst，即目标图像，需要和源图片有一样的尺寸和类型。
第三个参数，InputArray类型的kernel，腐蚀操作的核。若为NULL时，表示的是使用参考点位于中心3x3的核。
第四个参数，Point类型的anchor，锚的位置，其有默认值（-1，-1），表示锚位于中心。
第五个参数，int类型的iterations，迭代使用erode()函数的次数，默认值为1。
第六个参数，int类型的borderType，用于推断图像外部像素的某种边界模式。有默认值BORDER_DEFAULT。
第七个参数，const Scalar&类型的borderValue，当边界为常数时的边界值，有默认值morphologyDefaultBorderValue()。

开运算(Opening Operation)

先腐蚀后膨胀的过程称为开运算。开运算可以用来消除小物体、在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变其面积。

闭运算(Closing Operation)

先膨胀后腐蚀的过程称为闭运算。闭运算能够排除小型黑洞。

形态学梯度（MorphologicalGradient）

形态学梯度为膨胀图与腐蚀图之差。

顶帽（Top Hat）

顶帽运算为原图像与开运算的结果图之差。因为开运算带来的结果是放大了裂缝或者局部低亮度的区域，因此，从原图中减去开运算后的图，得到的效果图突出了比原图轮廓周围的区域更明亮的区域，且这一操作和选择的核的大小相关。顶帽运算往往用来分离比邻近点亮一些的斑块。当一幅图像具有大幅的背景的时候，而微小物品比较有规律的情况下，可以使用顶帽运算进行背景提取。

黑帽（Black Hat）

黑帽运算为闭运算的结果图与原图像之差。黑帽运算后的效果图突出了比原图轮廓周围的区域更暗的区域，且这一操作和选择的核的大小相关。黑帽运算用来分离比邻近点暗一些的斑块。

命中遗漏变换(Hit Miss)

命中遗漏变换主要用于检测图像中特定的形状或模式。该操作可以用于二值图像，其中目标是找到与指定的模式匹配的像素。

使用B1对A进行腐蚀得到结果图像C1；使用B2对A的补集进行腐蚀得到结果图像C2；取C1和C2的交集作为使用B1和B2对A进行命中遗漏变换的结果

上述运算过程中B1为命中使用核，B2为遗漏使用核

命中遗漏变换实际上是先在图像A中，寻找满足第一个结构元素B1模式的结构，找到之后相当于命中。然后用第二个结构元素B2，直接在原图击中的位置进行匹配，如果不匹配，也就是遗漏。如果满足以上两点，就是要找的结构形状，把其与核锚点对应的中心像素置为255，作为输出。

核心API

  
void morphologyEx( InputArray src, OutputArray dst,
                   int op, InputArray kernel,
                   Point anchor = Point(-1,-1), int iterations = 1,
                   int borderType = BORDER_CONSTANT,
                   Wconst Scalar& borderValue = morphologyDefaultBorderValue() );

参数详解：

第一个参数，InputArray类型的src，输入图像，即源图像，填Mat类的对象即可。图像通道的数量可以是任意的，但图像深度应为CV_8U，CV_16U，CV_16S，CV_32F或 CV_64F其中之一。
第二个参数，OutputArray类型的dst，即目标图像，需要和源图片有一样的尺寸和类型。
第三个参数，int类型的op，表示形态学运算的类型，可以是如下之一的标识符
- MORPH_ERODE 腐蚀
- MORPH_DILATE 膨胀
- MORPH_OPEN 开运算
- MORPH_CLOSE 闭运算
- MORPH_GRADIENT 形态学梯度
- MORPH_TOPHAT 顶帽
- MORPH_BLACKHAT 黑帽
- MORPH_HITMISS 命中遗漏变换
第四个参数，InputArray类型的kernel，形态学运算的内核。若为NULL时，表示的是使用参考点位于中心3x3的核。
第五个参数，Point类型的anchor，锚的位置，其有默认值（-1，-1），表示锚位于中心。
第六个参数，int类型的iterations，迭代使用函数的次数，默认值为1。
第七个参数，int类型的borderType，用于推断图像外部像素的某种边界模式。有默认值BORDER_ CONSTANT。
第八个参数，const Scalar&类型的borderValue，当边界为常数时的边界值，有默认值morphologyDefaultBorderValue()。

Notepad

OpenCV

This post is licensed under CC BY 4.0 by the author.

图像滤波相关笔记

线性滤波

方框滤波(boxFilter)

均值滤波(meanBlur)

高斯滤波(gaussianBlur)

非线性滤波

中值滤波(medianBlur)

中值滤波与均值滤波器比较

双边滤波(bilateralFilter)

形态学滤波

膨胀(dilate)

腐蚀(erode)

开运算(Opening Operation)

闭运算(Closing Operation)

形态学梯度（MorphologicalGradient）

顶帽（Top Hat）

黑帽（Black Hat）

命中遗漏变换(Hit Miss)

核心API

Trending Tags