本文分享自華為雲社群《[Python從零到壹] 五十七.圖像增強及運算篇之圖像銳化Roberts、Prewitt算子實作邊緣檢測-雲社群-華為雲》，作者： eastmount 。
一.圖像銳化
由于收集圖像資料的器件或傳輸圖像的通道存在一些品質缺陷，或者受其他外界因素的影響，使得圖像存在模糊和有噪聲的情況，進而影響到圖像識别工作的開展。一般來說，圖像的能量主要集中在其低頻部分，噪聲所在的頻段主要在高頻段，同時圖像邊緣資訊主要集中在其高頻部分。這将導緻原始圖像在平滑處理之後，圖像邊緣和圖像輪廓模糊的情況出現。為了減少這類不利效果的影響，就需要利用圖像銳化技術，使圖像的邊緣變得清晰[1]。
圖像銳化處理的目的是為了使圖像的邊緣、輪廓線以及圖像的細節變得清晰，經過平滑的圖像變得模糊的根本原因是圖像受到了平均或積分運算，是以可以對其進行逆運算，進而使圖像變得清晰。微分運算是求信号的變化率，具有較強高頻分量作用。從頻率域來考慮，圖像模糊的實質是因為其高頻分量被衰減，是以可以用高通濾波器來使圖像清晰。但要注意能夠進行銳化處理的圖像必須有較高的性噪比，否則銳化後圖像性噪比反而更低，進而使得噪聲增加比信号還要多，是以一般是先去除或減輕噪聲後再進行銳化處理。這時需要開展圖像銳化和邊緣檢測處理，加強原圖像的高頻部分，銳化突出圖像的邊緣細節，改善圖像的對比度，使模糊的圖像變得更清晰。
圖像銳化和邊緣提取技術可以消除圖像中的噪聲，提取圖像資訊中用來表征圖像的一些變量，為圖像識别提供基礎。通常使用灰階差分法對圖像的邊緣、輪廓進行處理，将其凸顯。圖像銳化的方法分為高通濾波和空域微分法，本章主要介紹Robert算子、Prewitt算子、Sobel算子、Laplacian算子、Scharr算子等[2-3]。
1.一階微分算子
一階微分算子一般借助空域微分算子通過卷積完成，但實際上數字圖像進行中求導是利用差分近似微分來進行的。梯度對應一階導數，梯度算子是一階導數算子。對一個連續函數f(x,y)，它在位置(x,y)梯度可表示為一個矢量：
梯度的模值為公式（2）所示。
梯度的方向在最大變化率方向上，梯度方向如公式（3）所示。
對于數字圖像，導數可以用差分來近似，則梯度可以表示為：
在實際中常用區域模闆卷積來近似計算，對水準方向和垂直方向各用一個模闆，再通過兩個模闆組合起來構成一個梯度算子。根據模闆的大小，其中元素值的不同，可以提出多種模闆，構成不同的檢測算子，後文中将對各種算子進行詳細介紹。
由梯度的計算可知，在圖像灰階變化較大的邊沿區域其梯度值大，在灰階變化平緩的區域梯度值較小，而在灰階均勻的區域其梯度值為零。根據得到的梯度值來傳回像素值，如将梯度值大的像素設定成白色，梯度值小的設定為黑色，這樣就可以将邊緣提取出來了，或者是加強梯度值大的像素灰階值就可以突出細節了達到了銳化的目的。
2.二階微分算子
二階微分算子是求圖像灰階變化導數的導數，對圖像中灰階變化強烈的地方很敏感，進而可以突出圖像的紋理結構。當圖像灰階變化劇烈時，進行一階微分則會形成一個局部的極值，對圖像進行二階微分則會形成一個過零點，并且在零點兩邊産生一個波峰和波谷，設定一個門檻值檢測到這個過零點，如圖1所示。
這樣做的好處有兩個，一是二階微分關心的是圖像灰階的突變而不強調灰階緩慢變化的區域，對邊緣的定位能力更強；二是Laplacian算子是各向同性的，即具有旋轉不變性，在一階微分裡，是用|dx|+|dy|來近似一個點的梯度，當圖像旋轉一個角度時，這個值就會變化，但對于Laplacian算子來說，不管圖像怎麼旋轉，得到的相應值是一樣的。
想要确定過零點要以p為中心的一個3×3領域，p點為過零點意味着至少有兩個相對的領域像素的符号不同。有四種要檢測的情況：左/右、上/下、兩個對角。如果g(x,y)的值與一個門檻值比較，那麼不僅要求相對領域的符号不同，數值差的絕對值也要超過這個門檻值，這時p稱為一個過零點像素。二階微分的定義為：
二階微分在恒定灰階區域的微分值為零，在灰階台階或斜坡起點處微分值非零，沿着斜坡的微分值為零。與一階微分算子相比較，一階微分算子獲得的邊界是比較粗略的邊界，反映的邊界資訊較少，但是所反映的邊界比較清晰；二階微分算子獲得的邊界是比較細緻的邊界，反映的邊界資訊包括了許多的細節資訊，但是所反映的邊界不是太清晰。
二.Roberts算子
Roberts算子又稱為交叉微分算法，它是基于交叉差分的梯度算法，通過局部差分計算檢測邊緣線條。常用來處理具有陡峭的低噪聲圖像，當圖像邊緣接近于正45度或負45度時，該算法處理效果更理想，其缺點是對邊緣的定位不太準确，提取的邊緣線條較粗。
Roberts算子的模闆分為水準方向和垂直方向，如公式（6）所示，從其模闆可以看出，Roberts算子能較好的增強正負45度的圖像邊緣[4]。
如公式（7）所示，分别表示圖像的水準方向和垂直方向的計算公式。
Roberts算子像素的最終計算公式如下：
在Python中，Roberts算子主要通過Numpy定義模闆，再調用OpenCV的filter2D()函數實作邊緣提取[3]。該函數主要是利用核心實作對圖像的卷積運算，其函數原型如下所示：
- dst = filter2D(src, ddepth, kernel[, dst[, anchor[, delta[, borderType]]]])
- – src表示輸入圖像
- – dst表示輸出的邊緣圖，其大小和通道數與輸入圖像相同
- – ddepth表示目标圖像所需的深度
- – kernel表示卷積核，一個單通道浮點型矩陣
- – anchor表示核心的基準點，其預設值為（-1，-1），位于中心位置
- – delta表示在儲存目标圖像前可選的添加到像素的值，預設值為0
- – borderType表示邊框模式
在進行Roberts算子處理之後，還需要調用convertScaleAbs()函數計算絕對值，并将圖像轉換為8位圖進行顯示。其算法原型如下：
- dst = convertScaleAbs(src[, dst[, alpha[, beta]]])
- – src表示原數組
- – dst表示輸出數組，深度為8位
- – alpha表示比例因子
- – beta表示原數組元素按比例縮放後添加的值
最後調用addWeighted()函數計算水準方向和垂直方向的Roberts算子。其運作代碼如下：
# -*- coding: utf-8 -*-
# By:Eastmount
import cv2
import numpy as np
import matplotlib.pyplot as plt
#讀取圖像
img = cv2.imread('luo.png')
lenna_img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
#灰階化處理圖像
grayImage = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
#Roberts算子
kernelx = np.array([[-1,0],[0,1]], dtype=int)
kernely = np.array([[0,-1],[1,0]], dtype=int)
x = cv2.filter2D(grayImage, cv2.CV_16S, kernelx)
y = cv2.filter2D(grayImage, cv2.CV_16S, kernely)
#轉uint8
absX = cv2.convertScaleAbs(x)
absY = cv2.convertScaleAbs(y)
Roberts = cv2.addWeighted(absX,0.5,absY,0.5,0)
#用來正常顯示中文标簽
plt.rcParams['font.sans-serif']=['SimHei']
#顯示圖形
titles = ['原始圖像', 'Roberts算子']
images = [lenna_img, Roberts]
for i in range(2):
plt.subplot(1,2,i+1), plt.imshow(images[i], 'gray')
plt.title(titles[i])
plt.xticks([]),plt.yticks([])
plt.show() 其運作結果如圖2所示，左邊為原始圖像，右邊為Roberts算子圖像銳化提取的邊緣輪廓。
三.Prewitt算子
Prewitt是一種圖像邊緣檢測的微分算子，其原理是利用特定區域内像素灰階值産生的差分實作邊緣檢測。由于Prewitt算子采用3×3模闆對區域内的像素值進行計算，而Robert算子的模闆為2×2，故Prewitt算子的邊緣檢測結果在水準方向和垂直方向均比Robert算子更加明顯。Prewitt算子适合用來識别噪聲較多、灰階漸變的圖像，其計算公式如下所示。
具體的水準和垂直方向計算公式如下所示：
Prewitt算子像素的最終計算如公式（11）所示。
在Python中，Prewitt算子的實作過程與Roberts算子比較相似。通過Numpy定義模闆，再調用OpenCV的filter2D()函數實作對圖像的卷積運算，最終通過convertScaleAbs()和addWeighted()函數實作邊緣提取，代碼如下所示：
# -*- coding: utf-8 -*-
# By:Eastmount
import cv2
import numpy as np
import matplotlib.pyplot as plt
#讀取圖像
img = cv2.imread('luo.png')
lenna_img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
#灰階化處理圖像
grayImage = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
#Prewitt算子
kernelx = np.array([[1,1,1],[0,0,0],[-1,-1,-1]],dtype=int)
kernely = np.array([[-1,0,1],[-1,0,1],[-1,0,1]],dtype=int)
x = cv2.filter2D(grayImage, cv2.CV_16S, kernelx)
y = cv2.filter2D(grayImage, cv2.CV_16S, kernely)
#轉uint8
absX = cv2.convertScaleAbs(x)
absY = cv2.convertScaleAbs(y)
Prewitt = cv2.addWeighted(absX,0.5,absY,0.5,0)
#用來正常顯示中文标簽
plt.rcParams['font.sans-serif']=['SimHei']
#顯示圖形
titles = ['原始圖像', 'Prewitt算子']
images = [lenna_img, Prewitt]
for i in range(2):
plt.subplot(1,2,i+1), plt.imshow(images[i], 'gray')
plt.title(titles[i])
plt.xticks([]),plt.yticks([])
plt.show() 最終運作結果如圖3所示，左邊為原始圖像，右邊為Prewitt算子圖像銳化提取的邊緣輪廓，其效果圖的邊緣檢測結果在水準方向和垂直方向均比Robert算子更加明顯。
四.總結
本文主要介紹圖像銳化和邊緣檢測知識，詳細講解了Roberts算子和Prewitt算子，并通過小珞珞圖像進行邊緣輪廓提取。圖像銳化和邊緣提取技術可以消除圖像中的噪聲，提取圖像資訊中用來表征圖像的一些變量，為圖像識别提供基礎。
參考文獻：
- [1] 岡薩雷斯著，阮秋琦譯. 數字圖像處理（第3版）[M]. 北京：電子工業出版社，2013.
- [2] 阮秋琦. 數字圖像處理學（第3版）[M]. 北京：電子工業出版社，2008.
- [3] 陳初俠. 圖像濾波及邊緣檢測與增強技術研究[D].合肥工業大學, 2009.
- [4] Eastmount. [Python圖像處理] 四.圖像平滑之均值濾波、方框濾波、高斯濾波及中值濾波[EB/OL]. (2018-09-02). https://blog.csdn.net/Eastmount/article/details/82216380.
- [5] Eastmount. [數字圖像處理] 七.MFC圖像增強之圖像普通平滑、高斯平滑、Laplacian、Sobel、Prewitt銳化詳解[EB/OL]. (2015-06-08). https://blog.csdn.net/eastmount/article/ details/46378783.
- [6] 毛星雲. [OpenCV入門教程之九] 非線性濾波專場：中值濾波、雙邊濾波[EB/OL]. (2014-04-08). https://blog.csdn.net/poem_qianmo/article/details/23184547.
- [7] C. Tomasi, R Manduchi. Bilateral Filtering for Gray and Color images[C]. Proceedings of the IEEE International Conference on Computer Vision, Bombay, India. 1998:839-846.
關注#華為雲開發者聯盟# 點選下方，第一時間了解華為雲新鮮技術~
華為雲部落格_大資料部落格_AI部落格_雲計算部落格_開發者中心-華為雲