天天看点

图像处理与分析数学基础回顾 Math reviewsignal and systems 信号与系统image 图像基础Overview 概述Transform 图像变换图像增强图像编码和压缩分割提取目标检测识别 影像匹配镶嵌

Contents

  • 数学基础回顾 Math review
  • signal and systems 信号与系统
  • image 图像基础
  • Overview 概述
  • Transform 图像变换
    • Fourier
    • 小波变换 Wavelet
  • 图像增强
  • 图像编码和压缩
    • 编码方式
    • 编码与压缩标准
  • 分割提取
  • 目标检测识别 影像匹配镶嵌

数学基础回顾 Math review

  • complex number 复数

    欧拉公式: c o s θ + j s i n θ = e j θ cosθ +jsinθ = e^{jθ} cosθ+jsinθ=ejθ

    复数运算: 乘法—模乘角加; n方—模方角n; 除法—模除角减.

  • 卷积convolution

    关于什么是卷积,"马同学"讲得还不错

  • 打脸叠加(时不变 >> 时变); 骰子%关键在于理解"shape modified"%.
  • 卷纸, 画直线,
  • From wikimedia: convolution is a mathematical operation on two functions (f and g) to produce a third function that expresses how the shape of one is modified by the other. The term convolution refers to both the result function and to the process of computing it. Convolution is similar to cross-correlation
    图像处理与分析数学基础回顾 Math reviewsignal and systems 信号与系统image 图像基础Overview 概述Transform 图像变换图像增强图像编码和压缩分割提取目标检测识别 影像匹配镶嵌
  • 离散则化 ∫ 为∑.

An Introduction to Convolution Neural Networks and Deep Learning

signal and systems 信号与系统

  • 信号分为确定性信号和随机信号, 而随机信号又分为平稳随机信号和非平稳随机信号.
  • 不确定信号是指幅度不能预先确定但服从某种统计规律的信号。虽无法用一确定的函数关系来表达,但可用数学期望、方差、相关函数、概率密度函数、功率谱函数等统计特征来描述。统计特征不随时间而变化的称为“平稳随机信号”,否则就是“非平稳随机信号”

Butterworth filter

  • It has a frequency response as flat as possible in the passband. It is also referred to as a maximally flat magnitude filter.
  • 渐变,振铃现象不明显,效果好但是计算复杂.

    Here is a graph of low-pass.

    图像处理与分析数学基础回顾 Math reviewsignal and systems 信号与系统image 图像基础Overview 概述Transform 图像变换图像增强图像编码和压缩分割提取目标检测识别 影像匹配镶嵌

wiener-Khinchin 维纳辛钦定理

  • Khinchin–Kolmogorov theorem, states that the autocorrelation function of a wide-sense-stationary random process has a spectral decomposition given by the power spectrum of that process. 即一个信号的功率谱密度就是该信号自相关函数的傅里叶变换
  • 功率谱是功率谱密度函数的简称,它定义为单位频带内的信号功率。它表示了信号功率随着频率的变化情况
  • 由于信号的自相关函数计算量大,所以信号的自相关函数通常不直接计算,而是用信号的功率谱密度的逆FFT变换来计算。

image 图像基础

  • 色域
    图像处理与分析数学基础回顾 Math reviewsignal and systems 信号与系统image 图像基础Overview 概述Transform 图像变换图像增强图像编码和压缩分割提取目标检测识别 影像匹配镶嵌
采用荧光灯和led背光源的lcd色域对比
图像处理与分析数学基础回顾 Math reviewsignal and systems 信号与系统image 图像基础Overview 概述Transform 图像变换图像增强图像编码和压缩分割提取目标检测识别 影像匹配镶嵌

色域越大,意味着显示器显示的色彩越多越丰富,但不代表最终会出现最佳的显示效果,需要色彩管理支持大色域才会显示出优势. 所以买显示器的时候不要被忽悠了.

Overview 概述

成像按照波长分类: γ射线,X射线,紫外,可见和红外,微波,无线电波, 超声波,电子显微镜.

Transform 图像变换

图像变换就是通过某种变换关系将空间图像转换为另一种形式来表达.

在各个领域, 我们会见到各种各样的变换,比如随机数学中的矩母,DSP中就更了,什么Z变换/T变换/小波/余弦/Fourier… 很多人学了很多年后仍然会疑惑: 变来变去的,干嘛??

In general, "变换"出于以下目的:

  1. 简化问题的处理过程;
  2. 有利于特征的提取;
  3. 有利于概念的理解.

Fourier

图像处理与分析数学基础回顾 Math reviewsignal and systems 信号与系统image 图像基础Overview 概述Transform 图像变换图像增强图像编码和压缩分割提取目标检测识别 影像匹配镶嵌
图像处理与分析数学基础回顾 Math reviewsignal and systems 信号与系统image 图像基础Overview 概述Transform 图像变换图像增强图像编码和压缩分割提取目标检测识别 影像匹配镶嵌

连续—积分; 离散—累加; 二维—双重积分/累加.

图像处理与分析数学基础回顾 Math reviewsignal and systems 信号与系统image 图像基础Overview 概述Transform 图像变换图像增强图像编码和压缩分割提取目标检测识别 影像匹配镶嵌

Fourier变换的计算异常复杂,所以真正让它得到广泛应用的是"Fast Fourier Transform".

FFT讲解

小波变换 Wavelet

"小"是指衰减性; "波"对应波动性,即振幅呈正负相间的震荡形式.

直观了解一下就明白了:

图像处理与分析数学基础回顾 Math reviewsignal and systems 信号与系统image 图像基础Overview 概述Transform 图像变换图像增强图像编码和压缩分割提取目标检测识别 影像匹配镶嵌

既然有了FFT, 为什么还要小波变换?

图像处理与分析数学基础回顾 Math reviewsignal and systems 信号与系统image 图像基础Overview 概述Transform 图像变换图像增强图像编码和压缩分割提取目标检测识别 影像匹配镶嵌

离散小波变换 Discrete Wavelet Transform

连续小波用于理论分析,实际还得是离散.

图像处理与分析数学基础回顾 Math reviewsignal and systems 信号与系统image 图像基础Overview 概述Transform 图像变换图像增强图像编码和压缩分割提取目标检测识别 影像匹配镶嵌
图像处理与分析数学基础回顾 Math reviewsignal and systems 信号与系统image 图像基础Overview 概述Transform 图像变换图像增强图像编码和压缩分割提取目标检测识别 影像匹配镶嵌

图像增强

灰度直方图: 各灰度级频率统计.

直方图修正是一种实用,有效的图像增强技术, 包括均衡化法和规定化法.

直方图均衡化: 通过变换函数T(r)控制原图像灰度级的概率密度函数得到你想要的"目的概率分布". 关键就是如何找到T(r).

离散是用频率代替概率.

图像处理与分析数学基础回顾 Math reviewsignal and systems 信号与系统image 图像基础Overview 概述Transform 图像变换图像增强图像编码和压缩分割提取目标检测识别 影像匹配镶嵌
  • 空间域增强方法: 对比度增强 , 图像平滑.

对比度增强有灰度变换法(线性,对数,指数)和直方图调整法(均衡化,规定化)

图像平滑又叫去噪, 包括邻域平均法,中值滤波法

  • 邻域平均法
    图像处理与分析数学基础回顾 Math reviewsignal and systems 信号与系统image 图像基础Overview 概述Transform 图像变换图像增强图像编码和压缩分割提取目标检测识别 影像匹配镶嵌
  • 中值滤波法
    图像处理与分析数学基础回顾 Math reviewsignal and systems 信号与系统image 图像基础Overview 概述Transform 图像变换图像增强图像编码和压缩分割提取目标检测识别 影像匹配镶嵌
    中值滤波的难点是"窗口大小". 一般从小到大试验. 一般二维效果好于一维,不同形状的窗口会有不同的效果,根据需求选择.
  • 频率域锐化
图像处理与分析数学基础回顾 Math reviewsignal and systems 信号与系统image 图像基础Overview 概述Transform 图像变换图像增强图像编码和压缩分割提取目标检测识别 影像匹配镶嵌
(无论是空间域还是频率域)高通滤波器在增强细节的同时也会增强噪声, 所以不能随意使用.
  • 频率域增强

    频率域增强的过程:傅里叶变换后选择合适的滤波器对频率成分进行处理,然后逆傅里叶变换.

图像处理与分析数学基础回顾 Math reviewsignal and systems 信号与系统image 图像基础Overview 概述Transform 图像变换图像增强图像编码和压缩分割提取目标检测识别 影像匹配镶嵌
  • 逆滤波恢复

    时域恢复—Convolution 卷积

    频域恢复—时域的卷积对应频域的乘法,而傅里叶变换的快速实现使得频域处理应用更为广泛.

  • 图像几何校正

    为什么要进行几何校正? ----

    比如用相机广角拍摄时远处建筑通常是歪斜的.

图像编码和压缩

图像处理与分析数学基础回顾 Math reviewsignal and systems 信号与系统image 图像基础Overview 概述Transform 图像变换图像增强图像编码和压缩分割提取目标检测识别 影像匹配镶嵌
  • 压缩的前提自然是可以压缩,即压缩后在视觉上不会有多大区别,或者说人眼看不出来.

    图像存在数据冗余和主观视觉冗余, 压缩方式也就从这两个方面开展,有损or无损.

  • "压缩"在本质上是以尽可能少的数据传输尽可能多的信息. 压缩的办法是消除冗余,具体通过编码实现.
  • 冗余大致分为三类:
    图像处理与分析数学基础回顾 Math reviewsignal and systems 信号与系统image 图像基础Overview 概述Transform 图像变换图像增强图像编码和压缩分割提取目标检测识别 影像匹配镶嵌
正常人眼在25cm明视距离下可以分辨0.1mm.
  • 视觉冗余指某些颜色之间的差别其实人眼是看不出来的,详询舌形图.

    理论上有 2 24 2^{24} 224种颜色,但是实际人眼只能分辨一小部分,显示器也只能显示部分颜色.

编码方式

统计编码, 预测编码,变换编码.

  • 统计编码是指根据图像像素灰度值出现的概率的分布特性而进行的压缩编码.

    统计编码包括行程编码,Huffman编码,

    • 行程编码: e.g. aaabcccccccc 描述为3a1b8c ,12个字节变成了6bytes.
    • Huffman编码: 灰度值频率排序,高频的用短码.
  • 预测编码—相关性.

编码与压缩标准

静止图像格式—jpeg

几乎所有的软件都是支持jpeg格式. jpeg包括DCT和Huffman编码,有损压缩.

活动图像格式—MPEG.

  • (MPEG-4)—流媒体,帧与帧间相关性.
  • mpeg-7 ----多媒体信息的搜索.

分割提取

图像边缘的定义: 图像中灰度值有阶跃变化或屋顶变化的像素的集合.

屋顶变化:位于灰度值从增加到减少的变化转折点.像屋顶一样中间高两边低.

凹凸性:连接这个图形内任意两个像素的线段如果不通过这个图形以外的像素,则它是凸的.

形状特征提取&纹理特征提取.

目标检测识别 影像匹配镶嵌

模板匹配. 模式识别的方法包括统计模式识别(概率分类法和聚类分析),模糊模式识别,句法模式识别,人工神经网络方法 4种.

影像镶嵌是指将两幅或多幅影像拼在一起,构成一幅整体影像的技术过程。

图像分割:基于图论 , 基于分水岭.

继续阅读