自然界的各種色彩、人類所感覺的色彩以及各種圖像裝置和計算機軟體所使用的顔色可通過色彩空間（Color Space）來描述。
色彩是人腦對不同視覺刺激的反應。人眼視網膜上的色敏細胞會分别對紅、綠、藍3個波段的色彩進行采樣。采樣後的信号傳送至大腦後組合在一起就會産生對色彩的感覺。由于顔色是大腦對特定視覺刺激的反應，是以顔色最好也由人類大腦對不同顔色的感覺來描述。據此人們建立了由多個顔色分量來表示顔色的模型，這些模型被稱為色彩空間。
色彩空間是指通過多個（通常為3個或4個）顔色分量構成坐标系來表示各種顔色的模型系統。色彩空間中的每個點均代表一種顔色，也就是說各點的顔色可看作是多個分量的合成。例如，在RGB色彩空間中，顔色可認為是紅（Red）、綠（Green）、藍（Blue）3種顔色分量的加性合成；在HSL色彩空間中，顔色可認為是色調（Hue）、飽和度（Saturation）和亮度
（Luminance/Lightness）的合成。
基于這種思想，機器視覺系統開發過程中待處理的彩色圖像就可根據需要被映射至某個色彩空間上進行描述。是以彩色圖像的處理計算工作就可以被分解至各顔色分量所對應的一組圖像上進行，包括圖像增強和分割、色彩比對、色彩定位、色彩模式識别分類以及彩色圖像分割等。當各顔色分量的運算處理完成後，即可再次将對各分量的處理結果進行組合，生成對彩色圖像的處理結果。
不同的工業環境或機器視覺應用使用的色彩空間可能各不相同。與圖像處理相關的常見色彩空間有以下幾種：
RGB，包括紅（Red）、綠（Green）、藍（Blue）；
HSV/HSB，包括色調（Hue）、飽和度（Saturation）和明度（Value/Brightness）；
HSl，包括色調（Hue）、飽和度（Saturation）和灰階（Intensity）；
HSL，包括色調（Hue）、飽和度（Saturation）和亮度（Luminance/Lightness）。
以上色彩空間中，RGB被計算機顯示器采用，HSV/HSB被藝術家用于藝術創作，HSl和HSL則适合機器視覺和圖像處理系統開發。
下表對這幾種色彩空間進行了彙總：
多數色彩空間都是基于人類大腦對不同顔色的感覺（sensations）而建立，是以詳細了解各種色彩空間之前，需要先明确感覺的相關定義。CIE（國際照明委員會）對以下人類的感覺進行了定義:
明度（Brightness） ：對某一區域内光線多少的感覺，即明亮程度；
亮度（Luminance/Lightness） ：對場景中某一區域内明度相對于白色的感覺；
色調（Hue）∶對某一區域内類似于RGB組合顯示的感覺，即顔色種類。色量(Colorfulness) :對某一區域内色調多少的感覺；
色度（Chroma）：對場景中某一區域内色量相對于白色的感覺；
飽和度（Saturation）：某一區域内色量與明度之比，表示色彩的鮮豔程度。
由定義可知，明度和色量是人類視覺對一個光照表面的亮暗與顔色的感覺，是絕對概念。而亮度和色度則是相對白色的感覺，是相對概念。飽和度用來描述色彩的鮮豔程度，取決于含色成分（色量）和消色成分（明度）的比例。含色成分越大，飽和度越大；消色成分越大，飽和度越小。
RGB色彩空間，使用不同比例的紅綠藍三基色進行加性組合來表示顔色，如計算機彩色陰極射線管、彩色光栅圖形的顯示器都使用RGB數值驅動電子槍發射電子，以激發熒光屏上的顔色的熒光粉發出不同亮度的光線，并通過混合相加産生各種顔色。根據RGB三基色原理，各種顔色的光都可以由紅、綠和藍3種基色權重混合而成。常見于計算機系統如下所示：
RGB色彩模型
國際公認的RGB三基色光的波長分别為700.0nm、546.1nm和435.8nm。在RGB色彩空間中，标準白光由光通量為1lm的紅光、4.5907Im的綠光和0.0601lm的藍光混合而成，是以将這3種光通量大小的光定義為三基色的機關基色量，用(R)、(G)、(B）表示。據此，任何一種具有一定亮度的彩色光的光通量均可由不同比例的三基色疊加來表示。
HSV和HSB是同一種色彩空間的不同叫法，它按照人眼對色彩的感覺原理建構，由色調、飽和度和明度3個分量構成，為倒立錐形結構，如下圖所示：
色調對應于顔色的波長，它代表人眼所能感覺的各種顔色，如紅、黃、紫等。色調值可用分布在一個平面的色環表示，如下圖所示：
HSV的飽和度是指色調與位于色環中心的中度灰色（Neutral Gray）的差異，它通常用0~1的值（或百分比）來表示。當取值為0時（位于色環中心），表示無顔色（中度灰色)，取最大值時（位于色環圓周上)，表示顔色最鮮豔，為色調定義的最純色。
明度指光線強度的大小，值越大，色彩越淺。在HSV模型中，從倒立錐的頂點到底面色環中心，明度由小變大。由于HSV模型按照人眼對色彩的感覺原理建構，是以常被藝術家用來進行各種彩色藝術創作。
HSI和HSL色彩空間的第三個分量與HSV也有差別。HSV使用代表光線強度的明度作為第三個分量，而HSI使用代表由黑到白變化的灰階（Intensity），HSL使用了表示白色多少的亮度（Luminance）作為第三個分量。明度、灰階或亮度都用于控制色彩的明暗變化。數值越小，色彩越接近于黑色；數值越大，色彩越接近于白色。下圖顯示了HSL色彩空間的錐形結構：
在機器視覺開發過程中，也會涉及以下幾種色彩空間：
CMYK包括青色（Cyan）、品紅（Magenta）、黃色（Yellow）、黑色（BlacK），用于印刷；
CIE-XYZ包括國際照明委員會（CIE）建立的色彩空間，X、Y、Z為3個假想原色；
CIE-L*a*b*包括CIE建立，由亮度（Lightness） +a紅色、-a綠色、+b黃色、-b藍色分量構成；
YUV包括Y為亮度，U為藍色與Y的色差，V為紅色與Y的色差；
YIQ包括Y為亮度，I代表從橙色到青色的變化，Q代表紫色到黃綠色的變化；
YCbCr包括對YUV縮放和修正後用于數字視訊，Y為亮度，Cb、Cr為藍色和紅色與Y的色差。
CMYK用于印刷行業，CIE-XYZ和CIE-L*a*b*是由國際照明委員會在進行了大量正常人類視覺測量和統計後建立的空間較大的與裝置無關的色彩空間，YUV和YIQ被不同制式的模拟視訊信号采用，YCbCr，則是對YUV縮放和修正後用于數字視訊的色彩空間。