天天看點

計算機視覺入門大全:基礎概念、運作原理、應用案例詳解

什麼是計算機視覺?

計算機視覺解決什麼問題

人類能夠了解和描述圖像中的場景。以下圖為例,人類能做到的不僅僅是檢測到圖像前景中有四個人、一條街道和幾輛車。

披頭士專輯《艾比路》的封面。(圖源:

https://liveforlivemusic.com/news/beatles-abbey-road/

除了這些基本資訊,人類還能夠看出圖像前景中的人正在走路,其中一人赤腳,我們甚至知道他們是誰。我們可以理性地推斷出圖中人物沒有被車撞擊的危險,白色的大衆汽車沒有停好。人類還可以描述圖中人物的穿着,不止是衣服顔色,還有材質與紋理。

這也是計算機視覺系統需要的技能。簡單來說,計算機視覺解決的主要問題是:

給出一張二維圖像,計算機視覺系統必須識别出圖像中的對象及其特征,如形狀、紋理、顔色、大小、空間排列等,進而盡可能完整地描述該圖像。

區分計算機視覺與其相關領域

計算機視覺完成的任務遠超其他領域,如圖像處理、機器視覺,盡管它們存在一些共同點。接下來,我們就來了解一下這些領域之間的差異。

圖像處理

圖像處理旨在處理原始圖像以應用某種變換。其目标通常是改進圖像或将其作為某項特定任務的輸入,而計算機視覺的目标是描述和解釋圖像。例如,降噪、對比度或旋轉操作這些典型的圖像處理元件可以在像素層面執行,無需對圖像整體具備全面的了解。

機器視覺

機器視覺是計算機視覺用于執行某些(生産線)動作的特例。在化工行業中,機器視覺系統可以檢查生産線上的容器(是否幹淨、空置、無損)或檢查成品是否恰當封裝,進而幫助産品制造。

計算機視覺

計算機視覺可以解決更複雜的問題,如人臉識别、詳細的圖像分析(可幫助實作視覺搜尋,如 Google Images),或者生物識别方法。

行業應用

人類不僅能夠了解圖像中的場景,稍加訓練,還能解釋書法、印象派畫家、抽象畫,以及胎兒的二維超聲圖像。

從這個角度來看,計算機視覺領域尤其複雜,它擁有大量的實際應用。

從電商到傳統行業,各種類型和規模的公司現在都可以利用計算機視覺的強大能力,這是依賴于人工智能和機器學習(更具體地說是計算機視覺)的創新所帶來的利好。

下面我們就來看看,近年來受計算機視覺影響最大的行業應用。

零售業

近年來,計算機視覺在零售業的應用已成為最重要的技術趨勢之一。下文将介紹一些常見的用例。如果你想對計算機視覺在零售業的潛在應用有更詳細的了解,請參考:

https://tryolabs.com/resources/retail-innovations-machine-learning/

行為追蹤

實體零售店利用計算機視覺算法和攝像頭,了解顧客及其行為。

計算機視覺算法能夠識别人臉,确定人物特征,如性别或年齡範圍。此外,零售店還可以利用計算機視覺技術追蹤顧客在店内的移動軌迹,分析其移動路線,檢測行走模式,并統計零售店店面受到行人注意的次數。

添加視線方向檢測後,零售店能夠回答這一重要問題:将店内商品放在哪個位置可以提升消費者體驗,最大化銷售額。

計算機視覺還是開發防盜竊機制的強大工具。人臉識别算法可用于識别已知的商店扒手,或檢測出某位顧客将商品放入自己的背包。

庫存管理

計算機視覺在庫存管理方面有兩個主要的應用。

通過安防攝像頭圖像分析,計算機視覺算法可以對店内剩餘商品生成非常準确的估計。對于店鋪管理者來說,這是非常寶貴的資訊,它可以幫助管理者立即察覺不尋常的貨物需求,并及早作出反應。

另一個常見應用是:分析貨架空間利用情況,識别次優配置。除了發現被浪費的空間以外,此類算法還可以提供更好的貨品擺放方案。

制造業

生産線上的主要問題是機器中斷或殘次品,這些問題會導緻生産延遲和利潤損失。

計算機視覺算法被證明是實施預測性維護的好方法。算法通過分析(來自機器人身上攝像頭等的)視覺資訊,預先發現機器的潛在問題。此類系統可以預測包裝或汽車裝配機器人是否會中斷,這是一項巨大的貢獻。

這同樣可用于降低不良率,系統可以檢測出整個生産線上各個元件中的缺陷。這使得制造商實時響應,采取解決辦法。缺陷可能不那麼嚴重,生産流程可以繼續,但是産品以某種方式被标記,或者被指向特定的生産路徑。但是,有時停止生産線是必要的。為了進一步的利益,此類系統可以針對每個用例進行訓練,按類型和嚴重程度對缺陷進行分類。

醫療行業

在醫療行業中,現有計算機視覺應用的數量非常龐大。

毫無疑問,醫療圖像分析是最著名的例子,它可以顯著提升醫療診斷流程。此類系統對 MRI 圖像、CT 掃描圖像和 X 光圖像進行分析,找出惡性良性腫瘤等異常,或者搜尋神經系統疾病的症狀。

在很多情況下,圖像分析技術從圖像中提取特征,進而訓練能夠檢測異常的分類器。但是,一些特定應用需要更細化的圖像處理。例如,對結腸鏡檢查圖像進行分析時,分割圖像是必要的,這樣才能找出腸息肉,防止結直腸癌。

胸腔 3D 渲染 CT 掃描圖像的體分割。(圖源:

https://en.wikipedia.org/wiki/Image_segmentation

上圖是觀察胸腔元素所需的圖像分割結果。該系統分割每個重要部分并着色:肺動脈(藍色)、肺靜脈(紅色)、縱膈(黃色)和橫膈(紫色)。

目前大量此類應用已經投入使用,如估計産後出血量、量化冠狀動脈鈣化情況、在沒有 MRI 的情況下測定人體内的血流量。

但是,醫療圖像并非計算機視覺在醫療行業中唯一的用武之地。比如,計算機視覺技術為視障人士提供室内導航幫助。這些系統可以在樓層平面圖中定位行人和周圍事物等,以便實時提供視覺體驗。視線追蹤和眼部分析可用于檢測早期認知障礙,如兒童自閉症或閱讀障礙,這些疾病與異常注視行為高度相關。

自動駕駛

你是否思考過,自動駕駛汽車如何「看」路?計算機視覺在其中扮演核心角色,它幫助自動駕駛汽車感覺和了解周圍環境,進而恰當運作。

計算機視覺最令人興奮的挑戰之一是圖像和視訊目标檢測。這包括對不同數量的對象進行定位和分類,以便區分某個對象是交通信号燈、汽車還是行人,如下圖所示:

自動駕駛汽車目标檢測。(圖源:

https://cdn-images-1.medium.com/max/1600/1

*q1uVc-MU-tC-WwFp2yXJow.gif)

此類技術,加上對來自傳感器和/或雷達等來源的資料進行分析,使得汽車能夠「看見」。

圖像目标檢測是一項複雜的強大任務,之前我們曾經讨論過,參見:

https://tryolabs.com/blog/2017/08/30/object-detection-an-overview-in-the-age-of-deep-learning/ 另一篇文章從人類-圖像互動的角度探讨這一主題,參見: https://tryolabs.com/blog/2018/03/01/introduction-to-visual-question-answering/

保險業

計算機視覺在保險業中的應用影響很大,尤其是在理賠進行中。

計算機視覺應用可以指導客戶以視覺形式進行理賠檔案處理。它可以實時分析圖像并發送至适合的保險經紀人。同時,它可以估計和調整維護費用,确定是否在保險覆寫範圍内,甚至檢測是否存在保險欺詐。所有這些最大程度上縮短了索賠流程,為客戶提供更好的體驗。

從預防的角度來看,計算機視覺在避免意外事故方面用處極大。大量可用于阻止碰撞的計算機視覺應用被整合到工業機械、汽車和無人機中。這是風險管理的新時代,可能改變整個保險業。

農業

計算機視覺對農業有極大影響,尤其是精準農業。

在糧食生産這一全球經濟活動中,存在一系列寶貴的計算機視覺應用。糧食生産面臨一些反複出現的問題,之前這些問題通常由人類監控。而現在,計算機視覺算法可以檢測或合理預測病蟲害。此類早期診斷可幫助農民快速采取合适措施,減少損失,保證生産品質。

另一項長期挑戰是除草,因為雜草對除草劑産生抗藥性,可能給農民帶來嚴重損失。現在出現了配備有計算機視覺技術的機器人,它們可以監控整片農田,精準噴灑除草劑。這極大地節約了使用農藥量,為地球環境和生産成本均帶來了極大的益處。

土壤品質也是農業中的一大主要因素。一些計算機視覺應用可以從手機拍攝的照片中識别出土壤的潛在缺陷和營養缺乏問題。分析之後,這些應用會針對檢測出的土壤問題,提供土壤恢複技術和可能的解決方案。

計算機視覺還可用于分類。一些算法通過識别水果、蔬菜甚至花卉的主要特性(如大小、品質、重量、顔色、紋理等),對其進行分類。這些算法還能夠檢測缺陷,估計出哪些農産品保鮮期較長、哪些應該放置在本地市場售賣。這極大延長了農産品的保鮮期,減少了農産品上市前所需時間。

安防

與零售業類似,對安全具備高要求的企業(如銀行或賭場)可從計算機視覺應用中獲益,這些應用對安防攝像頭拍攝的圖像進行分析,進而識别顧客。

而從另一個層面上來講,計算機視覺是國土安全任務中的強大工具。它可用于改進港口貨物檢驗,或者監控敏感場所,如大使館、發電站、醫院、鐵路和體育場。這裡,計算機視覺不僅能夠分析和分類圖像,還能對場景提供詳細且有意義的描述,為決策實時提供關鍵因素。

通常,計算機視覺廣泛應用于國防任務,如偵察敵軍地形、自動确認圖像中的敵軍、自動化車輛和機器移動,以及搜尋援救。

典型的計算機視覺任務

高度複制人類視覺系統,這是如何做到的呢?

計算機視覺基于大量不同任務,并組合在一起實作高度複雜的應用。計算機視覺中最常見的任務是圖像和視訊識别,涉及确定圖像包含的不同對象。

圖像分類

計算機視覺中最知名的任務可能就是圖像分類了,它對給定圖像進行分類。我們看一個簡單的二分類例子:我們想根據圖像是否包含旅遊景點對其進行分類。假設我們為此任務建構了一個分類器,并提供了一張圖像(見下圖)。

埃菲爾鐵塔(圖源:

https://cdn.pariscityvision.com/media/wysiwyg/tour-eiffel.jpg

該分類器認為上述圖像屬于包含旅遊景點的圖像類别。但這并不意味着分類器認出埃菲爾鐵塔了,它可能隻是曾經見過這座塔的照片,并且當時被告知圖像中包含旅遊景點。

巴黎旅遊景點明信片。(圖源:

http://toyworldgroup.com/image/cache/catalog/Ecuda%20Puzzles/Postcard%20Form%20Paris%20/14840-500x500.jpg

該分類器的更強大版本可以處理不止兩個類别。例如,分類器将圖像分類為旅遊景點的特定類型,如埃菲爾鐵塔、凱旋門、聖心大教堂等。那麼在此類場景中,每個圖像輸入可能有多個答案,就像上面那張明信片一樣。

定位

假設,現在我們不僅想知道圖像中出現的旅遊景點名稱,還對其在圖像中的位置感興趣。定位的目标就是找出圖像中單個對象的位置。例如,下圖中埃菲爾鐵塔的位置就被标記出來了。

被紅色邊界框标記出的埃菲爾鐵塔。(圖源:

執行定位的标準方式是,在圖像中定義一個将對象圍住的邊界框。

定位是一個很有用的任務。比如,它可以對大量圖像執行自動對象剪裁。将定位與分類任務結合起來,就可以快速建構著名旅遊景點(剪裁)圖像資料集。

目标檢測

我們想象一個同時包含定位和分類的動作,對一張圖像中的所有感興趣對象重複執行該動作,這就是目标檢測。該場景中,圖像中的對象數量是未知的。是以,目标檢測的目标是找出圖像中的對象,并進行分類。

目标檢測結果(圖源:

http://research.ibm.com/artificial-intelligence/computer-vision/images/cv-research-areas-object-detection.jpg

在這個密集圖像中,我們可以看到計算機視覺系統識别出大量不同對象:汽車、人、自行車,甚至包含文本的标志牌。

這個問題對人類來說都算困難的。一些對象隻顯示出一部分,因為它們有一部分在圖像外,或者彼此重疊。此外,相似對象的大小差别極大。

目标檢測的一個直接應用是計數,它在現實生活中應用廣泛,從計算收獲水果的種類到計算公衆集會或足球賽等活動的人數,不一而足。

目辨別别

目辨別别與目标檢測略有不同,盡管它們使用類似的技術。給出一個特定對象,目辨別别的目标是在圖像中找出該對象的執行個體。這并不是分類,而是确定該對象是否出現在圖像中,如果出現,則執行定位。搜尋包含某公司 logo 的圖像就是一個例子。另一個例子是監控安防攝像頭拍攝的實時圖像以識别某個人的面部。

執行個體分割

我們可以把執行個體分割看作是目标檢測的下一步。它不僅涉及從圖像中找出對象,還需要為檢測到的每個對象建立一個盡可能準确的掩碼。

(圖注)執行個體分割結果。

你可以從上圖中看到,執行個體分割算法為四位披頭士成員和一些汽車建立掩碼(不過該結果并不完整,尤其是列侬)。

人工執行此類任務的成本很高,而執行個體分割技術使得此類任務的實作變得簡單。在法國,法律禁止媒體在未經監護人明确同意的情況下暴露兒童形象。使用執行個體分割技術,可以模糊電視或電影中的兒童面部。

目标追蹤

目标追蹤旨在追蹤随着時間不斷移動的對象,它使用連續視訊幀作為輸入。該功能對于機器人來說是必要的,以守門員機器人舉例,它們需要執行從追球到擋球等各種任務。目标追蹤對于自動駕駛汽車而言同樣重要,它可以實作進階空間推理和路徑規劃。類似地,目标追蹤在多人追蹤系統中也很有用,包括用于了解使用者行為的系統(如零售店的計算機視覺系統),以及在遊戲中監控足球或籃球運動員的系統。

執行目标追蹤的一種相對直接的方式是,對視訊序列中的每張圖像執行目标追蹤并對比每個對象執行個體,以确定它們的移動軌迹。該方法的缺陷是為每張圖像執行目标檢測通常成本高昂。另一種替換方式僅需捕捉被追蹤對象一次(通常是該對象出現的第一次),然後在不明确識别該對象的情況下在後續圖像中辨識它的移動軌迹。最後,目标追蹤方法未必就能檢測出對象,它可以在不知道追蹤對象是什麼的情況下,僅檢視目标的移動軌迹。

計算機視覺運作原理

如前所示,計算機視覺的目标是模仿人類視覺系統的工作方式。算法如何實作這一目标呢?本文将介紹其中最重要的幾個概念。

通用政策

深度學習方法和技術深刻改變了計算機視覺以及其他人工智能領域,對于很多任務而言,使用深度學習方法已經成為标準操作。尤其是,卷積神經網絡(CNN)的性能超過了使用傳統計算機視覺技術所能達到的最優結果。

以下四步展示了利用 CNN 建構計算機視覺模型的通用方法:

建立一個包含标注圖像的資料集或者使用現有的資料集。标注可以是圖像類别(适用于分類任務)、邊界框和類别對(适用于目标檢測問題),或者對圖像中每個感興趣對象進行像素級分割(适用于執行個體分割問題)。

從每張圖像中提取與待處理任務相關的特征,這是模組化的重點。例如,用來識别人臉的特征、基于人臉标準的特征與用來識别旅遊景點或人體器官的特征存在顯著差別。

基于特征訓練深度學習模型。訓練意味着向機器學習模型輸入很多圖像,然後模型基于特征學習如何解決任務。

使用不同于訓練所用資料的圖像評估模型,進而測試訓練模型的準确率。

該政策非常基礎,但效果不錯。這類方法叫做監督機器學習,它需要包含模型待學習現象的資料集。

現有資料集

建構資料集通常成本高昂,但是它們對于開發計算機視覺應用至關重要。幸運的是,目前有一些現成的資料集。其中規模最大、最著名的是 ImageNet,該資料集包含 1400 萬人工标注圖像。該資料集包含 100 萬張具備邊界框标注的圖像。

帶有邊界框的 ImageNet 圖像(圖源:

http://www.image-net.org/bbox_fig/kit_fox.JPG 具備對象屬性标注的 ImageNet 圖像(圖源: http://www.image-net.org/attribute_fig/pullfigure.jpg

另一個著名資料集是 Microsoft Common Objects in Context (COCO) 資料集,它包含 328,000 張圖像、91 個對象類别(這些類别很容易識别,4 歲孩童也可以輕松識别出來),以及 250 萬标注執行個體。

COCO 資料集中的标注圖像示例。(圖源:

https://arxiv.org/abs/1405.0312

盡管該領域可用資料集并不是特别多,但仍然有一些适合不同的任務,如 CelebFaces Attributes Dataset(CelebA 資料集,該人臉屬性資料集包含超過 20 萬張名人圖像)、Indoor Scene Recognition 資料集(包含 15,620 張室内場景圖像)、Plant Image Analysis 資料集(包括屬于 11 個不同類别的 100 萬張植物圖像)。

訓練目标檢測模型

Viola–Jones 方法

有很多種方法可以解決目标檢測問題。很多年來,Paul Viola 和 Michael Jones 在論文《Robust Real-time Object Detection》中提出的方法成為流行的方法。

盡管該方法可用來檢測大量對象類别,但它最初是受人臉檢測目标的啟發。該方法快速、直接,是傻瓜相機中所使用的算法,它可以在幾乎不浪費處理能力的情況下執行實時人臉檢測。

該方法的核心特征是:基于哈爾特征與大量二分類器一起訓練。哈爾特征表示邊和線,計算簡單。

哈爾特征(圖源:

https://docs.opencv.org/3.4.3/haar_features.jpg

盡管比較基礎,但在人臉檢測這一特定案例下,這些特征可以捕捉到重要元素,如鼻子、嘴或眉間距。該監督方法需要很多正類和負類樣本。

檢測蒙娜麗莎的面部。

本文暫不讨論算法細節。不過,上圖展示了該算法檢測蒙娜麗莎面部的過程。

基于 CNN 的方法

深度學習變革了機器學習,尤其是計算機視覺。目前基于深度學習的方法已經成為很多計算機視覺任務的前沿技術。

其中,R-CNN 易于了解,其作者提出了一個包含三個階段的流程:

利用區域候選(region proposal)方法提取可能的對象。

使用 CNN 識别每個區域中的特征。

利用支援向量機(SVM)對每個區域進行分類。

R-CNN 架構(圖源:

https://arxiv.org/abs/1311.2524

該區域候選方法最初由論文《Selective Search for Object Recognition》提出,盡管 R-CNN 算法并不在意使用哪種區域候選方法。步驟 3 非常重要,因為它減少了候選對象的數量,降低了計算成本。

這裡提取的特征沒有哈爾特征那麼直覺。總之,CNN 可用于從每個區域候選中提取 4096 維的特征向量。鑒于 CNN 的本質,輸入應該具備同樣的次元。這也是 CNN 的弱點之一,很多方法解決了這個問題。回到 R-CNN 方法,訓練好的 CNN 架構要求輸入為 227 × 227 像素的固定區域。由于候選區域的大小各有不同,R-CNN 作者通過扭曲圖像的方式使其次元滿足要求。

滿足 CNN 輸入次元要求的扭曲圖像示例。

盡管該方法取得了很好的結果,但訓練過程中存在一些困難,并且該方法最終被其他方法超越。其中一些方法在這篇文章中有深入介紹:

商業用例

計算機視覺應用被越來越多的公司部署,用于回答業務問題或提升産品性能。它們或許已經成為人們日常生活的一部分,你甚至都沒有注意到它。以下是一些常見的使用案例。

視覺搜尋引擎

2001 年,Google Images 的出現意味着視覺搜尋技術可被大衆使用。視覺搜尋引擎能夠基于特定内容标準檢索圖像。常見用例是搜尋關鍵詞,不過有時候我們會提供源圖像,要求引擎找出相似圖像。在某些案例中,可以指定更詳細的搜尋條件,如沙灘的圖像、夏天拍攝、至少包含 10 個人。

現在有很多視覺搜尋引擎,有的可以網站形式直接使用,有的需要通過 API 調用,有的則是移動應用。

最著名的視覺搜尋網站無疑是 Google Images、Bing 和 Yahoo。前兩個網站均可使用多個關鍵詞或者單張圖像作為搜尋輸入,以圖像作為搜尋輸入又名「反向圖像搜尋」(以圖搜圖)。Yahoo 僅支援關鍵詞搜尋,搜尋結果同樣不錯,如下圖所示。

Yahoo 圖像搜尋。

還有一些視覺搜尋網站同樣值得關注,如僅支援反向圖像搜尋的 TinEye,以及僅支援文本搜尋但覆寫範圍極大的 Picsearch。

在移動應用方面,由于視覺搜尋技術逐漸成為标準特征,此類應用之間的差別較大。

此類實作包括 Google Goggles(後被 Google Lens 取代),它可從圖像中擷取詳細資訊。例如,從一張貓照片中得到其品種資訊,或者提供博物館中藝術作品的資訊。

在電商市場中,Pinterest 開發了 Pinterest Lens。如果你需要現有衣物的新穿搭想法,你可以為這件衣服拍張照,之後 Pinterest Lens 會傳回穿搭建議,該建議包括你可以購買的搭配單品。近年來,針對網購的視覺搜尋成為增長最快的趨勢之一。

最後,視覺搜尋的更高階案例是視覺問答系統,參見:

Facebook 人臉識别

盡管早在 2000 年代中期,出于自動對焦目的而使用人臉檢測技術的相機已經普遍,但近年來人臉識别領域出現了很多更優秀的成績。最常見(也最具争議)的應用或許就是識别圖像或視訊中的人物。這通常用于安防系統,但也出現在社交媒體中:人臉管理系統為人臉添加過濾器,以便按人臉執行搜尋,甚至在選舉過程中阻止選民多次投票。人臉識别還可用到更複雜的場景,如識别面部表情中的情緒。

其中同時引發了興趣和擔憂的用例是 Facebook 的人臉識别系統。開發團隊的一個主要目标是阻止陌生人使用出現使用者人臉的圖像(見下圖的示例),或者向視障使用者告知圖像或視訊中出現的人物。

Facebook 人臉識别。(圖源:

https://cdn0.tnwcdn.com/wp-content/blogs.dir/1/files/2017/12/Facebook-Tagging-796x428.jpg

除了那些令人擔憂的部分以外,這項技術在很多場景中是有益的,比如對抗網絡騷擾。

Amazon Go

厭倦了超市和雜貨店的排隊等待?Amazon Go 商店提供别樣的體驗。在計算機視覺的幫助下,這裡不用排隊,也沒有包裝箱。

其思路很簡單:顧客進入商店,選擇所需商品,離開商店,不用排隊結賬。

這是如何實作的呢?多虧了 Amazon 的「Just Walk Out」技術。顧客必須下載下傳一個移動 app,該 app 可以幫助 Amazon 識别他們的身份。當他們想進入 Amazon Go 商店時,該 app 提供一個二維碼。商店入口處有一些閘機供顧客出入商店,顧客進入商店時,閘機讀取顧客的二維碼。一個有趣的功能是,其他人可以陪伴該顧客一起進入商店,且陪伴者無需安裝該應用程式。

顧客可以在商店内自由移動,而這也是計算機視覺發揮作用之處。商店内安裝有一系列傳感器,包括攝像頭、運動傳感器和商品上的重量傳感器。這些裝置收集了每個人的行為資訊。它們實時檢測顧客從貨架上拿取的貨品。顧客可以取下某個貨品,改變主意的話再放回去。系統最終會向第一個拿起它的顧客收費,即使它被遞給另一位想要購買的顧客,第一位拿起它的顧客仍然需要支付費用。于是系統建立了一個包含所有拿起貨品的虛拟購物車,并進行實時維護。這使得顧客的購物流程非常順利。

當顧客完成購物,即可走出商店。當他們經過閘機時,系統不會讓顧客掃描貨品或二維碼,而是記錄交易額并向顧客發送确認通知。

Amazon Go 是計算機視覺對現實世界和人類日常生活産生積極影響的一個案例。

特斯拉 Autopilot

讓汽車自動行駛不隻是一個遙遠的夢。特斯拉 Autopilot 技術提供非常友善的自動駕駛功能。這并不是全自動駕駛系統,而是可在特定路段上駕駛汽車的駕駛助手。這是特斯拉強調的重點:在所有情況下,控制汽車都是駕駛員的責任。

自動駕駛通過目标檢測和追蹤技術實作。

要想使 Autopilot 工作,特斯拉汽車必須「高度武裝」:八個全景攝像頭提供 250 米範圍内的 360 度圖像、超音波傳感器用于檢測對象、雷達用來處理周圍環境資訊。這樣,特斯拉汽車才能夠根據交通條件調整行駛速度,在遇到障礙物時及時刹車,保持或變換車道,拐彎以及流暢地停車。

特斯拉 Autopilot 技術是計算機視覺對人類日常活動帶來積極影響的另一個精彩案例。

微軟 InnerEye

在醫療行業中,微軟的 InnerEye 是幫助放射科醫生、惡性良性腫瘤專家和外科醫生處理放射圖像的寶貴工具。其主要目的是從惡性惡性良性腫瘤的 3D 圖像中準确識别出惡性良性腫瘤。

癌性惡性良性腫瘤的 3D 圖像。

基于計算機視覺和機器學習技術,InnerEye 輸出非常詳細的惡性良性腫瘤 3D 模組化圖像。以上截圖展示了 InnerEye 建立的對腦部惡性良性腫瘤的完整 3D 分割。從上述視訊中,你可以看到專家控制 InnerEye 工具,指引它執行任務,InnerEye 像助手一樣運作。

在放射療法中,InnerEye 結果使得不傷害重要器官直接針對目标惡性良性腫瘤進行放射成為可能。

這些結果還幫助放射科醫生更好地了解圖像序列,基于惡性良性腫瘤大小的變化,判斷疾病是否有進一步發展、穩定,或者對治療反應良好。這樣,醫療圖像就成為一種重要的追蹤和衡量方式。

最後,InnerEye 可用于規劃精準手術。

計算機視覺在小公司的應用現狀

計算機視覺在大公司的實作常被大家談論,但這不意味着所有公司必須是谷歌或亞馬遜那種量級才能從該機器學習技術中受益。任何規模的公司都可以利用資料和計算機視覺技術變得更加高效,制定更好的決策。

我們來看一些小公司的現實案例:

Tryolabs 曾幫助一家位于舊金山的小型風險管理公司建構和實作了一個計算機視覺系統,用于擴充對屋頂檢查圖像的處理。

在使用計算機視覺技術之前,公司專家人工分析無人機拍攝的照片,檢測屋頂建設中的損傷。盡管分析結果很準确,但由于服務耗時且人力資源有限,該服務無法得到有效擴充。

為了解決這個問題,我們建構了一個能夠了解圖像并自動識别屋頂問題(如積水、電纜松散和鐵鏽)的深度學習系統。為此,我們開發了一個能夠基于屋頂圖像檢測問題的深度神經網絡、分析輸入圖像的流程,以及使檢測結果可用于外部工具的 API。

是以,這家公司的訂單量和收益都有所增長。

如何實作計算機視覺項目

和在組織内值得進行的所有創新一樣,你應該選擇一種有政策的方式來實作計算機視覺項目。

利用計算機視覺技術實作成功創新取決于整體業務政策、資源和資料。

以下問題可以幫助你為計算機視覺項目建構戰略路線圖。

1、計算機視覺解決方案應該降低成本還是增加收益?

成功的計算機視覺項目要麼降低成本要麼提高收益(或者二者兼顧),你應該定義該項目的目标。隻有這樣,它才能對組織及其發展産生重要影響。

2、如何衡量項目的成功?

每個計算機視覺項目都是不同的,你需要定義一個特定于該項目的成功名額。設定好名額後,你應該確定它被業務人員和資料科學家等認可。

3、能否保證資訊的擷取?

開啟計算機視覺項目時,資料科學家應該能夠輕松通路資料。他們需要和來自不同部門(如 IT 部門)的重要同僚合作。這些同僚應以其業務知識提供支援,内部官僚主義則會成為主要限制。

4、 組織收集的資料是否合适?

計算機視覺算法并非魔法。它們需要資料才能運作,輸入資料的品質決定其性能。有多種不同方法和來源可供收集合适資料,這取決于你的目标。無論如何,擁有的輸入資料越多,計算機視覺模型性能優秀的可能性越大。如果你對資料的量和質存在疑慮,你可以請資料科學家幫忙評估資料集品質,必要情況下,找到擷取第三方資料的最優方式。

  1. 組織是否以恰當格式收集資料?

    除了擁有合适量和類型的資料以外,你還需要確定資料的格式。假設你使用數千張完美的手機照片(分辨率高,背景為白色)訓練目标檢測算法。然後發現算法無法運作,因為實際用例是在不同光照/對比度/背景條件下檢測持有手機的人,而不是檢測手機本身。這樣你之前的資料收集努力基本上就廢棄了,你還需要重頭再來。此外,你應該了解,如果資料存在偏見,算法會學到該偏見。

關于如何開啟成功的計算機視覺項目,參見部落格:

https://tryolabs.com/blog/2019/02/13/11-questions-to-ask-before-starting-a-successful-machine-learning-project/

繼續閱讀