雲栖号資訊：【 點選檢視更多行業資訊】
在這裡您可以找到不同行業的第一手的上雲資訊，還在等什麼，快來！
圖 | MEMS
編者按：本文來自微信公衆号“MEMS”（ID：MEMSensor），作者麥姆斯咨詢，原文題目《索尼釋出全球首款具有AI處理功能的智能視覺傳感器》，36氪經授權釋出，略有删減。
據麥姆斯咨詢報道，近日，索尼（Sony）公司宣布即将釋出兩款智能視覺傳感器：IMX500和IMX501，這是全球首款配備人工智能（AI）處理功能的CMOS圖像傳感器。該CMOS圖像傳感器自身內建AI處理功能，可以實作高速邊緣AI處理和提取必要的應用資料。當使用雲服務時，利用該傳感器建構的視覺系統可減少資料傳輸延遲，解決隐私問題并降低功耗和通信成本。
索尼智能視覺傳感器為廣大應用開發者提供了研發配備AI功能的攝像頭的機會，通過高速資料處理可實時跟蹤目标對象，應用領域包括智慧零售、智能安防、智能交通及智慧工業等，并且有助于建構連結雲服務的最佳視覺系統。
智能視覺傳感器（左：IMX500；右：IMX501）
物聯網的普及導緻各種各樣的裝置都将連接配接到“雲”，并且從這些裝置擷取的資訊可通過雲AI處理，這使得雲資訊處理系統的使用變得司空見慣。但是，在雲中處理的資訊量不斷增加，帶來了各種問題：資料傳輸延遲增加，阻礙了實時資訊處理；将個人身份資料存儲在雲中，造成使用者安全問題；雲服務帶來的其它問題，如電力消耗和通信成本的增加……
索尼智能視覺傳感器由像素陣列晶片（感光功能）和邏輯電路晶片（包括計算和存儲功能）進行3D堆疊而成，是全球第一款在邏輯電路晶片上內建AI圖像分析和處理功能的CMOS圖像傳感器。其中，像素陣列晶片擷取的信号利用傳感器中的AI處理，無需高性能處理器或外部存儲器，進而使邊緣AI系統得以發展。該傳感器輸出中繼資料（屬于圖像資料的語義資訊）而不是圖像資訊，進而減少資料量并解決隐私問題。此外，邊緣AI可以為通用應用提供多種功能，例如具有高速AI處理的實時對象跟蹤，也可以根據使用者需求或系統使用位置等條件，通過重寫内部存儲器來選擇不同的AI模型。
像素陣列晶片采用背照式（BSI）工藝，有效像素約為1230萬，可在寬視角下捕捉圖像資訊。除了傳統的CMOS圖像傳感器運算電路外，該邏輯電路晶片還內建了索尼專用于AI信号處理的數字信号處理器（DSP），以及用于AI模型的存儲器。這種配置消除了對高性能處理器或外部存儲器的需求，使其成為邊緣AI系統的理想選擇。
像素陣列晶片擷取的信号先通過ISP（圖像信号處理器）處理，然後在邏輯電路晶片上進行AI處理，提取的資訊作為中繼資料輸出，進而減少處理的資料量。另外，確定不輸出圖像資訊有助于降低安全風險并解決隐私問題。除了傳統CMOS圖像傳感器記錄的圖像資訊外，使用者還可以根據自己的需求和用途選擇資料輸出格式，包括ISP格式輸出圖像（YUV/RGB）和ROI（感興趣區域）特定區域提取圖像。
當使用傳統CMOS圖像傳感器拍攝視訊時，必須為每個單獨的輸出圖像幀發送資料以進行AI處理，進而導緻資料傳輸量增加，并且難以提供實時處理。索尼智能視覺傳感器在邏輯電路晶片上執行ISP處理和高速AI處理（MobileNet V1的處理時間為3.1毫秒），進而在單個視訊幀中完成整個過程。這種設計使得“在錄制視訊的同時提供高精度、實時的目标跟蹤功能”成為可能。
使用者能夠将自己選擇的AI模型寫入嵌入式存儲器中，并可根據使用者要求或系統使用位置等條件對其進行重寫和更新。例如，當在零售商場安裝內建智能視覺傳感器的多個攝像頭時，應用可以橫跨不同的時間、地點（環境）或目的。當安裝在商場入口時，它可以用來統計訪客數量；當安裝在商店貨架上時，它可以用來檢測庫存短缺情況；當安裝在商場天花闆上時，它可以用于繪制商店訪客熱圖（檢測客戶聚集的位置）等。同時，使用者可以随時改寫這些攝像頭中的AI模型，比如從“用于檢測熱圖的模型”改成“用于識别消費者行為的模型”。
索尼智能視覺傳感器關鍵名額：
【雲栖号線上課堂】每天都有産品技術專家分享！
課程位址：
https://yqh.aliyun.com/zhibo立即加入社群，與專家面對面，及時了解課程最新動态！
【雲栖号線上課堂 社群】
https://c.tb.cn/F3.Z8gvnK
原文釋出時間：2020-06-02
本文作者： 戀迦
本文來自：“
36kr”，了解相關資訊可以關注“
”