【ELT.ZIP】OpenHarmony啃論文俱樂部——計算機視覺資料壓縮應用

• 本文出自

  ELT.ZIP

  團隊，ELT<=>Elite(精英)，.ZIP為壓縮格式，ELT.ZIP即壓縮精英。
• 成員：
  • 上海工程技術大學大二在校生
  • 合肥師範學院大二在校生
  • 清華大學大二在校生
  • 成都資訊工程大學大一在校生
  • 黑龍江大學大一在校生
  • 山東大學大三在校生
  • 華南理工大學大一在校生
• 我們是來自

  7個地方

  的同學，我們在

  OpenHarmony成長計劃啃論文俱樂部

  裡，與

  華為、軟通動力、潤和軟體、拓維資訊、深開鴻

  等公司一起，學習和研究

  作業系統技術

  ...

【往期回顧】

 ① 2月23日 《老子到此一遊系列》之 老子為什麼是老子 —— ++綜述視角解讀壓縮編碼++

 ② 3月11日 《老子到此一遊系列》之 老子帶你看懂這些風景 —— ++多元探秘通用無損壓縮++

 ③ 3月25日 《老子到此一遊系列》之 老子見證的滄海桑田 —— ++輕翻那些永垂不朽的詩篇++

 ④ 4月4日 《老子到此一遊系列》之 老子遊玩了一條河 —— ++細數生活中的壓縮點滴++

 ⑤ 4月18日 ++【ELT.ZIP】OpenHarmony啃論文俱樂部——一文穿透多媒體過往前沿++

 ⑥ 4月18日 ++【ELT.ZIP】OpenHarmony啃論文俱樂部——這些小風景你不應該錯過++

 ⑦ 4月18日 ++【ELT.ZIP】OpenHarmony啃論文俱樂部——淺析稀疏表示醫學圖像++

【本期看點】

• 高速緩存與壓縮算法會碰撞出什麼火花呢？

• 圖像、醫療、機器人、通信都在這裡了

• 你可能少有聽說的TinyOS作業系統

• 揭秘 3D 網格壓縮的三類方式

• 殿堂級 WARP 寄存器壓縮技術

【技術DNA】

【智慧場景】

引言

随着計算機需求的日益增長，緻使計算機在各個領域都有應用，

計算機視覺就是其中之一

。目前傳感器的功能已經非常強大，能夠通過

使用各種傳感器來模拟人眼

，以擷取周邊環境的資訊，比如物體的形狀、大小等。這些特征能夠讓我們運用幾何學、實體學、統計學等知識構造各種模型。

為了達到我們的目的，我們通常使用

相機、電纜、電腦以及各種接入裝置

來捕獲我們需要的資訊。當我們與他人分享這些資訊時，我們可以考慮

存儲空間、速率等多種因素

來确定合适的壓縮算法來進行資訊的傳播。

不同種計算機視覺應用程式與壓縮算法

一、圖像修整應用程式

1. 圖檔編輯

   我們需要存儲或傳輸真實的圖像以及壓縮後的圖像來

   再現真實的圖像

   ，這最終

   會增加帶寬和存儲空間

   。是以，我們利用 JPEG 變形算法将圖像轉換為壓縮圖像，并保護了重要的特性。

2. 圖像挖掘

   圖像資料挖掘是用來

   挖掘大規模圖像資料中隐含的知識、圖像内或圖像間的各種關系以及其他隐藏在圖像資料中的各種模式

   的一種技術，應用于

   MRI、鑽石眼、腦惡性良性腫瘤分析

   等。一般先要進行 Run length 編碼，然後是 Huffman 編碼算法，以相對較低的成本存儲大量的資料，并從給定的圖像中提取越來越多的資訊。

   

3. 圖像測序

   随着醫學圖像和基因測序技術的提高，越來越多的醫學圖像和測序資料被檢測和存儲。這些海量資料的背後

   隐藏了多種疾病的發病機制和有效治療相關資訊

   。我們需要無損壓縮，因為我們不能冒序列和描述丢失的風險，是以，為了壓縮這些資料，使用并行計算算法來壓縮給定的資料，首先資料根據不同的模式進行分區，然後這些模式使用算術代碼進行壓縮。

4. Z-Stack 圖像

   Z-Stack其實就是在Z軸方向上連續拍很多張圖，然後可以做一個疊加，拍攝的間隔距離或是切片（形象的說法）是可以自己設定的，然後拍出來的從上往下看可以想象成一個長方體，然後把這個長方體像拆開盒子一樣将各個面鋪開，展現出來的就是下面的圖檔。

   

5. 圖像資訊隐寫

   隐寫術是一種

   将保密資訊隐藏在公開資訊中

   的技術，利用圖像檔案的特性，我們可以把一些想要刻意隐藏的資訊或者證明身份、版權的資訊隐藏在圖像檔案中。比如早期流行的将一些下載下傳連結、種子檔案隐藏在圖檔檔案中進行傳播，再比如某網際網路公司内部論壇“月餅事件”中通過員工截圖精準定位個人資訊的技術，都可以歸為圖像隐寫技術（Image Steganography）。

   

   我們可以利用 GIF，因為它可以在任何硬體或軟體上運作。使用 LZW- 無損技術對資料進行壓縮，然後将這些資料嵌入到邊緣裝置中。

6. 圖像融合

   圖像融合是指将多源信道所采集到的關于同一目标的圖像資料經過圖像處理和計算機技術等，最大限度的提取各自信道中的有利資訊，最後綜合成高品質的圖像，以

   提高圖像資訊的使用率、改善計算機解譯精度和可靠性、提升原始圖像的空間分辨率和光譜分辨率，利于監測

   。

   

二、從3D到2D轉換的應用程式

1. 3D映射

   它利用幾何最小化之後的算術編碼來壓縮占用非常大的 OBJ 格式的資料，需要存儲和傳輸。采用無損壓縮的方式對其進行壓縮是最合适的。

2. 地形模組化

   地形模組化的資料結構和結構的描述需要存儲，需要使用 Shannon 算法對圖進行無損壓縮，描述使用 SZIP 壓縮。它也有兩個步驟：

• 第一步對結構進行二進制編碼
• 第二步用算術編碼器對第一步得到的編碼進行壓縮。我們不能承受資訊的丢失，是以我們使用無損算法

1. 人體姿勢跟蹤

   由于每天建立和觀看的視訊數量巨大且分辨率不斷提高，視訊壓縮仍然是一個正在進行的研究課題。最流行的視訊壓縮算法，如 MPEG 和 H.26x 家族，通過

   計算像素塊的運動來估計這些塊在附近幀中的外觀

   ，文中提出了一種帶有拓展剩餘編碼的基線視訊壓縮算法，該算法為 3D 姿态跟蹤 + 基于 pde 的圖像壓縮 + 半色調的三種方法的結合，能夠

   在背景所帶來的噪聲不大的情況下超過 MPEG-1與 MPEG-4

   ，在背景噪聲影響較大的情況下，優于 MPEG-1。

   

2. 汽車應用中基于夜視行人檢測

   汽車應用中的行人檢測主要使用 JPEG2000 和 H.264/AVC 進行壓縮。我們需要在一個高流量通道上傳輸資料，一般通過使用 8位像素深度/顔色通道的編碼器來進行有損壓縮。

3. 面部表情檢測

   “表情”是我們日常生活中提到很多的一個詞語，在人際溝通中，人們通過控制自己的面部表情，可以加強溝通效果。人類的面部表情至少有21種，除了常見的高興、吃驚、悲傷、憤怒、厭惡和恐懼6種，還有驚喜（高興＋吃驚）、悲憤（悲傷＋憤怒）等15種可被區分的複合表情。

   

   面部表情檢測使用幾何最小化和 JPEG 2000。一個面部表情中有大量的特征，是以我們需要适當的存儲細節，對資料有很高的要求。

4. 運動目标檢測

   運動目标檢測是指

   将圖像序列或視訊中發生空間位置變化的物體作為前景提出并标示

   的過程，它一直是一個十分熱門的研究領域，廣泛應用于

   智能監控、多媒體應用

   等領域。運動目标檢測主要有以下幾種方法：

• 光流法
• 幀間差分法
• 背景差分法

  

  光流法計算複雜，不适用于實時監控系統；幀間差分法計算簡單，但是檢測結果不完整；背景差分效果較好，然而建立一個良好的背景模型需要花費很大計算量和存儲量的開銷。

1. 可擴充傳感系統

   可擴充傳感系統(ESS)是位于聖哈辛托山脈的一個正在開發中的系統。該項目主要是為科學家提供空間密集的環境、生理和生态資訊，通過 LTC 壓縮算法，具有了更好的性能。LTC 壓縮算法的優點如下：

2. 算法簡單，存儲空間小
3. 通過使用 LTC，可以将資料壓縮到 -20 到 -1。在這種壓縮方案的幫助下，可以高速率進行采樣。
4. LTC 算法主要針對 8 位處理器的雲母，沒有處理浮點值的硬體。這将 LTC 的應用限制為僅壓縮整數資料。像 LTC 這樣的有損壓縮方案通過識别和删除不必要的資訊來減少比特數。在傳輸之前對資料進行壓縮，可以顯著減少資源使用，增加網絡裝置壽命。

三、醫療應用程式

1. 醫學影像

   醫學影像對疾病的識别和手術計劃有非常重要的影響。然而，每個病人的成像裝置仍然會産生大量的資訊，通常為 1000 張或 500 MB。這些資訊需要大的存儲空間和經濟的傳輸；盡管傳輸存儲空間和通信技術有了更大的改進，醫學圖像壓縮仍然發揮着要求很高的作用。

   

   主成分分析(PCA)通常是一種有損壓縮方案，通過将複雜的資料集轉換為更小的維數來實作圖像壓縮。下圖為 canny 邊緣分割技術得到的 ROI，在非感興趣區域要求最高的壓縮，而感興趣區域要求圖像品質高。

2. 超音波

   超音波是一種波長極短的機械波，在空氣中波長一般短于 2 厘米。它必須依靠媒體進行傳播，無法存在于真空（如太空）中。它在水中傳播距離比空氣中遠，但因其波長短，

   在空氣中則極易損耗，容易散射

   ，不如可聽聲和次聲波傳得遠，不過波長短更易于獲得各向異性的聲能，可用于

   清洗、碎石、殺菌消毒

   等，在醫學、工業上有很多的應用。

   

   超音波圖像存儲和傳輸通過一個通道，需要使用 JPEG 壓縮算法。将圖像分割成數小塊，利用 2D-DCT 變換對每個塊進行編碼，生成量化矩陣，然後采用熵編碼進行編碼，得到壓縮後的圖像。我們也可以使用 MPEG-1、MPEG-2 和 H.26x.

3. 微創脊椎手術

   微創脊柱外科技術意味着在一定醫療風險下避免大切口，采用微小切口或穿刺通道，運用特殊的器械和裝置，在影像儀器監視下或導航技術引導下，從正常的解剖結構到達病變處，使用各種微型的手動或電動器械和器材，在可視條件下完成整個手術過程。

   

   壓縮時一般基于運動學和指數。資料處理采用最小二乘法，利用遺傳算法選擇一種生物方式來壓縮資料，它不會壓縮大容量的資料。

4. 眼動跟蹤

   眼動追蹤技術已成為

   心理學、神經營銷學、神經認知、使用者體驗、基礎研究及市場研究

   等多個領域視覺行為和人類行為的技術手段之一。該技術還可以用于醫學分析和篩查。從眼動的曆史發展程序來看，早期的眼動追蹤系統是侵入性的且不能移動，受限非常嚴重，僅在有限的實驗中使用，并且在現在社會受到倫理方面的考驗。随着眼動追蹤系統的發展，現代的眼動追蹤系統利用紅外光進行捕捉眼球運動，該系統是非侵入的且更加友善易用。

   

   眼動跟蹤使用 JPEG 2000 進行壓縮，因為它提供了眼睛運動的 2D 刻度上的各種深度資訊，并存儲資訊，我們可以利用有損壓縮的方式進行眼動跟蹤。

5. 自動化視覺檢測

   視覺檢測就是用機器代替人眼來做測量和判斷，是一般将被攝取目标轉換成圖像信号，傳送給專用的圖像處理系統，根據像素分布和亮度、顔色等資訊，轉變成數字化信号；圖像系統對這些信号進行各種運算來抽取目标的特征，進而根據判别的結果來控制現場的裝置動作。

   我們可以通過跟蹤視訊的有用部分，并根據其優先級編碼，在壓縮後最小化視訊的大小，這是一個小的角度空間之間的 2-5° 圍繞眼睛所望方向的中心，我們使用帶有漏鬥的 MPEG-4。

6. 遠端視訊腦電圖

   遠端視訊腦電圖就是遠端、腦電圖以及視訊的結合。在腦電圖裝置基礎上增加了視訊裝置（白天高清攝像頭拍攝，晚間紅外線照明），進而遠端傳輸同步拍攝病人的臨床表現。

   

   它利用了波壓縮。資料需要存儲和傳輸，一般使用無損壓縮技術，增加了 Cr ，可達 x50。

   全國首例跨區域5G遠端操控視訊腦電圖診斷在蚌埠成功實施

7. 電有氧運動圖

   該技術所用的資料占用了大量資料存儲空間，導緻網絡傳輸困難。采用離散小波變換和遊程編碼，通過小波變換來降低噪聲，通過删除所有無用的系數來減少資料大小。

四、機器人應用程式

1. 外部建築清洗系統

   外部建築清洗系統通常需要小波變換和 VQ 來進行有損壓縮。它使用字典和三級 DWT 對系統誤差進行檢測，資料空間小，需要通過信号傳輸清洗位置以及維護 PSNR。

2. 自動化森林采伐

   用于耕地，這裡考慮浮動孔徑算法，它用于發現一個通道是否需要在采樣時間存儲。

3. 機器人視覺

   機器人視覺，是指

   不僅要把視覺資訊作為輸入，而且還要對這些資訊進行處理

   ，進而提取出有用的資訊提供給機器人。今天的機器人已經能夠完成識别人的手勢和面部表情等多種功能了。

   

   奇異值分解 (Singular Value Decomposition，簡稱SVD)是在機器學習領域廣泛應用的算法。SVD算法主要用在降維算法中的

   特征分解、推薦系統、自然語言處理計算機視覺

   等領域。它不光可以用于降維算法中的特征分解，通過 SVD，我們将圖檔矩陣分成正交矩陣、對角矩陣以及正交矩陣這三個矩陣的乘積。為了增加通道的使用，我們取多張圖像，将重疊的圖像拼接在一起，找出任何物體的運動。

4. 機器人引導

   随着工業生産中對自動化的要求越來越高，視覺技術已被廣泛引入工業機器人行業，具備視覺的工業機器人能

   更快、更準、更靈活地完成定位抓取、對位組裝

   等。基于圖像分析的視覺技術在機器人引導相關應用中的主要作用是精确擷取對象物（待抓取物體）和目标物（待組裝物體）的坐标位置和角度，并将圖像坐标轉換為機器人能識别的機器人坐标，指導機器人進行糾偏群組裝。是以，對圖檔進行壓縮并能使機器人精确完成相關任務是非常重要的。

   

   機器人引導壓縮通常是在資料量大、傳輸困難的情況下進行的。一般使用小波變換和基于 VQ 的模糊 c 均值聚類。

五、基于通信的應用程式

1. Facebook

   Facebook 是有名的社交媒體網站，每個月的活躍使用者數量超過20億，是以有着高負荷的資料輸入和輸出。維護這麼多的資料是一件很難的事，Facebook使用 Zstandard 壓縮資料，以使信道不會受到流量堵塞。

   Zstd 是一種快速無損壓縮算法，針對 zlib 級别的實時壓縮場景和更好的壓縮比，它

   由 Huff0 和 FSE 庫提供的非常快的熵階段提供支援

   。當需要時，它可以将壓縮速度交換為更高的壓縮比率（壓縮速度與壓縮比率的權衡可以通過小增量來配置），反之亦然。在運作 Ubuntu 20.04（Linux 5.11.0-41-generic）的桌面上測試和比較幾種快速壓縮算法，使用 lzench 在 Silesia 壓縮語料庫上編譯，可以得到如下對比：

壓縮方式	壓縮比	壓縮速度	解壓縮速度
zstd 1.5.1 -1	2.887	530 MB/s	1700 MB/s
Zlib 1.2.11 -1	2.743	95 MB/s	400 MB/s
brotli 1.0.9 -0	2.702	395 MB/s	450 MB/s
zstd 1.5.1 --fast=1	2.437	600 MB/s	2150 MB/s
zstd 1.5.1 --fast=3	2.239	670 MB/s	2250 MB/s
quicklz 1.5.0 -1	2.238	540 MB/s	760 MB/s
zstd 1.5.1 --fast=4	2.148	710 MB/s	2300 MB/s
lzo1x 2.10 -1	2.106	660 MB/s	845 MB/s
lz4 1.9.3	2.101	740 MB/s	4500 MB/s
lzf 3.6 -1	2.077	410 MB/s	830 MB/s
snappy 1.1.9	2.073	550 MB/s	1750 MB/s、

1. 數字電視、視訊電話

   視訊編解碼技術有兩套标準，國際電聯（ITU-T）的标準

   H.261、H.263、H.263+

   等；還有 ISO/IEC 的 MPEG 标準

   MPEG1、MPEG2、MPEG4

   等等。H.264/AVC 是 ISO/IEC 和 ITU-T 的團體聯合開發，旨在提高壓縮性能。H.264/MPEG-4 AVC（H.264）是 1995 年自 MPEG-2 視訊壓縮标準釋出以後的

   最新、最有前途的視訊壓縮标準

   。通過該标準，在同等圖像品質下的壓縮效率比以前的标準提高了 2 倍以上。

   H.264 的編解碼流程主要包括 5 個部分：幀間和幀内預測（Estimation）、變換（Transform）和反變換、量化（Quantization）和反量化、環路濾波（Loop Filter）、熵編碼（Entropy Coding），有如下優點：

2. 低碼率
3. 高品質的圖像
4. 容錯能力強
5. 網絡适應性強

6. HDTV廣播

   HDTV 即高清晰度電視（High Definition Television），與目前采用模拟信号傳輸的傳統電視系統不同，HDTV 采用了數字信号傳輸。由于 HDTV 從電視節目的采集、制作到電視節目的傳輸，以及到使用者終端的接收全部實作數字化，是以 HDTV 給我們帶來了極高的清晰度，分辨率最高可 1920×1080，幀率高達 60fps。在 HDTV 中，我們使用 MPEG-4/AVC 也即 H.264，因為 MPEG-2 壓縮算法無法為我們提供良好的比特率來制作單頻道，這提供了 MPEG-2 所需壓縮率的大約 50%。

7. 高清視訊CD光牒

   因為高清視訊CD光牒儲存的資訊應該使用無損壓縮進行編碼，是以采用内容自适應的遊程編碼(content-adaptive run length code)。四個具有内容自适應長度的遊程壓縮規則用于壓縮每個位平面的二進制位流。 采用可逆無損變換作為可選編碼過程，對内容進行預處理，以拟合大于 0 的内容特征。

   下圖表示的是一種基于子圖的壓縮編碼的結構：

   

   每個子圖包括一個圖頭和若幹子圖對象。每個子圖對象都有一個對象頭來描述其在 x 和 y 方向的顯示位置。子圖對象可以包括一個或多個位平面。位平面編号、圖像大小和對象大小記錄在圖頭中。原始位平面資料包括多個二進制位 0 和 1，二進制位由四個遊程編碼規則壓縮。

   

   對子圖中的每個位平面 N~1~, N~2~，都用下圖所示的過程進行編碼：

   

8. 顔色比對

   顔色比對應用使用的壓縮技術是 JPEG，它維護一個字典，該字典具有與某些索引值比對的真實顔色值，這在顔色比對應用程式中非常有用。

六、定位應用程式

1. GPS裝置

   移動對象的時空軌迹（Spatio-Temporal Trajectory）來源于對一定時間間隔的位置采用，依據采樣點資訊重建時空軌迹。

   

   GPS傳輸的資訊資料量大且包含特定的模式，《Data Compression System for LiDAR Based on Quad-tree Structure》中提出了一種用于壓縮雷射雷達資料的方法，由于 GPS 資料與雷射雷達資料的相似性，是以也可用論文中提到的方式對 GPS 資料進行壓縮。我們首先壓縮關鍵資料項并制作四叉樹，然後将葉子節點放入線性清單中，并擷取每個節點并找到與節點邊緣對應的鄰居并找到高度差，如果我們獲得的高度差小于預定值，則我們将位置坐标和高度值平均，最後得到一個壓縮節點。

2. 海軍活動的DTED管理

   DTED（Digital Terrain Elevation Data，數字地形高程資料）是數字資料集的标準，它由地形高程值矩陣（即數字高程模型）組成。

   

   DTED 可以使用 ADCT 和平均殘差矢量量化算法進行壓縮，因為我們有灰階圖像，需要對其進行壓縮以獲得更好的效率并降低存儲和傳輸成本。在這種情況下，像素是通過使用經度和緯度來找到的，海拔代表像素的值。

3. 本地化地圖

   要存儲真實世界的地圖，我們需要很大的空間。 是以我們在這種情況下使用彙總圖。彙總地圖僅包含主要地标，進而增強了傳輸。查詢被分成多個片段，每個片段都描述了實際發現，然後使用基于 ILP 的壓縮。

4. WAMS（廣域監控系統）

   廣域監控系統（Wide Area Measurement System，WAMS）是指基于同步相量技術構成的新一代電網動态監測和控制系統。

   

   WAMS資料采用 PMU（phasor measurement unit，相量測量單元） 的形式，我們需要使用無損壓縮，此外還需要松弛交錯。使用 PCA 查找空間重複性和 DCT 查找時間重複性并使用 LZMA 進行壓縮。

七、視訊應用程式

1. 視訊監控

   視訊監控占用大量空間存儲，記錄監控攝像頭捕獲的所有内容會消耗系統使用的儲存設備。視訊監控錄制的視訊時間長，從中提取有用的資訊是一個耗時的過程，這些缺點限制了傳統視訊監控系統的有效性。

   為了用更小的空間存儲監控視訊，有多種方法，比如消除環境備援的僅模型編碼（Exploiting global redundancy in big surveillance video data for efficient coding），基于對象的監控視訊壓縮技術（Object-based Surveillance Video Compression using Foreground Motion Compensation），基于事件的監控的開放架構（IBM smart surveillance system (S3): event based video surveillancesystem with an open and extensible framework）等等。利用監控視訊可能持續很長時間而其監控的場景沒有變化的事實，Islam Taj-Eddin 等人開發了一種基于幀之間相似性測量的有效壓縮方法，可以有效減小視訊大小（A New Compression Technique for Surveillance Videos: Evaluation Using New Dataset）。

   由于監控視訊通常包含大量連續幀，這些幀引用相同的場景而沒有變化。是以我們可以丢棄相似的幀，隻保留包含相當大變化的幀。具體的算法包含兩個階段：

2. 通過删除相似的順序幀來生成給定視訊的摘要視訊。
3. 通過将每一幀表示為一組子幀的小視窗來對超細化視訊進行編碼。 對于每個子幀，重新應用相似性測量來删除每個相似的子幀。

   

   實驗結果表明：這種基于幀之間相似性測量的壓縮技術在監控視訊上的實作的壓縮比 JPEG 有損、JPEG 無損和 MPEG-4 等其他标準壓縮技術都要好。

4. 動畫圖檔

   随着多媒體技術的進步，動态3D模型的使用逐漸增加，以在許多圖形應用程式（如

   視訊遊戲、電影、科學可視化和計算機動畫

   ）中提供逼真的視覺體驗。對于圖形渲染，3D 模型主要以

   三角形網格形式

   表示，該網格形式由頂點和描繪頂點之間連接配接的面組成。這種網格表示需要很大的存儲空間來存儲詳細的 3D 模型，并且還需要占用很大的網絡帶寬來傳輸。是以，對 3D 模型的高效和緊湊表示的需求越來越大。使用各種類型的終端使用者裝置不同的異構網絡上傳輸動畫 3D 模型變得越來越重要。這帶來了以

   适應網絡傳輸速率和接收裝置的可擴充方式壓縮資料

   的額外要求。

   

   動畫幾何壓縮涉及壓縮表示動畫幀的動态三維三角形網格的幾何資料。幾何體壓縮的可伸縮性問題解決了在單個尺度中壓縮幾何體，并在多個尺度中解壓幾何體的問題。假設一個動畫有 F 幀，每一幀有 V 個頂點，每個頂點是三維空間中的一個點，是以需要存儲 x, y, z 三個坐标值。是以，動畫序列可以用 3V × F 的矩陣表示：

   

   Sanjib Das 等人在《Temporally Scalable Compression of Animation Geometry》中提出了一個編碼器和一個解碼器結構，以實作時間可伸縮的實作中的一種算法的動畫幾何壓縮。該算法使用在預測誤差上遵循TWT（temporal wavelet transform，時間小波變換）的蒙皮模型進行頂點的運動預測。然後使用熵編碼對頂點的仿射變換資料、每個頂點簇對應的權重和預測誤差的小波系數進行量化和編碼。

八、其他應用程式

1. 讀取二維碼

   QR 碼是 Quick Response codes 的的縮寫，意思是

   快速響應碼

   ，最初是零售和生産中常用的标準 UPC 條形碼的擴充。與一維條形碼不同，QR 碼是一種二維矩陣碼，通過将黑白元素以矩陣形式排列在列和行中來傳遞資訊，為給定資料生成二維條形碼，進而

   隐藏了資料的可讀性

   。

   Mona M. Umaria 和 Gordhan Jethava 在《Enhancing the data storage Capacity in QR code using Compression Algorithm and achieving security and Further data storage capacity provement using Multiplexing》中提出壓縮二維碼表示的資料以增大二維碼存儲的資訊，并且采用二維碼複用的方式進一步提升資料存儲容量。

   先用 ASCII 将字元轉換為0、1，然後用 ZIP 壓縮比特資料，最後生成壓縮資料對應的二維碼，這樣就可以使同樣複雜的二維碼存儲更多的資訊。除此之外，把 5 個二維碼結合為一個二維碼，在掃碼的時候先将一個二維碼轉換為 5 個二維碼，在分别讀取二維碼中的資訊，

   不僅可以存儲更多的資料，而且增強了保密性

   ：

2. 生物識别

   生物識别技術，是指用數理統計方法對生物進行分析，現在多指對生物體（一般特指人）本身的生物特征來區分生物體個體的計算機技術，包含電子護照使用的指紋和面部識别等。可以使用 JPEG 2000 和 SPIHT，其中 JPEG 2000 用于人臉識别；SPIHT 是一種基于 0-tree 的編解碼器，它根據子帶提取系數。

Ⅰ. 輕量級時間壓縮（LTC）

問題提出

• 無線傳感器網絡（WSNs）對于

  環境科學、水資源、生态系統、結構健康和醫療保健應用

  等領域的持續監測極為重要。在這種應用中，監測傳感器網絡中的大量觀測資料需要傳輸到資料彙進行分析。
• 建設大規模的無線傳感器網絡與實用性的發展機制，使傳感器裝置僅僅依靠有限的能量來運作更長的時間，以便傳輸更多的資訊。資料通信是消耗網絡能量儲備的主要因素，如何減少傳感器節點傳輸的資訊量是一個非常重要的問題。

入題

• 當傳感器采樣時，由于噪聲，它會産生一系列的讀數。傳感器制造商指定傳感器的操作範圍以及精度，輕量級時間壓縮（LTC）設計用于在傳感器精度以餘量表示且誤差機率分布均勻或未知的情況下壓縮資料。
• 在 LTC 中，利用時間線性用于壓縮資料。下圖描述了 LTC 算法，x 軸表示時間，y 軸表示值。

  

優缺點

優點：

1. 可以高速率進行采樣。即使我們發送少量的資料，高資料率的采樣對檢測任何環境變化都是有用的。
2. LTC 的大部分增益發生在傳感器制造商規定的工作誤差範圍内。對于 LTC，原始資料點與其對應的壓縮後重構資料點之間的最大誤差範圍可以任意設定。這是一個調節旋鈕，調節壓縮資料大小和精度之間的權衡。

缺點：

• 當原始誤差分布不均勻時，它可能會對原始誤差分布進行卷積。環境資料如溫度和濕度具有良好的性質，它們通常在時間次元上是連續的，在足夠小的時間窗下近似線性。環境現象本身就非常複雜，很難模組化。

場景一：TinyOS 的應用

• TinyOS是 UC Berkeley 開發的開放源代碼作業系統，

  專為嵌入式無線傳感網絡設計

  ，作業系統基于構件的架構使得快速的更新成為可能，而這又減小了受傳感網絡存儲器限制的代碼長度。
• TinyOS是一個具備較高專業性，專門為低功耗無線裝置設計的作業系統，主要應用于

  傳感器網絡、普适計算、個人區域網路、智能家居和智能測量

  等領域。

  

場景二：可擴充傳感系統

• 可擴充傳感系統（ESS）是位于聖哈辛托山脈的一個正在開發中的系統，該項目主要是為科學家提供空間密集的

  環境、生理和生态資訊

  。ESS 主要關注植物和動物栖息地的微氣候等實體特征監測，包括地下根系觀測和感覺、根系附近土壤水分運動、地衣水化狀況等，在 ESS 中，塵粒與氣象感應闆相連。

  

• ESS體系結構由三個部分組成:

  采樣器、路由 網絡内處理架構和查詢處理器

  。采樣器協調來自查詢引擎的采樣請求，并指派适當的傳感器驅動程式收集資料。ESS 使用擴散公司的單相拉協定在微伺服器之間進行傳輸，查詢處理提供了大多數生态學家感興趣的資料。目前，查詢處理器支援五種查詢類型。随着新的查詢類型的開發，查詢處理器将得到擴充以支援它們，為了增加節點的生存期，查詢處理器中添加了輕量級的時間壓縮。

總結

1. 提出了一種可調輕量級時間壓縮方案（LTC）
2. 與其他壓縮技術相比，該算法簡單，存儲空間小
3. 通過使用 LTC，可以将資料壓縮到 -20 到 -1，在這種壓縮方案的幫助下，有可能以高速率進行采樣
4. LTC 算法主要針對 8 位處理器的雲母，沒有處理浮點值的硬體。這将 LTC 的應用限制為僅壓縮整數資料。像 LTC 這樣的有損壓縮方案通過識别和删除不必要的資訊來減少比特數。在傳輸之前對資料進行壓縮，可以顯著減少資源使用，增加網絡壽命
5. 長期目标是檢查 LTC 的過濾能力噪音。對塵粒進行特征提取是很有用的

Ⅱ. 能夠擊敗 MPEG-4 的圖像壓縮編碼

背景

• 由于每天建立和觀看的視訊數量巨大且分辨率不斷提高，視訊壓縮仍然是一個正在進行的研究課題。最流行的視訊壓縮算法，如 MPEG 和 H.26x 家族，通過

  計算像素塊的運動來估計這些塊在附近幀中的外觀

  。

入題

• 文中提出的基于模型的視訊壓縮編解碼器與這些現有的方法有很大的不同，它結合了來自明顯不相關領域的三種最先進的算法，即 3-D 姿态跟蹤、基于 pde 的圖像壓縮和半色調。它們的組合使得擊敗 MPEG-1 甚至 MPEG-4，與許多其他基于模型的編碼算法相比，該壓縮方法不是專門針對人臉或其他特定對象的，是以适用于不同類型的視訊。

實驗

• 下圖為使用MB、MPEG-1、MPEG-4 編碼對 HumanEva-Ⅱ序列的壓縮情況圖示：

  

• 可以看到，我們的方法在物體和背景區域有明顯的邊界，簡單的模型着色算法還遠遠不夠完美。在算法 MB+DH 加上 400 個額外的點，試圖減少這個問題，更好的結果如圖所示：

  

• 我們可以看到 MB 編解碼器建立了清晰的邊界，而 MPEG-1 以及 MPEG- 4 産生了塊狀的結果。由于 MB 中簡單的模型着色方法的性能相當差，通過附加存儲資訊改進了這一點，達到了更優的效果。不過，對象模型的更精确表示應該會顯著提高算法的性能。

實驗二

• 下圖是使用“Cart”序列将 MB 與 MPEG-1 和 MPEG-4 進行的比較：

  

• 可以看到，該圖檔背景和人物模糊不清，背景所帶來的噪聲非常大，它惡化了基于擴散的圖像壓縮方法的結果。此外，對象模型往往不能代表圖中人物執行的複雜運動，例如由于肌肉收縮或關節角度缺失。還有，腳的下側在許多幀中都是可見的。由于腳不包括在物體模型中，人是部分從内部看到的，這導緻了錯誤的顔色。最後，該序列比 HumanEva-II 序列短，導緻對象模型和背景開銷較大。由于這些原因，對于這個序列，MB 算法比 MPEG-4 算法差。然而，MB 算法仍然在大多數幀中擊敗了 MPEG-1。

HumanEva Dataset

• 官網連結：HumanEva Dataset

人體姿态估計

• 人體姿态估計（Human Pose Estimation）是計算機視覺領域中的一個重要研究方向，被廣泛應用于

  人體活動分析、人機互動以及視訊監視

  等方面。人體姿态估計是指通過計算機算法在圖像或視訊中定位人體關鍵點（如肩、肘、腕、髋膝、膝、踝等）。

  

• 姿态估計的作用：

1. 利用人體姿态進行摔倒檢測或用于增強安保和監控
2. 用于健身、體育和舞蹈等教學
3. 訓練機器人，讓機器人“學會”移動自己的關節
4. 電影特效制作或互動遊戲中追蹤人體的運動。通過追蹤人體姿态的變化，實作虛拟人物與現實人物動作的融合與同步

• 姿态估計資料集：
• 人體姿态估計資料集就是一堆用于訓練人體姿态模型的資料。由于缺乏高品質的資料集，在人體姿勢估計方面進展緩慢。在近幾年中，一些具有挑戰性的資料集已經釋出，這使得研究人員進行研發工作。本文所使用的 HumanEva Dataset 就是一種

  人體姿态估計資料集

  。

  

介紹

• HumanEva 資料集目前有 HumanEva_1 與 HumanEva_2 兩個版本。
• HumanEva-I 資料集包含 7 個經過校準的視訊序列（4個灰階和3個顔色），這些序列與從動作捕捉系統獲得的 3D 身體姿勢同步。該資料庫包含4個執行6種常見動作（例如步行，慢跑，手勢等）的受試者。向參與者提供用于

  計算 2D 和 3D 姿勢中的錯誤的誤差名額

  ，資料集包含

  訓練、驗證和測試

  （帶有保留的基本實況）集。

  

參考文獻

[1] Rana, K., & Thakur, S. (2017, May). Data compression algorithm for computer vision applications: A survey. In 2017 International Conference on Computing, Communication and Automation (ICCCA) (pp. 1214-1219). IEEE.

[2] GitHub - facebook/zstd: Zstandard - Fast real-time compression algorithm

[3] Van Der Schaar, M., & de With, P. H. N. (2000). Near-lossless complexity-scalable embedded compression algorithm for cost reduction in DTV receivers. IEEE Transactions on Consumer Electronics, 46 (4), 923-933.

[4] Khan, I. U., Ansari, M. A., Yadav, A., & Saeed, S. H. (2015, March). Performance analysis of H. 264 video decoder: Algorithm and applications. In 2015 International Conference on Energy Economics and Environment (ICEEE) (pp. 1-6). IEEE.

[5] Bodecek, K., & Novotny, V. (2007, March). From standard definition to high definition migration in current digital video broadcasting. In 2007 International Multi-Conference on Computing in the Global Information Technology (ICCGI'07) (pp. 15-15). IEEE.

[6] Dymczyk, M., Lynen, S., Bosse, M., & Siegwart, R. (2015, September). Keep it brief: Scalable creation of compressed localization maps. In 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (pp. 2536-2542). IEEE.

[7] Du, R., & Lee, H. J. (2012, December). Data compression system for LiDAR based on quad-tree structure. In 2012 7th International Conference on Computing and Convergence Technology (ICCCT) (pp. 1358-1363). IEEE.

[8] Jacobs, E. W., & Boss, R. D. (1992). Fractal Image Compression Using Iterated Transforms: Applications to DTED. NAVAL COMMAND CONTROL AND OCEAN SURVEILLANCE CENTER RDT AND E DIV SAN DIEGO CA.

[9] Gadde, P. H., Biswal, M., Brahma, S., & Cao, H. (2016). Efficient compression of PMU data in WAMS. IEEE Transactions on Smart Grid,7(5), 2406-2413.

[10] Taj-Eddin, I. A., Afifi, M., Korashy, M., Hamdy, D., Nasser, M., & Derbaz, S. (2016, July). A new compression technique for surveillance videos: evaluation using new dataset. In 2016 Sixth International Conference on Digital Information and Communication Technology and its Applications (DICTAP) (pp. 159-164). IEEE.

[11] Das, S., & Bora, P. K. (2013, December). Temporally scalable compression of animation geometry. In 2013 Fourth National Conference on Computer Vision, Pattern Recognition, Image Processing and Graphics (NCVPRIPG)(pp. 1-4). IEEE.

[12] Umaria, M. M., & Jethava, G. B. (2015, December). Enhancing the data storage capacity in QR code using compression algorithm and achieving security and further data storage capacity improvement using multiplexing. In 2015 International Conference on Computational Intelligence and Communication Networks (CICN) (pp. 1094-1096). IEEE.

附件連結：https://ost.51cto.com/resource/1900