智能科學與技術叢書
移動傳感器與情境感覺計算
Mobile Sensors and Context-Aware Computing
點選檢視第二章 點選檢視第三章
[美] 瑪尼什· J.賈加（Manish J. Gajjar） 著
陳彥如 張媛媛 陳良銀 譯
第1章
緒 論
本章内容
- 移動計算的定義
- 移動計算系統面臨的限制與挑戰
- 曆史視角與市場影響
- 市場趨勢與發展領域
1.1 移動計算的定義
移動計算（mobile computing）是指當使用者在移動中使用各種類型的計算裝置進行互動時發生的計算。硬體元件（如計算晶片、各種傳感器與I/O裝置）、軟體元件（如與底層硬體通信的程式、裝置驅動程式、應用程式以及支援通信協定的軟體堆棧）以及通信協定（如Wi-Fi協定和超文本傳輸協定（HTTP）等）是移動計算的一些主要元件。通過這些元件，可以進行使用者到計算機或計算機到計算機間的通信與計算。
以下是移動計算的三大主要分支：
- 手機：手機主要用于語音通信，但随着智能手機的出現，通過Wi-Fi或其他無線網絡，手機可以進行應用程式、遊戲和資料通路等計算，計算能力也越來越強。
- 便攜式計算機：便攜式計算機是僅具有基本計算元件和I/O端口的裝置。它去除了諸如磁盤驅動器之類的不重要的I/O裝置，轉而使用緊湊型硬碟驅動器等，使其重量比桌上型電腦輕。當然在必要時可通過USB和Firewire等額外連接配接端口來連接配接外部I/O驅動器或其他裝置。這些小巧輕便的計算機具有全字元集鍵盤和作業系統，如Windows、Android和Mac OS等。便攜式計算機包括筆記本電腦、平闆電腦等。
- 可穿戴計算機：這些移動計算裝置可以通過無線通信協定連接配接到外部世界網絡，并且具有時尚價值。這些裝置具備感應、計算、運作應用程式、發送通知以及連接配接等功能。例如手表、手環、項鍊、無鍵植入物等，它們可以接受語音指令，或感測各種環境或健康參數，并與行動電話、便攜式計算機或網際網路進行通信。
讓我們評估一下移動計算裝置與其他計算裝置的差異，如表1-1所示。
表1-1 不同形式的移動計算裝置的快速比較
1.2 移動計算系統面臨的限制與挑戰
由于使用者在計算或連接配接時正處于移動狀态，通常需要對這些裝置的空間、重量和形狀因素施加限制，是以移動計算裝置的體積比傳統桌上型電腦小，而體積的限制又會對裝置的技術和設計增加限制。以下簡單列出了一些限制。
1.2.1 資源不足
計算機系統需要各種元件來處理、計算或連接配接外部裝置，是以計算機系統中的（或連接配接到計算機系統的）任何裝置都是資源。這些資源可以是實體或虛拟元件，包括CPU、RAM、硬碟、儲存設備、各種I/O裝置（如列印機）以及連接配接元件（如Wi-Fi或數據機）。然而移動計算裝置的資源是有限的，例如，螢幕和鍵盤很小、I/O連接配接和RAM較少、電力存儲不足等，這都會使得它們的使用、程式設計和操作具有挑戰性。
我們可以通過使用輸入、存儲、資料處理等替代方法來緩解資源的限制。例如，可以使用語音或手寫識别替代鍵盤輸入，可以使用雲存儲代替硬碟，雲計算也可用于其他計算處理，進而節省裝置CPU的電量消耗。不過，這些方法需要裝置具有高效的通信功能。
1.2.2 低安全性和低可靠性
所有計算裝置都有重要的資源且存儲着有價值的資料和程式，是以通過使用者識别和認證來保護對這些計算資源和資料的通路是非常重要的。在執行相關的隐私準則和協定時，應該部署适當的安全機制來保護底層資料和應用程式。由于裝置大多處于移動狀态，非法裝置可能使用無線信道、公共資源或網絡輕松地通路這些移動系統，是以移動裝置的安全問題變得越來越具有挑戰性。
随着智能手機使用的爆炸式增長，很多個人資訊被儲存在智能手機中。使用者使用智能手機進行通信、規劃、組織活動以及通路和處理金融交易。
是以，支援這些功能的智能手機和資訊系統會攜帶越來越多的敏感資料，進而引發新的安全風險，同時增加隐私通路和處理的複雜性。
一些安全風險的來源如下：
- 通過消息系統，如短信、彩信。
- 通過連接配接管道，如Wi-Fi網絡、GSM。
- 通過軟體或作業系統漏洞進行外部攻擊。
- 通過惡意軟體和欺騙使用者。
一些緩解措施如下：
- 使用加密方法（有線等效保密：WEP；Wi-Fi保護通路：WPA/WPA2）。
- 使用VPN或HTTPS通路Wi-Fi/Internet。
- 隻允許已知的MAC位址加入或連接配接到已知的MAC位址。
1.2.3 間斷性連接配接[1]
移動計算裝置可能會遠離各種通信基礎設施（如Wi-Fi或網際網路）相當長的一段時間。但是，要通路存儲在遠端位置的資料和程式，即使隻是間斷性連接配接，也必須要為其提供相應的支援。這種間斷性連接配接需要一種不同類型的資料傳輸機制，可以處理電源管理、資料包丢失問題等。
移動裝置需要緩沖資料，以應對僅可以與網絡進行間斷性連接配接的情況。為防止資料丢失，移動裝置中的資料傳輸機制需要處理比網絡連接配接更頻繁地生成或接收資料的任務，還可能存在中斷、幹擾、停機等，進而導緻通信鍊路中斷。電力不足也可能導緻裝置斷開通信。在這種情況下，移動裝置及其資料傳輸機制應該能夠高效地管理所有的可用資源和連接配接，同時避免使用者資料丢失。
移動裝置還應該能夠處理和部署額外的機制，以支援通信協定之間的互操作性（速率、路由和尋址方法），因為它可能會在裝置傳輸期間從一種協定動态移動到另一種協定。
1.2.4 能耗限制[2]
由于缺乏體積更小、資源更緊湊的電源來滿足電力存儲、複雜的資料管理、安全要求以及連接配接性要求，是以能源可用性和電池壽命成為移動裝置的關鍵限制。
此外，移動裝置使用耗電的傳感、存儲和通信功能，同時也具有一些非常嚴格的功耗和散熱要求。這些裝置沒有風扇，有表面積限制，且經常與使用者皮膚緊密接觸，是以它們的峰值功耗需要受到限制，以保證使用者體驗不會受到裝置溫度的影響。這進一步強調了為什麼電源管理和電池壽命是移動裝置的關鍵設計參數。
針對這些挑戰的解決方式包括強調平台電源優化和使用者體驗優化的電源管理：
- 平台電源優化：電源管理政策應包含移動平台的可用硬體資源，并管理其運作以提高能效。
- 使用者體驗優化：移動裝置的使用從CPU或圖形密集型使用擴充到傳感器使用。各種基于位置的服務和應用需要傳感器（如加速度計、陀螺儀和攝像頭）的支援。使用觸摸功能的應用程式需要從功耗管理狀态中快速退出，而遊戲應用程式需要更高的吞吐量和更亮的顯示。電源管理系統應考慮這些使用情況以及相應的系統響應要求。
是以，移動裝置需要能夠提供各種低功耗狀态以及能量感覺作業系統和應用的硬體資源。硬體和軟體都應該是智能的，以便将使用者互動、傳感器輸入、計算和協定優化及其動态行為或負載結合起來。
1.3 曆史視角與市場影響
以下是影響移動計算的一些關鍵因素，其中一些因素也影響移動計算的形式。
1.3.1 增強使用者體驗
移動計算改變了我們的連接配接方式：怎樣連接配接到不同的地理位置、不同的文化、不同的使用者以及使用怎樣的過程。它改變了我們基于各種傳感應用和基于位置的服務來收集、互動和處理資訊的方式。移動計算增強了我們對數字世界的認知，并将數字世界與我們的實體世界融為一體；它增加了我們對傳統獨立式和固定式計算機的計算能力，同時使我們能夠将這種增強的計算體驗帶到任何需要的地方。
改進應用程式以利用硬體資源：許多領先的供應商（如Apple和Google）都提供了大量擴充智能手機和其他移動裝置功能範圍的應用程式，例如使用智能手機後置攝像頭來測量心率的應用程式。這些應用程式使用硬體來實作主要功能以外的其他功能，進而将移動裝置的功能擴充到傳統應用之外。
1.3.2 改進相關技術
随着技術的改進，移動裝置現在具有更長的電池壽命、更快的處理器、更好的使用者體驗度、更輕便的制造材料、更高能效且更靈活的顯示器和更高帶寬的網絡。這些裝置還擁有衆多傳感器，如生物識别傳感器、溫度和壓力傳感器、污染傳感器和位置傳感器。另外還有紅外鍵盤、手勢和回放跟蹤傳感器、增強的人工智能以及情境感覺使用者界面。所有這些功能都可以增加視訊、圖像、文本等的清晰度，随之出現了新的使用方案和應用程式，進而可以制作出各種形狀和設計風格的移動裝置。
1.3.3 新的影響因素
使用者與移動裝置的互動方式以及使用者使用移動裝置的方式都将随着底層技術的進步而改變。例如，使用者必須每天多次（通常每天150次）從口袋中掏出智能手機來滿足日常使用，但随着時間的推移，可穿戴裝置使用者量增加，與智能裝置的互動将變得更加容易。同時，從移動裝置上傳的資料量和内容也在以驚人的速度增長，上傳的内容包括圖像、視訊、音樂等。随着可穿戴裝置（如Nike Fuel和Google Glass）的使用日益增多，更多與健身、财務、位置服務等有關的個人資料将被上傳。
1.3.4 新增的連接配接項/計算項
現在，通過蜂窩移動網絡、無線區域網路、藍牙、ZigBee、超寬帶網絡、Wi-Fi和衛星網絡等手段可以獲得大量的無線連接配接；此外，随着雲計算的誕生，使用者還可以獲得共享資源和連接配接，而無須再被綁定到特定的位置或裝置以上傳、通路或共享資料。個人和企業使用者可以使用多種連接配接和“共享計算”，在這些網絡上添加更多的移動裝置或計算裝置，以提高其可移動性并降低商業或個人的資料共享成本。
1.4 市場趨勢與發展領域
移動計算裝置的發展有三個基本的驅動因素：新傳感器技術和産品、傳感器融合以及新應用領域。
1.4.1 新傳感器技術和産品[3-5]
傳感器是移動裝置功能增長的基礎。諸如麥克風、攝像頭、加速度計、陀螺儀和磁力計等移動MEMS（微電子機械系統）傳感器的技術進步和功能增強，使導航、環境感覺、基于位置的服務和移動增強現實等在移動計算裝置中得以實作。
錄影機和顯示技術在觸摸傳感器、靈活且高效節能的顯示器方面展現出相當大的創新性，這些顯示器為圖像、視訊乃至3D感覺提升了真實感。例如，使用多台錄影機來跟蹤使用者的眼球運動，以突出顯示屏的相關部分，同時屏蔽顯示屏其他部分中 “不需要”的文本或圖像。
還有一些新的可穿戴技術紛紛湧現，特别是與健康和健身相關的技術，這些技術極大地依賴于測量身體溫度、壓力、濕度、身體活動和其他關鍵方面的傳感器。
預計到2019年，全球可穿戴計算裝置市場[6]（可穿戴裝置）将達到1.261億個的規模，終端使用者對可穿戴裝置的接受程度越來越高，越來越多的裝置供應商将會進入市場。
目前市場分析主要有以下内容：
- 2019年不運作第三方應用的基礎可穿戴裝置将達到5230萬個。
- 運作第三方應用程式的智能可穿戴裝置的增長速度将高于基礎可穿戴裝置，預計2019年将達到7380萬個。
- 到2019年，腕戴式可穿戴裝置将占所有可穿戴裝置出貨量的80%。
- 到2019年，全球可穿戴裝置市場的收入預計将達到279億美元。
未來5年市場分析可能受到以下潛在情境的影響：
- 移動市場到達平穩狀态，PC市場重獲牽引力，MEMS市場冷卻。這看上去似乎不太可能，但5年前沒有人預測到PC市場會像現在這樣停滞。
- 可穿戴裝置起着很大的促進作用，從Google Glass到Kindle Glass和iGlass，為MEMS傳感器帶來了更大的提升。
- 新型器件出現，推動對MEMS的需求。
圖1-1展示了基礎和智能可穿戴裝置的全球占有量。
圖1-1 2017～2019年按産品類别劃分的全球可穿戴裝置出貨量[7]
圖1-2顯示了基礎和智能可穿戴裝置的全球平均售價（ASP）。
圖1-2 2017～2019年按産品類别劃分的全球可穿戴技術ASP [7]
圖1-3顯示了基礎和智能可穿戴裝置的全球裝置收入。
圖1-3 2017～2019年按産品類别劃分的全球可穿戴裝置收入[7]
1.4.2 傳感器融合
傳感器融合（sensor fusion）[7]是對來自不同傳感器的資料進行合并的過程，使得最終輸出資料所傳遞的資訊比每個傳感器所傳遞的資訊都要多。
由于無法完全利用和重新定義固有傳感器的功能，今天的智能手機和平闆電腦并不是完美的傳感平台。如今，制造商試圖保持産品緊湊和價格競争力，且因為傳感器受到磁性異常、溫度變化、沖擊和振動等不利影響，底層傳感器的可靠性受到損害。
開發人員可能會認為傳感器資料不準确或不可靠，并且避免開發需要使用或增強底層傳感器資料的應用程式。以下是影響傳感器資料準确性和可靠性的兩個依賴關系：
- 帶有傳感器的移動裝置的作業系統：Android、iOS和Windows Phone可能不适合處理實時任務，例如按需傳感器采樣。是以傳感器樣本上的時間戳是不可靠的。
- 傳感器資料的過濾和死區：如今的傳感器資料使用低通濾波和死區方法進行處理，這些方法可能會丢棄其他有用的資料，進而使傳感器的可靠性降低，響應能力變弱。（死區是不會發生任何動作的。）
例如，陀螺儀有很多誤差源，其中一個誤差源是陀螺儀偏置，偏置是陀螺儀在沒有任何旋轉時的信号輸出，代表旋轉速度。這種偏置會随着溫度、時間、噪聲等變化而變化。當裝置處于靜止狀态時，帶有XY°/s偏置的陀螺儀可能會産生旋轉誤差（如圖1-4所示）。
圖1-4 陀螺儀的基本知識[8]
磁力計測量地球的磁場，其讀數用于計算剛體的航向，但是它也存在導緻航向誤差的錯誤（例如來自傳感器中磁性材料和傳感器内部磁性部件的噪聲，或者附近鐵質物體的噪聲等）。
加速度計測量重力加速度，這是物體相對于自由落體所經曆的加速度，也是人和物體感受到的加速度；但它也有偏差，這種偏差是理想的0g輸出和傳感器報告的0g輸出之間的差異。在一個完美的水準面上，如果沒有偏置誤差，那麼傳感器輸出将讀取X軸和Y軸上理想的0g偏置電壓，以及Z軸上的+1g輸出電壓，但由于偏置誤差，會顯示其他值而非理想值。
可見，每個單獨的傳感器都有偏差和錯誤。傳感器融合是一種可以處理來自同一事件不同傳感器的傳感器測量值，以分離出實際資料和噪聲/傳感器誤差的算法。通過适當采用這些算法，可以保持理想的響應感覺，同時彌補單個傳感器的偏置誤差和缺點，進而提供有用和可靠的結果。
例如，如果使用陀螺儀、加速度計和磁力計來确定裝置的絕對方向（3D旋轉角度），則傳感器融合過程可通過收集三個不同傳感器的資料來合成資訊，并執行數學計算以消除個體傳感器的偏差和錯誤，将結果資料轉換成開發人員可用的格式，并表示為同一形式的“解釋事件”。這樣的解釋事件可視為“虛拟傳感器”的輸出，并以與原始傳感器事件相同的形式來表示。這些虛拟傳感器提供了無法從任何單個傳感器獲得的解決方案和測量結果，虛拟傳感器的測量結果介于實際傳感器測量值和開發人員所需的理想測量值之間。傳感器融合算法可以駐留在底層代碼、傳感器本身，或作為應用程式的一部分，這種算法可以消除偏差和錯誤，進而為設計人員提供更大的選擇群組合傳感器元件的靈活性。
Android傳感器架構可以通路許多傳感器，其中一些是基于硬體的，而另一些則是基于軟體的。基于軟體的傳感器通過從多個硬體傳感器擷取資料來模拟硬體傳感器。這些虛拟傳感器也被稱為合成傳感器。
Android提供了四個主要的虛拟傳感器[9]：
- TYPE_GRAVITY：這種傳感器類型可以用硬體或軟體來實作，它可以測量移動裝置在X、Y和Z實體軸上的重力，測量機關是m/s2。
- TYPE_LINEAR_ACCELERATION：這種傳感器類型可以用硬體或軟體實作，它可以測量分别從X、Y和Z實體軸方向施加在移動裝置上的加速力（不包括重力），測量機關是m/s2。
- TYPE_ROTATION_VECTOR：該傳感器類型可以用硬體或軟體實作，它提供裝置旋轉向量的元素，該裝置的旋轉向量代表裝置旋轉角θ與軸。
- TYPE_ORIENTATION：該傳感器類型可以用軟體實作，它提供裝置圍繞三個實體軸（X,Y,Z）旋轉的角度。
同樣，Windows 8有四個虛拟傳感器[10]：
- ORIENTATION SENSOR：該傳感器提供有關三維裝置旋轉的資訊。它類似于Android的TYPE_ROTATION_VECTOR傳感器，而不是Android的TYPE_ORIENTATION。
- INCLINOMETER：該傳感器提供與裝置X、Y和Z軸旋轉角度相對應的歐拉角（偏航角、俯仰角、滾動角）值的資訊。
- TILT-COMPENSATED COMPASS：該傳感器根據垂直于重力的平面内的傳感器能力，提供關于裝置相對于真北或磁北的航向（裝置的方向[11]）資訊。
- SHAKE：此傳感器在裝置振動時（任何方向）報告事件。
上述Android和Windows虛拟傳感器是通過傳感器融合實作的，它們提供與使用者情境相關的資訊，是以有助于開發情境感覺應用程式。
圖1-5是由基礎傳感器産生的融合傳感器羅盤示例[11]。
圖1-5 通過組合來自多個傳感器（羅盤）的輸出來進行傳感器融合
圖1-6是由基礎傳感器産生的用于裝置定向的融合傳感器示例。
圖1-6 通過組合來自多個傳感器（裝置方向）的輸出來進行傳感器融合
圖1-7是由基礎傳感器産生的融合傳感器傾角儀示例
圖1-7 通過組合來自多個傳感器（傾角儀）的輸出來進行傳感器融合
1.4.3 新應用領域
随着新改進的傳感器和傳感器算法的出現，新的應用和模型也将應運而生。下面給出一些示例：
- 智能手機的配套裝置：這些是基于傳感器的附加裝置，可以向智能手機發送通知，例如可以連接配接到使用者的智能手表并向其發送通知或健身資訊，或者可以連接配接到智能手機健身應用程式，還可以提供電話通知和音樂控制功能。
- 醫療保健産品：随着基于這些傳感器的生物傳感器和醫療保健應用的出現，新的裝置正在開發中，可以測量壓力、葡萄糖和心率等各種生物資料，并上傳到專用的雲服務，以便資料能與家人和醫生共享。例如，光照強度傳感器可以測量每日總暴露量，其相關的應用程式可以根據使用者的習慣和皮膚類型提供防曬建議，同時給使用者發送有關何時塗抹防曬霜、戴帽子或戴太陽鏡的通知。使用這類裝置/傳感器應用的個人健康市場正在快速增長。
- 專業運動産品：專業運動員總是期待分析他們的表現。例如，傳感器可用于測量網球運動員球拍的陀螺儀資料和振動資料，相關應用程式可提供一些提示來改進擊球和控制的技巧。通過傳感器實時測量棒球、高爾夫球或網球的揮杆資料，專業人士可以使用這些資料來完善揮杆動作。對于遊泳運動員，心跳傳感器可以提供心率的即時視覺回報。另外，帶有低功率傳感器的GPS手表和健身追蹤器可以在健身訓練過程中跟蹤使用者。這些裝置和傳感器在專業體育和教練市場中都價格不菲。
- 生活記錄裝置：生活記錄裝置和應用程式可幫助使用者将内容直接上傳到社交網站。這些裝置具有Wi-Fi、藍牙、LTE和蜂窩網絡功能，可以通過雲服務直接向社交網站傳輸内容。像極限運動愛好者那樣，可以在社交應用中分享實時内容。
- 納米傳感器：這是正在開發的新型柔性傳感器，可用于衣服、身體和其他物體，以跟蹤應變、壓力、觸覺和生物電子信号等。這些裝置将促進諸如衣服等物體中嵌入式傳感器的創新，并且可以在體育（運動員健康追蹤）、醫療保健（精确的病人監控）、遊戲（沉浸式和精确控制）以及娛樂（手勢控制）等領域廣泛應用。
據預測[12]，到2020年，可穿戴裝置的應用數量将以每年81.5%的複合增長率增長。智能手表應用程式、遊戲和企業級智能眼鏡将支援增強現實技術，并将推動增長。
人工智能和機器學習應用領域也有望出現顯著增長，這對可穿戴裝置、汽車和家庭環境中的使用者體驗至關重要。
1.5 參考文獻