萬物互聯時代,可以想象人均聯網裝置會越來越多。但裝置的增多不等同于友善和高效,裝置互聯不易,裝置“智聯”更難,最難的大概是我們如何能在裝置增多的情況下享受到便利,而不用被操控多個裝置、查找和使用各類應用等繁瑣的過程所困擾。
在近日舉辦的華為開發者大會2021(together)上,華為給出了他們對上述問題的思考。簡單來說,華為認為,人和裝置的互動方式需要被重新定義,其中的核心利器是 ai。這樣的答案聽起來并不稀奇,甚至可以說是常見的标準答案。但是别忘了,華為正在建構鴻蒙生态,而基于這個生态底座,我們從中看到了更加“紮實”的可行性。
讓我們先來看看,被重新定義後的人和裝置的互動方式可能會是什麼樣的。
今天,健康是所有人都關心的命題,其中不少人通過健身、運動來管理身體。以“跑步”這項運動為例,華為設想了一個頗具“未來科技感”的互動場景——在智能手表、智能跑步機、手機等多裝置的關聯下,使用者在不知不覺中就擁有了專業的私人健身教練,并且這不是真人教練,而是基于 ai 的虛拟教練。
據華為消費者業務 ai 與智慧全場景業務部總裁王成錄介紹,這個“私人教練”可以根據使用者的身體狀态,制定最恰當的鍛煉方案,在鍛煉過程中會實時提醒使用者其鍛煉方式是否正确,會不會對身體某個部分造成傷害,鍛煉結束之後該如何放松,根據鍛煉狀态的結果恰當的放松方案等等。
而這個“私人教練”要做到如此智能,就需要擷取大量資訊。比如該使用者在運動前的體脂率、心率區間、飲食和睡眠狀況,運動中也需要實時監測呼吸、心率,了解運動的情況如跑步時的配速/坡度和跑姿等等。

而要擷取更多更精确的資訊和資料,就意味着需要更多的裝置協同。越多裝置協同,就相當于圍繞使用者的傳感器會越來越多,這些傳感器不斷記錄使用者的行為,“私人教練”才能更準确地捕獲使用者的意圖。
更重要是的,在這個人機互動的的過程裡,使用者不需要圍繞多個裝置去擷取服務、查找服務,而是裝置主動來了解使用者并推薦相應的服務。
當然,運動健康隻不過是其中一個智慧場景。“我相信在鴻蒙系統的加持下,我們會有非常多的機會去建構各種各樣場景化的超級終端。”王成錄表示。
實際上,如今每個消費者身邊的裝置已經有非常多的傳感器,它們可以表征地理位置、空間資訊,記錄生理名額、行為活動等,但大家使用裝置的方式是“單裝置”和“單次元”,而單裝置、單次元無法準确捕獲消費者意圖,如果能針對場景把多個次元的資訊做整合,就能夠最大限度地捕獲到消費者的意圖。
是以,在傳感器已經存在的情況下,技術上所面臨的問題是如何擷取傳感信号,如何建立多模态語義,以及如何用多模态語義跟場景比對進而準确捕獲消費者的意圖。
這裡面主要涉及三個核心技術點,分别是多裝置傳感器信号的同步、多模态資料的标注和多模态自适應。
多裝置協同的第一個挑戰是複雜的裝置異構性。要把傳感信号利用好,非常重要的第一步是保障所有傳感器上報信号的時序對齊。而由于裝置大小不同、傳感器不同、上報信号的特征不同等問題,要把信号之間的時序對齊挑戰很大。
鴻蒙生态的軟總線技術恰好能夠很好地解決這個問題,軟總線的目标是無限逼近硬總線的能力,其工作原理中很重要的一點是要有軟時鐘。軟時鐘的工作原理是當工作裝置組成一個超級終端,就從最強的裝置的晶振上去捕獲時鐘信号,一旦時鐘信号捕獲,後續所有業務處理的時鐘将以軟時鐘為準。目前,軟時鐘的精度已經可以做到誤差小于 1 毫秒,王成錄表示,harmonyos 3.0 的 beta 版本目标是做到 500 微秒,這樣的精度已經能完全滿足傳感器信号同步的需求。
第二個核心技術點是多模态資料的标注。資料标注一直是 ai 樣本資料方向很大的挑戰,為此,華為提出了一個創新性的互助标注方法,在時鐘同步和時間對齊的基礎上,有标注模态的資料對無标注模态的資料進行自動标注。通過這樣的方式,随着傳感裝置越多,标注的裝置越多,關聯的模态會越來越多,自動标注的效率也會大幅度提升。
第三個核心技術點則與小樣本實時訓練模型有關。相比偏傳統的大規模語義訓練,傳感信号的樣本資料很少,其次,傳感器不夠穩定,無法保障超級終端裡面任何一個裝置永遠線上永遠穩定,一旦發生波動就會對模型帶來較大的影響。是以,端側不能用現有的傳統 ai 模型來做訓練,華為專門為此研發出端側的小樣本實時訓練模型,以解決小樣本資料波動和不穩定帶來的沖擊性問題。
該模型的核心算法是稀疏編碼,它是一種無監督學習算法,核心在于找到一個完備的基礎向量機,向量信号進來以後利用基礎向量機的線性組合來表征輸入信号。這種算法可以非常有效地避免由資料不穩定、樣本空間不穩定帶來的模型波動問題。如果要在端側用小樣本做實時訓練,這項技術是必不可少的。
另外,樣本規模在訓練過程中有可能會無限變大,因為它是在端側做訓練,硬體資源自然會被越占越多,這樣一來其他應用就無法運作,是以華為也研發了一個自适應的部署技術。簡單來講,自适應部署可以限制訓練模型消耗的硬體資源,當模型變大之後自動進行裁剪調整,保證模型在限定的硬體資源内完成訓練和部署。
有了上述技術組合,傳感器的聯邦資料就能實時、準确地捕獲消費者的意圖,而下一步就是要根據意圖去找對應的服務,把比對的動作都交由機器解決,而不是像今天這樣由消費者主動去查找、下載下傳和安裝各種應用軟體。這裡面要做的是不斷增強隐式向量化意圖,從海量服務和應用裡找到數十個候選集,再加上顯式結構化的意圖,對候選集做進一步篩選和邏輯組裝,就可以做到對消費者意圖的精準回報。
實際上,harmonyos 2 的“小藝建議”背後便是用了上述這些技術。王成錄指出,目前“小藝建議”的使用率已經很高,也正是因為小藝能夠深入了解使用者意圖,并根據使用者的時間、地點、場景把可能需要的服務都放到小藝建議裡。這樣一來,使用者主動搜尋的頻率就越來越低。
“像‘小藝建議’這樣的服務若繼續堅持下去,有希望打造一個将來面向萬物互聯的人機互動的統一入口,通過小藝就可以屏蔽各種各樣的硬體差異。”也就是說,在這個過程裡,使用者不需要在意自己是在跟哪個裝置或服務互動,而隻需要與小藝這個入口做互動,與此同時由于小藝的智能化,裝置本身也在判斷使用者的意圖。王成錄将小藝稱作“未來萬物互聯統一的互動入口”。
與 harmonyos 的設計理念一樣,小藝也采用了完整的解耦化的架構設計,支援彈性化部署。換句話說,搭載 harmonyos 和 openharmony 的裝置,不論大小都能安裝上适配版本的小藝。
“有了像小藝這樣的部署,有了鴻蒙生态的互聯和融合,在任何一個場景下,無論你在哪一刻用哪個裝置觸達,小藝都能感覺到。小藝也會根據此刻觸達的方式把資訊回報給你,省去了在不同裝置之間不斷配來配去、查找服務做邏輯組裝的過程。”王成錄表示,華為希望通過重重賦能,讓真正的萬物互聯、萬物智聯時代加速到來。
目前,華為已經将包括小藝在内的所有能力通過軟體服務包的方式提供給合作夥伴。
今年,harmonyos connect 軟體服務包 3.0 新增支援垂類應用的帶屏裝置,并更新了基礎服務包、增強服務包,以及包含小藝、服務中心、暢連等應用在内的應用服務包,開發者直接調用即可快速開發出具備智慧 ai 能力的裝置,預計到 2022 年将全面适配支援豐富應用的帶屏裝置。
有了軟體包之餘,也需要考慮是否便于開發者使用。面向硬體開發者,華為提供了一站式裝置內建開發環境,支援遠端開發、按需定制、一鍵編譯和燒錄、一鍵內建服務包和裝置仿真器,降低了開發者的接入門檻和開發周期,提升了開發效率,無屏裝置開發周期已由 2 個月減少至 2 周,帶屏裝置預計 2023 年将縮減到 2 個月以内。
下載下傳位址:https://device.harmonyos.com/cn/develop/ide
面向應用開發者,華為也推出了一站式裝置內建開發環境,其中提供了超過 50 個原子化服務和卡片模闆,支援多端雙向預覽、低代碼開發、分布式模拟仿真以及分布式調測等。據介紹,目前原子化服務開發效率已由 1 個月縮減至 15 天,明年的目标是一周,預計到 2023 年,隻需要 5 天就可以完成開發。
下載下傳位址:https://developer.harmonyos.com/cn/develop/deveco-studio/index.html
王成錄表示,未來将不斷增強能力、增強工具,給開發者留出更多的時間和便利去做業務的創新,“把複雜交給我們,把簡便留給開發者。”
2020 年 9 月 10 日,鴻蒙作業系統正式釋出,邁出了鴻蒙生态的最關鍵一步。今年 6 月 2 日,harmonyos 2 手機版本的釋出将鴻蒙生态建構按下了快進鍵。如今,搭載 harmonyos 裝置數量已經超過 1.5 億。這個成績對于鴻蒙生态來說可以算是個不錯的開局。
真正的萬物互聯時代的到來離不開 ai,ai 将重新定義人和裝置、人和服務的互動方式。現在,鴻蒙已經在 ai 開發能力和服務上做了一些工作,但光靠華為一家公司還不夠。會上,王成錄也表示,歡迎更多合作夥伴和開發者加入鴻蒙生态,持續添磚加瓦,開啟萬物智聯的新時代,這也是鴻蒙生态從誕生起就肩負的使命。