行業綜述
基礎設施日漸完善,AI行業正欲彎道超車
人工智能(ArtificialIntelligence)——簡稱AI,指由人類制造出來的機器所展現出來的智能,試圖通過計算機來模拟人的思維過程和行為。到了2020年,随着5G、人機互動等技術的日漸成熟,AI應用也正迎來發展的新階段。
在國内,AI行業目前主要包括計算機視覺、自然語言處理、腦機接口、人機融合、群體智能、自主無人系統等技術。目前我國在AI領域的投融資占全球的60%,而關于人工智能相關技術的論文産出,更是處于全球第一、二位。
自15年開始,中國AI市場規模逐年攀升。随着技術和設施的逐漸成熟,科技、制造業等業界巨頭不斷深入布局。資料顯示,2018年中國人工智能市場規模約為339億元,增長率達到56.2%。據預測,2020年中國在人工智能的市場規模将突破700億元。
行業發展方向
AI技術相對成熟,但技術與産品之間産生脫節
雖然行業整體發展趨勢良好,但是整個AI行業都在探索如何才能商業化,是以整個行業面臨着高端”的AI技術與“中低端”的産業之間存在脫節現象。相對于我國龐大的經濟體來說,目前AI技術的應用空間仍有待開發。是以如何積極探索AI技術的商業化,以及尋找技術可落地的應用場景成為了AI領域企業必須要考慮的事情。
面臨的痛點
AI行業積極尋求商業化,但技術落地仍是難題
但是在積極尋求技術落地的過程中,AI領域企業經常會碰到以下幾個問題:
1、日益增長的成本壓力:由于目前AI技術的發展都是建立在大資料的基礎上,通過大量資料讓系統進行自動學習。是以企業需要長期投入大量的計算資源和存儲資源,以此來讓系統持續不斷地學習,讓系統更加智能。
2、資料價值待深挖:由于早期業務規劃以及技術的原因,目前仍存在資料源分散的情況,資料源經常會存儲于不同的系統、不同的團隊或是不同的儲存設備裡。是以大量的資料不能很好地進行連通,不能充分做到從整體去挖掘資料價值。
3、安全合規:AI采集和處理的資料往往涉及使用者行為、使用者畫像和消費資料,這類資料多數是較敏感的資料,監管部門對資料安全存儲有明确要求。如何管理好日益增長的資料,也是需要提前規劃和解決的問題。

AI行業資料湖解決方案
靈活架構與超高成本效益,資料湖解決方案助力AI技術實作落地應用
阿裡雲針對AI行業的痛點,推出了AI行業的資料湖解決方案,該解決方案的核心是通過資料湖一體化的能力,輕松對接各種計算與處理引擎,直接在資料湖中對資料進行分析。
阿裡雲資料湖解決方案,能為企業提供統一的存儲資源池,各種類型的資料集中統一存儲在OSS對象存儲,解決資料孤島,避免多份資料分散在多種不同的系統,實作無縫對接多種計算引擎。
将資料存儲在資料湖後,資料可以按照原始産生的形态直接存儲,在需要分析階段,再通過資料引擎進行處理,提供便捷的資料接入和資料消費通道,避免資料重複拷貝。
由于資料湖解決方案提供計算與存儲解耦合的架構,是以整體的計算、存儲資源具備更好的擴充性,降低運維管理難度,實作業務靈活部署。
最後,通過資料湖解決方案提供的資料流動、冷熱分層和分級存儲,既滿足高性能場景的計算需求,提高資源使用率,也解決長期存儲的成本壓力。
阿裡雲資料湖解決方案,能為AI行業在資料采集階段、資料預處理階段、模型訓練階段和長期存儲管理階段提供最便捷、最高效、最實惠的服務。讓資料的沉澱、存儲、處理、分析更加簡便快捷,幫助AI企業将技術落地,讓技術與應用接壤,幫助企業釋放最大的資料價值。
最佳實踐
公司介紹
客戶是國内自動駕駛行業TOP的汽車設計和制造商,融合前沿網際網路和人工智能。
遇到的問題
1、資料量龐大,客戶每天會産生幾十TB的資料,如果将如此巨大的資料直接寫入硬碟,不但無法保證性能,也無法對資料進行保護
2、如何将海量資料傳遞到雲端計算叢集,也是一件非常複雜和困難的事情,由于資料量龐大,需要定時定期地對資料進行維護,是以在這一過程中,其運維成本也是非常的高
3、在日常模型訓練場景下,素材總量經常會高達上百TB,如果需要對這一部分的素材進行集中訓練,就需要GPU反複随機地通路這部分素材,是以就需要檔案系統提供低延遲時間的檔案通路能力
4、線下傳統NAS存儲存在單點性能瓶頸,并且容量和性能不支援彈性擴張,無法滿足GPU的低延遲的檔案通路需求
資料湖解決方案
針對各自動駕駛行業中涉及到的多元化的場景需求,阿裡雲為其量身打造了一套集采、傳、存、算一體化的資料存儲解決方案。
1、阿裡雲的閃電立方可将每天高達上百TB的資料上傳至對象存儲OSS中,傳輸速度最快可達到百Gbps。且閃電立方采用AES256端到端加密以及CRC一緻性,在快速傳輸資料的同時,還保證了資料的安全性和可靠性
2、阿裡雲對象存儲OSS能為資料提供12個9的資料安全保證和高達99.995%可用性SLA承諾,為資料提供全方位的安全保障。同時檔案生命周期管理功能和資料分層歸檔功能,可自動選擇将資料存放在低頻或歸檔型的OSS,在簡化操作,提高效率的同時,大大降低了資料存儲成本
3、阿裡雲檔案存儲CPFS可以輕松地頂住性能壓力的需求,CPFS的吞吐名額可彈性提升到每秒百GB的級别,随機通路小檔案的延遲降低了8倍,在某些訓練和深度學習場景下,速度整整提高了3倍,大大提升了檔案計算和分析的效率
達到的效果
1、在資料采集、運輸、上傳和計算全鍊條上進行時間、成本、安全以及計算效率等方面的改善
2、解決了客戶原本資料零散存放整合難、架構無法彈性應對業務波峰波谷、資源利用不充分等難題
3、客戶綜合成本直接降低30%以上