天天看點

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

作者:亞馬遜雲科技

點選複制下方連結

https://www.awsevents.cn/reInvent2022/?s=7982&smid=14878

一起共赴年度科技盛宴!

2022亞馬遜雲科技 re:Invent 全球大會正在拉斯維加斯如火如荼進行中,亞馬遜雲科技資料與機器學習副總裁 Swami Sivasubramanian 博士發表了“資料與機器學習如何助力企業建構端到端的資料戰略”的主題演講來開啟第三天的日程。

Swami 博士重點介紹了亞馬遜雲科技在資料庫、資料分析和機器學習領域的最新創新,以及這些創新如何幫助企業建構基于“面向未來的資料基礎設施”、“跨組織的資料連結”和“資料普惠化”三個核心要素的端到端資料戰略,進而幫助企業将資料轉化為對業務有意義的見解和行動,驅動企業借助資料推動下一波創新。

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

Swami 博士首先通過人類大腦是如何通過資料分析産生創造性的想法做類比,企業資料分析與人腦資料分析有相似之處,但又有很大的不同。他指出,與人腦不同,企業資料處理和分析中往往會遇到一些挑戰,主要包括:

  • 沒有一個集中的存儲庫來收集所有資料,這通常意味着它會導緻跨整個組織的資料孤島和資料不一緻,清理海量資料并将其存儲在可通路的位置需要花費大量的時間和精力;
  • 企業資料并不是自動化處理的,企業必須在資料基礎設施中建立自動化機制來減少手動重複性操作和成本高昂的更新;
  • 企業資料也不會在應用間自由流動,不像大腦中神經傳輸路徑一樣,企業需要建立複雜的通道來将資料移動到正确的位置,并且保證需要通路的個人随時随地能通路到;
  • 資料也不容易被分析或者可視化,企業很難快速找到資料之間的聯系,進而激發創意和洞察力。
“我堅信資料是現代發明的起源,” Swami博士提到,“為了更好地利用資料來提升客戶體驗,推動業務創新,今天的組織需要建構合适的資料戰略,以資料推動決策。”
亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

亞馬遜雲科技以超過15年的資料創新經驗

賦能企業建構合适的資料戰略

在探索适合企業的資料戰略的道路上,企業并不孤單。亞馬遜雲科技有着超過15年的資料領域創新經驗。我們一直在嘗試通過創新的方法去改進資料存儲和分析的過程:我們在雲中提供了第一個可擴充存儲服務 S3、釋出了雲上第一個專門建構的資料庫 DynamoDB 和第一個完全托管的資料倉庫服務 Redshift 以及更多持續釋出的新功能和新服務,幫助客戶更容易地建立、存儲和分析資料。

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

今天,全世界有超過150萬家公司來亞馬遜雲科技尋求資料服務上的幫助,包括資料庫、資料分析和機器學習服務。像 Toyota(豐田)、Coca-Cola(可口可樂)、 Capital One 等等,這些知名公司都用我們的服務來建立完整的資料戰略。還有 Bristol Myers Squibb 通過運用我們的資料服務,把單細胞資料應用在他們的診斷和開發裡面。此外,Hyundai(現代)也用我們的平台來分析他們的機器學習模型,極大地降低了他們的機器學習時間。

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

Swami 博士指出,基于亞馬遜雲科技的經驗,我們認為資料戰略有三個關鍵核心要素:

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

1. 建立面向未來的資料基礎設施

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

面向未來的資料基礎設施,應具備四個要素:

需要有正确的資料庫工具來應對所有類型的工作負載;

可以在大規模的情況下進行高性能的運作;

不需要我們做非常多的重複工作;

需要高可靠性和高伸縮性。

​2. 實作安全高效的跨組織資料連結

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

同樣,企業可以使用一個合作系統來連接配接孤立的團隊,為重要資源創造快捷安全的通路途徑,使用正确資料治理系統,借助高品質的工具和資料來推動未來的增長。

​3.通過工具和教育實作資料普惠化

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

亞馬遜雲科技預計到2029年,人工智能勞動力将增加100萬個工作崗位,但培育合适的技能和人選來填補這些空缺将是一項重大挑戰。亞馬遜雲科技正在幫助社群學院和 MSIs 加大教育力度,推出新的亞馬遜雲科技機器學習大學教育教育訓練計劃,提供動手教育訓練課程,為培育新一代勞動力做好準備。

此外,低代碼和無代碼工具對許多企業來說也是一個重要輔助工具,Amazon SageMaker Canvas 還為使用者提供了一個無代碼選項,可以幫助使用者無需編寫代碼即可實作基于機器學習的預測。

​基于以上端到端資料戰略的三個核心要素,亞馬遜雲科技幫助企業将資料轉化為對業務有意義的見解和行動,驅動企業借助資料推動下一波創新。Swami 博士在他的演講中釋出了多項亞馬遜雲科技資料庫、資料分析和機器學習服務的功能更新與新特性。

  • 強大的雲原生資料能力,以幫助企業擴充其資料庫和資料分析服務,并確定資料安全與資料品質

1. Amazon Athena for Apache Spark

更簡易直覺的資料分析服務

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

Swami 博士指出,亞馬遜雲科技推出的 Amazon Athena 服務以其易用性而廣為流行,已有數以萬計的客戶注冊。為了幫助使用者以一種更直覺的方式來運作複雜的資料分析,讓使用者将更多的時間用于洞察,而不是等待結果,我們推出Amazon Athena for Apache Spark,這項服務不到1秒鐘的時間就可以運作互動式的 Spark 資料分析應用,它比其他類似的 Spark 解決方案快75倍。

​2. Amazon DocumentDB Elastic Clusters

完全托管型解決方案

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

Swami 博士表示,亞馬遜雲科技為企業提供所需工具來幫助提供可擴充性和處理能力。接下來,他釋出了 Amazon DocumentDB Elastic Clusters,這是一個完全托管的資料庫擴充特性,可以幫助 DocumentDB 根據流量需求輕松實作上下擴充。它可以在幾分鐘内彈性擴充工作負載,甚至可以自動管理底層基礎設施,降低運維的時間成本。

​3. Amazon Redshift Multi-AZ

高可用性與高可靠性

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

Swami 博士指出,可靠性和安全性是各企業選取雲服務商的關鍵考慮因素。“你需要采取适當的保障措施。”他強調了亞馬遜雲科技建構此類安全可靠服務的悠久曆史。然而客戶總是有着更多需求,尤其是在應用程式和資料庫方面。是以,新的 Amazon Redshift Multi-AZ 功能将有助于為 Mission-critical 的分析任務工作負載提供高可用性和可靠性。

​4. Trusted Language Extensions

for PostgreSQL 快速內建資料

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

為了幫助提升 PostgreSQL 擴充程式的安全性,Swami 博士宣布推出 Trusted Language Extensions for PostgreSQL 服務,這是一個新的開源項目,支援 Amazon RDS 和 Aurora 上的 PostgreSQL 擴充程式。這些語言和延伸可以讓你非常安全地把它加入到你資料的基礎設施上,同時也可以得到亞馬遜雲科技的認證。有了這樣的解決方案,我們的客戶就可以非常快速地內建他們的資料,還可以基于他們核心的資料庫來開發應用。亞馬遜雲科技将會不斷地向開源社群做新貢獻。

​5. Amazon GuardDuty RDS Protection

智能化威脅檢測,守護資料安全

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

為了保護 RDS 資料庫的安全,亞馬遜雲科技還宣布推出 Amazon Guard Duty RDS 保護解決方案。隻要一個點選,Amazon Guard Duty RDS Protection 就可以在 Amazon Aurora 上面運作基于機器學習的智能威脅檢測來保護你的資料,這也為企業資料保護提供了基礎,讓你可以在不同的資料存儲位置中把這些連接配接起來。

​6. Amazon Glue Data Quality (Preview)

更好地管理資料湖品質

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

提到資料湖與資料品質,Swami 博士表示,保持資料品質需要各種手動建立的資料品質規則。為了更好地幫助客戶來管理資料湖中的資料品質,Swami 博士宣布推出 Amazon Glue Data Quality 解決方案。

Amazon Glue Data Quality 可以進一步萃取資料價值,保證資料治理。每天從資料中自動建立資料品質規則,隻需花幾個小時的時間就可以産生新鮮的高品質資料,以便客戶每天都能做出更明智的關鍵決策,這項服務可以将人工工作從幾天減少到幾小時。

​7. Centralized Access Controls for Redshift Data Sharing

簡易且安全的資料通路權限管理

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

為了簡化 Redshift 資料通路權限管理,Swami 博士宣布推出 Centralized Access Control for Redshift Data Sharing 平台。基于這個平台,你可以非常容易地在内部運作一個集中的資料管理,通過這項服務你可以管理不同的查詢,也可以管理擷取某一種資料的權限,這也有助于維護資料安全。客戶能夠在運作權限管理的情況下進入各個不同的資料分布。

​8. Amazon Redshift auto-copy from S3

簡化資料分析與移動

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

Swami 博士指出,客戶正在尋找更簡單的方法來移動和分析大資料,亞馬遜雲科技希望做到這一點。Amazon Redshift auto-copy from S3 是一個新的自動複制功能,使建立和維護簡單的資料接收管道變得更加容易。

  • 增加了資料治理和地理空間工具的機器學習平台,助力機器學習普惠化

1. ML governance with Amazon SageMaker

三項新功能上線

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

現在越來越多的企業開始利用機器學習來進行資料管理,而機器學習技術又有着極高的技術門檻,是以很多客戶都需要募集資料科學家和資料工程師,耗費人力與物力。此外機器學習模型也難與他人共享。如果有一項工具可以解決這些難題,将是客戶的絕佳助力,是以我們推出 Amazon SageMaker。

Amazon SageMaker 推出五年來,亞馬遜雲科技一直穩步地實作 SageMaker 的産品更新,并使其成為企業最廣泛使用的 ML 平台之一。Swami 博士宣布,Amazon SageMaker 将推出三個機器學習的新功能,來簡化通路控制,增強端到端機器學習部署的透明度、模型治理和可審計性。

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

三個機器學習的新功能分别是:Role Manager、Model Cards 和 Model Dashboard。SageMaker Role Manager 通過自動政策建立工具幫助組織為使用者定義關鍵權限;Model Cards 主要是為 ML 模型文檔建立一個中心權威位置;Model Dashboard 為組織提供了 ML 模型性能的可見性和統一監控。Swami 博士表示:“這些是非常強大的治理功能,将幫助您建構 ML 治理責任,以解決權力權限共享問題。”

​2. Geospatial ML with Amazon SageMaker (Preview)

模型預測實作在地圖上的可視化

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

近年來,地理空間資料在許多行業中的普及率大幅增長。但是處理地理空間資料也同樣會面臨各種挑戰,為了應對這些挑戰,亞馬遜雲科技宣布 Amazon SageMaker 現在支援 Geospatial ML,隻需單擊幾下即可通路各種不同的資料,根據模型生成的預測也可以在地圖上可視化。

同時,新的地理空間功能将 SageMaker 的 ML 模型建構能力範圍擴充到新興的地理空間工程領域,用于災害應對、城市規劃、物流和運輸等應用。Swami 博士說:“長期以來,我們一直緻力于使 SageMaker 成為一個能夠容納多種資料類型的平台,而您在地理空間中看到的絕對是正确的方向。”

​3.Provided 40+ New Data Connectors to Data Wrangle

更多的資料連接配接器上線

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

為了幫助使用者更好地使用外部資料執行ML模型的建構與訓練,Swami 博士宣布亞馬遜 SageMaker 的幾十個新資料連接配接器補充了為 LinkedIn 和 Google Ads 等平台以及 Snowflake、Salesforce 和 SAP 等其他應用程式推出的其他22個新連接配接器。Swami 博士說:“今天,Amazon SageMaker Data Wrangle 再次新增40多種新的資料源,可将彙總和準備機器學習 (ML) 資料所需的時間從數周縮短至幾分鐘”。

​4. Amazon Machine Learning University

now provides educator training

長期踐行資料普惠化

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

Swami博士強調,讓資料普及,這是一個非常重要的行動,我們最終的目的是将資料普惠化。亞馬遜雲科技正在幫助社群學院和 MSIs 加大教育力度,推出新的亞馬遜雲科技機器學習大學教育教育訓練計劃,提供動手教育訓練課程,幫助下一代建構者做好準備。此外,低代碼和無代碼工具對許多企業來說也是一個重要的補充,Amazon SageMaker Canvas 還為使用者提供了一個無代碼選項,可以幫助使用者無需編寫代碼即可實作基于機器學習的預測。

最後,Swami 博士指出:“所有的設計靈感、創新靈感都是從一個點子開始,然後大家一起努力,為下一步的創新再去做努力。”我們用16年來的雲計算技術積澱,去激發一個點子、推動下一步創新,亞馬遜雲科技所有的資料服務都緻力于幫助您的企業更好地利用資料發揮關鍵作用。

抓住新一輪發展機遇

勢必要建構合适的資料戰略

欲知亞馬遜雲科技如何助力企業開啟創新旅途

點選複制下方連結即刻參會

https://www.awsevents.cn/reInvent2022/?s=7982&smid=14878

與我們一起探索雲科技的無限可能

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

讓我們共同見證亞馬遜的一小步

雲計算的一大步

亞馬遜雲科技資料産品掌門人Swami揭秘雲原生資料戰略的三大要素

繼續閱讀