天天看點

周博通 | 阿裡開源首個 DL 架構、4000台伺服器真實資料集;明年1月開源Blink

阿裡開源首個深度學習架構 X-Deep Learning

周博通 | 阿裡開源首個 DL 架構、4000台伺服器真實資料集;明年1月開源Blink

以深度學習為核心的人工智能技術,過去的幾年在語音識别、計算機視覺、自然語言處理等領域獲得了巨大的成功,其中以GPU為代表的硬體計算力,以及優秀的開源深度學習架構起到了巨大的推動作用。

盡管以TensorFlow、PyTorch、MxNet等為代表的開源架構已經取得了巨大的成功,但是當我們把深度學習技術應用在廣告、推薦、搜尋等大規模工業級場景時,發現這些架構并不能很好的滿足我們的需求。

X-DeepLearning正是面向這樣的場景設計與優化的工業級深度學習架構,經過阿裡巴巴廣告業務的錘煉,XDL在訓練規模和性能、水準擴充能力上都表現出色,同時内置了大量的面向廣告/推薦/搜尋領域的工業級算法解決方案。

X-DeepLearning(包括核心訓練引擎及算法解決方案)的代碼已經在Github開源,位址如下:

https://github.com/alibaba/x-deeplearning 戳此看:XDL的設計理念及關鍵技術

阿裡開源4000台伺服器真實資料集

周博通 | 阿裡開源首個 DL 架構、4000台伺服器真實資料集;明年1月開源Blink

2015 年,阿裡巴巴的資料中心,将延遲不敏感的批量離線計算任務和延遲敏感的線上服務部署到同一批機器上運作,讓線上服務用不完的資源充分被離線使用以提高機器的整體使用率。

經過 3 年多的試驗論證、架構調整和資源隔離優化,目前這個方案已經走向大規模生産。我們通過混部技術将叢集平均資源使用率從 10% 大幅度提高到 45%。另外,通過各種優化手段,可以讓更多任務運作在資料中心,将“雙11”平均每萬筆交易成本下降了 17%。

為了讓有興趣的學生以及相關研究人員,可以從資料上更加深入地了解大規模資料中心,我們特别釋出了這份資料集(Alibaba Cluster Data V2018)。資料集中記錄了某個生産叢集中伺服器以及運作任務的詳細情況。我們希望這波資料的釋出可以拉近我們與學術研究、業界同行之間的距離,促進行業的進一步發展。

下載下傳位址:

https://github.com/alibaba/clusterdata/blob/v2018/cluster-trace-v2018/trace_2018.md 戳此看:世界級資料中心的深度解讀

阿裡巴巴内部 Blink 将于明年1月開源

周博通 | 阿裡開源首個 DL 架構、4000台伺服器真實資料集;明年1月開源Blink

今年,實時流計算技術開始步入主流,實時流計算引擎和 API 諸如 Spark Streaming、Kafka Streaming、Beam 和 Flink 持續火爆。阿裡巴巴自 2015 年開始改進 Flink,并建立了内部分支 Blink,目前服務于阿裡集團内部搜尋、推薦、廣告和螞蟻等大量核心實時業務。

12 月 20 日, Flink Forward China 峰會在北京國家會議中心召開。在大會的主題演講上,阿裡巴巴集團副總裁周靖人宣布,阿裡巴巴内部 Flink 版本 Blink 将于 2019 年 1 月正式開源!我們希望通過 Blink 開源進一步加深與 Flink 社群的關聯,并推動國内更多中小型企業使用 Flink。

持續關注阿裡技術公衆号,我們将第一時間帶來 Blink 開源的詳細資訊。

猜你想了解Blink:

Apache Flink 幹貨合集打包好了,速來下載下傳 阿裡巴巴為什麼選擇Apache Flink? Flink 的新方向在哪裡?

精心籌備30個月,阿裡首家未來酒店FlyZoo Hotel正式開業

周博通 | 阿裡開源首個 DL 架構、4000台伺服器真實資料集;明年1月開源Blink

全場景人臉識别住宿、智能梯控、機器人調酒、機器人送拖鞋……近日,阿裡巴巴在杭州開的首家未來酒店FlyZoo Hotel(中文名字“菲住布渴”)終于迎來開業。

“菲住布渴”酒店依托阿裡強大的技術與生态支援,實作了全場景身份識别響應和大面積的AI智能服務。住客從大堂到電梯再到房間,乃至餐廳、健身房等場地,都涵蓋人臉識别、語音控制、智能機器人等黑科技服務。酒店無前台,大堂有服務大使,可以随時響應住客的需要。

如果住客需要多些護膚品、缺雙拖鞋、叫個餐什麼的,也不用再麻煩撥打前台電話,通過天貓精靈就行。收到指令後,背景的從業人員會把東西準備好,再讓機器人為您送貨上門。除此之外,在餐廳,給客人上菜的也是機器人服務員;去大堂演藝吧,機器人調酒師,還會給住客制作多種不同的酒類和咖啡。

這些沉澱下的能力将很快有機會賦能到相關行業。而坐落在親橙裡的這座未來酒店,也将同身邊的智慧門店、新餐飲等一道,共同在這個新零售體驗中心,為人們帶來關于未來的更多想象。

你有一封阿裡師兄的來信

周博通 | 阿裡開源首個 DL 架構、4000台伺服器真實資料集;明年1月開源Blink

随着新一年腳步的臨近,不少新同學收到了阿裡2019校招的Offer。将要告别校園生活的,即将在阿裡開啟新的旅程,相信同學們一定有很多的期待和好奇。

這次,我們邀請了多位阿裡技術大牛:阿裡雲人工智能中心負責人華先勝、螞蟻金服副CTO胡喜、達摩院資料庫首席科學家李飛飛、阿裡雲智能事業群研究員小邪,為所有新同學寫了一封别緻的信。希望能在這個冬天,會為你送去一份暖意。期待我們一起開啟更好的2019。

傳送門:

你有一封來自阿裡師兄的來信,請查收

原文釋出時間為:2018-12-24

本文作者: 今晚平安夜哦

本文來自雲栖社群合作夥伴“

阿裡技術

”,了解相關資訊可以關注“

”。

繼續閱讀