新東方人工智能中台實踐和AI部門管理經驗分享

2021-08-31 21:36

新東方APP

閱讀(1293)

評論(0)

編輯

舉報

作者：新東方AI研究院院長張建鑫, 網址：https://ai.xdf.cn/

有句話講，技術總是在短期内被高估，而在長期内被低估。您認為人工智能技術目前是被高估還是被低估呢？

人工智能技術的發展曆史已經很久遠了，現在的AI頂流-人工神經網絡理論研究工作最早發生于1943年，在1980年代由Hopfield完成了基礎理論的突破，引發了1985年以後持續的人工神經網絡研究熱潮， Hinton和他的學生們在基礎理論的指導下長期努力，終于在2012年推出了Alex Net取得了技術上的重大突破，在那之後更多的人工神經網絡模型被提出來，實用效果越來越好，導緻了很多人工智能公司的成立，在2015年微軟推出殘差網絡模型和2018年谷歌推出Bert網絡模型後，人工智能算法的工業化前景越發清晰，很多傳統行業公司都跟風成立了AI研發部門，近幾年AI技術的發展腳步越來越快，讓市場普遍産生樂觀情緒，認為未來已來。但是現在的AI技術在模拟人類感覺能力方面表現尚可，而在模拟人類認知能力方面依然征途漫漫。理論和算法是人類的公共知識和共同财産，目前在各種商業應用裡取得算法競争優勢的首要因素不是作為公共知識的算法，而是具體業務場景規則（熟悉業務）和這個業務場景下使用者産生的海量資料（資料優勢），通過對資料的自動、半自動和人工标注再加上AI算法的泛化能力我們可以實作在某種程度上的case窮舉，把某個業務場景裡積累的大資料優勢轉化為這個業務場景裡的算法優勢，可以說是在用大資料解決小問題，但由于神經網絡算法解決的大多是NP完全問題，是以歸根到底其算法推理模型隻是一個無限逼近完美的近似解，很難做到100%的準确率。與神經網絡算法不同，人類經常可以根據蛛絲馬迹的少量資訊就推導出正确的結論、甚至還能發現新的規律和符合邏輯的定理公式，是以人工智能理論和技術距離成熟還有很長的路要走，黑盒的人工神經網絡模型很可能不是人工智能技術的終極答案，神經網絡技術目前依然還是一個依賴大資料和算力的，理論性較弱的，工程性很強的算法。但即便如此，人工神經網絡算法目前的進步已經足以讓它在很多工業、農業和商業領域取得成功。除了算法、資料和算力這三個因素，為了取得更好的效果，我們還必須重視對業務規則的透徹了解和相關的資料開發工作，重視組織管理，重視基礎設施建設和降本增效，確定在使用與競争對手類似的算法技術的情況下，可以用更低的成本，更快的速度，取得更好的算法效果。2018年後随着AI技術在媒體曝光的大幅增加和資本的踴躍投入，AI技術短期内處于被高估的狀态，但是AI技術的落地卻顯得困難重重，有的企業家講，在人工智能技術上投入了15個億，換來的隻是網速快了一點點，低效的資本狂歡過後，部分企業家對AI技術的評價不可避免地滑落到低估傾向上。

造成這個現象的原因是什麼呢？

任何一項科技成果産生社會價值都會經曆三個階段的突破，第一個階段是大學和研究所裡的理論突破，這是沒有任何功利性質的理論發明和理論完善的階段，這個階段通常沒有資本的介入，歲月靜好紅塵無擾。

第二個階段是在實驗室中理論聯系實際的技術突破。新技術研究和算法研究雖然還是偏研究性質，但已經是即将沖出地平線的太陽，已經讓世界看到了曙光。這個時候資本已經嗅到機會，紅塵滾滾而來。

第三個階段是應用工程突破，就像蒸汽機的發明曆史一樣，隻有把一項新技術經過了工業化和應用工程化改造，把新技術應用成本大幅度降低，并且通過橫向和縱向的分工把學習門檻大幅度降低下來後，才可以廣泛地應用到各行各業。工程化的本質就是用自動化替代簡單人類勞動，用精細化分工讓一個人難辦的事變成多人協作，結果是許多普通工程師都可以參與到大分工裡發揮作用。回顧計算機軟體工程過去40年的發展曆程。1980年代，似乎非斯坦福畢業的寫不了計算機程式，90年代非985畢業的不可，2000年代非211畢業的寫不了代碼，2010年代，各個軟體公司雇傭着許多經過簡單教育訓練的程式員從事寫程式設計工作，我不是說軟體工程不再需要精英程式員了，而是說軟體工程經過多年的精細化分工和管理方法疊代後，分化出了大量普通崗位和角色，這些崗位是允許經過簡單教育訓練就可以參加的，并且一部分原來必須由人完成的工作，現在也已經可以自動化完成了，因為各種開源架構和基礎元件的發展，程式員也不需要重複造輪子了，軟體工程這個工業化組織體系也已經進化得非常複雜和高效了，可以吸納各個層次的從業人員參與其中,軟體工程管理方法經過好個版本的疊代（瀑布、靈活、Devops等等）也越來越先進和高效，對團隊進階管理者的要求也提升了很多，新技術理論消滅舊的工作崗位的同時，也創造着大量新的工作崗位，改造着人們的工作方式、協作方式和管理方式。

換個角度再看，90年代求伯君一人寫出了WPS，張小龍一個人寫出Foxmail後以2000萬人民币賣給了騰訊。20年後張小龍的微信研發團隊有2000名多正式員工，主打WPS軟體的金山辦公也已經有3000多人的團隊了。現在軟體領域再也沒有一個人單挑就能震動天下的軟體産品，而20年前的堪稱神作的個人軟體放到今天可能會被迅速拆解為20人軟體工程團隊幾個月的工作量，使用者體驗還可能做的更好，沒有了神秘感。

今天軟體工程對産業界的作用，是我們在20年前隻能想像無法實作的。如果我們相信人類的一切不過是在不斷地重複曆史，就應該相信AI應用工程化的路徑很可能會參考軟體工程的曆史，也會以20年周期來計算，20年是一個說長不長的過程，但足以讓很多不堅定的人掉隊，并失去他們相信過的未來。

新東方的企業文化強調“做正确的事，和正确地做事“。

正确的事是用心來判斷和選擇的，要明心見性，正直、豁達、樂觀才能看到并堅持正确的事情，而正确地做事則是要用腦子去思考如何執行落地，在執行前要略微悲觀地想到各種可能的困難和潛在的問題，謀定而後動，執行時又要樂觀、積極地提高效率、降低成本、減少阻力、少走彎路、to make it happen、to get things done。無論市場對AI是高估的還是低估的，無論大V們對AI應用前景是如何判斷的，無論人工智能技術的下一個突破方向是什麼,教育+AI一定是一個正确的大方向，隻是長路漫漫，很多不起眼的基礎工作必須要有人去做，不能既沒有理論突破，又沒有工程進展。本文通過新東方人工智能研究院的技術管理實踐和AI中台建設實踐，介紹了如何管理AI研發部門的一些思路，和一些AI研發工作中的降本增效方法，以及一些AI中台産品規劃和AI中台建設思路，希望這篇文章能幫助到同行的其它AI工程團隊去降本增效，彰顯出人工智能技術對業務的賦能作用和創新價值。

人工智能研發部門的KPI或者OKR應該是什麼？

首先應該看到，大部分公司的存在目的主要是持續地服務客戶并創造經營利潤，一家沒有增長還持續虧損的公司不可能長久地活下去。然後再來看AI研發部門的存在目的是什麼？顯然公司裡的部門要有能力服務于客戶，或者創造利潤才能活下來，創造利潤無非通過兩個手段，一個是擴大收入，另一個是降低成本。擴大收入往往是公司業務部門的責任，而公司職能部門存在的意義是服務公司主營業務并努力降本增效，否則這個職能部門就沒有存在的必要和存在的意義。

AI研發部門的首要KPI自然是要去服務業務，是以要認真思考三點。一是要去思考算法團隊有沒有能力支援業務需求，二是要去思考支援業務的效果如何？三是要去思考自研成本有多高？如果自研的成本效益不如供應商，并且公司的業務近幾年内也不會擴張，為什麼不考慮外購系統或者聘請外包團隊呢？通常我見到的算法研究人員比較缺乏成本意識和整體意識，但是企業對研發工作是要算經濟賬的，如果AI研發部門不重視這一點，企業的AI算法工作就不可能做好，就很可能被業務方吐槽甚至棄用，最終導緻算法研發工作的失敗，甚至AI部門被撤裁。

一家公司的AI研發部門的最大優勢在于可以拿到本公司特定業務場景裡的特定資料，通常一個算法，如果沒有特定場景的業務規則要求，也沒有積累海量的特有資料，外購通用算法服務就是最好的選擇，這種情況下企業AI部門就不要去自研了。企業AI研發部門選擇做正确的事情時，首先要在公司整體利益的指引下排除掉不正确的事情，然後就是一定要抓住可以擷取本公司特色資料的優勢和熟悉本公司業務規則的優勢，圍繞公司的核心業務開展算法研發工作，圍繞降本增效來做文章。由于資料和規則都要花很多時間積累，是以需要有算法團隊長期維護和疊代算法模型，不斷地進步取得更好業務效果。

是以AI算法團隊的首要業務名額很明顯就是要用更低的成本和更好的效果去賦能業務。舉一個案例，新東方自研的人臉考勤機系統的硬體成本為850元，XX雲的人臉打卡機的報價為每台4000元，如果需要把人臉考勤機系統和公司的教務班課系統打通，還需要額外付給XX雲一筆ODM研發費用。新東方有幾十所學校和幾千個校區，外購人臉打卡機和自研人臉打卡機器的費用計算下來的差距在2千萬元人民币以上，而新東方AI研究院在人臉考勤機系統研發的全部人力投入不超過6個人，研發成本可忽略不計，成本優勢明顯，效果呢？新東方自研的人臉打卡機和新東方教務系統打通後，每天在營業時段裡，對比當天到校師生的照片，算法識别準确率非常高。而通用的人臉打卡機則需要上傳所有學生照片到雲端，打卡時在幾十萬人的照片庫裡查找比對人臉，出錯機率比較高，并且把人臉上傳雲端的做法還會涉及隐私問題。公司是要控制成本的，當一個标準化産品和公司核心業務的關系不是特别緊密的情況下，公司通常會考慮外購，隻有當自研産品具有明顯的成本優勢時，公司才會去考慮自研方案。

其次應該看到，人工智能技術是很新的技術，在目前階段把AI技術和任何業務結合都會産生發明專利，是以AI團隊必須重視創新，同時發明專利必須和業務緊密綁定才有意義。

我始終認為企業AI研究院應當主要從事新技術的應用研究和工程研究，而拓展人類知識邊界的理論研究工作應當交給非營利的科研機構去做。新東方人工智能研究院六十幾位員工在過去一年裡送出了90多項發明專利，主要是圍繞題庫試卷文字識别、自動批改、智慧教室，雙師AI課，和AI學習機展開的，都是和公司主營業務綁定的創新産品研發任務，沒有去搞和業務沒有關系的湊數發明。由于人工智能技術太新，業務方往往不知道如何應用人工智能技術，這就要求人工智能研發部門要主動地發現AI賦能業務的機會，也要求人工智能部門不能僅僅滿足于技術層面創新，也要努力嘗試産品層面創新，主動在産品裡應用新技術和新方法來啟發業務創新。打個比方，如果業務方是用馬拉車做客運的，業務方通常給研發部門提的要求是怎麼能讓馬車更漂亮舒适一些，讓馬拉車的效率更高一些，而不是想到用更廉價更快速的汽車來取代馬車。新東方AI研究院設計推出了新東方口語小程式和新東方作業批改小程式，融合了大量教育人工智能技術發展成果， 2021年暑期月活使用者達到30萬，滿足了學生和教師的部分教學需求。過這兩款小程式，我們搜集到上億條高品質的少兒英語口語測評資料，和中國小生的中英文手寫體資料，這些資料又進一步讓我們具備了更多的資料優勢，同時由于産品功能設計的原因，很多資料是産品功能自動标注的，不需要經過人工資料标注，是以降低了資料研發成本，還提高了算法的效果。

AI部門有三個重要的開銷，一個是GPU訓練和推理伺服器的成本，第二個是資料的成本，第三個就是研發人力成本，通常研發部門可以持續優化人力但是研發部門的人力成本正常是降不下來的，是以降低人力成本的關鍵是提高研發人效，通過系統支援在人均工作時間不增加的情況下讓單兵産出暴增，這點在目前AI技術管理體系和工作支援系統還沒完善的情況下，是有很多文章可以做的。降低資料成本主要是降低人工标注比例，和提高資料标注人效，這點要通過資料工程和資料标注系統來實作，建設AI資料标注系統的另一個重要作用是可以保護資料資産安全，保護資料安全就相當于保護算法研發成果。GPU伺服器有訓練用途和推理用途，其中訓練用途的伺服器是非常昂貴的，動辄上百萬，電費消耗也相當驚人，就像太上老君的煉丹爐。我們不能讓煉丹爐閑下來，也不能讓算法工程師排隊去等煉丹爐做實驗，線上的算法推理伺服器也不可以有太多的閑置，這就要用到AI Devops工程技術體系，一要實作算法訓練伺服器的水準擴容和監控管理，二要實作推理伺服器共享GPU資源池和算法實力的彈性擴容縮容。

新東方人工智能研究院經過一年多的綜合治理，人均AI算法産出提效10倍以上，伺服器的成本則下降到原來的三分之一，降本增效的同時，也找到了很多和業務聯合創新的路徑，通過業務牽引和創新驅動，在人員沒有增加的情況下，發明專利數量迅速增加。

總結一下AI部門的核心KPI或者OKR

1、 AI算法工作一定要圍繞業務展開，

2、圍繞業務多搞發明專利

3、圍繞業務多搞産品創新，提高人工智能技術的價值創造能力

4、用一切方法降本增效，研發各種算法工作配套的軟體系統，磨刀不誤砍柴工，欲善其事必先利器。

為了實作AI算法團隊的KPI目标，可以參考下面這張組織架構圖來組成團隊，圖裡包含了兩種組織，一種是專注不同研發方向的技術團隊，另一種是是專注不同提效用途的軟體系統, 這些軟體系統組合起來形成了AI中台。兩者有機地結合起來，對内形成了高效合作的氛圍，對外可以更廉價高效、和快速地支援好業務。由于組織間低耦合，組織内高内聚是以整個團隊呈現出非常好的執行力。算法開放平台系統提高了客戶的自助服務比率，産品經理作為客戶和算法團隊的中介，有效地提高了整部門的工作效率。

AI研發部門的核心是算法團隊，目前有三大算法方向， NLP，計算機視覺，智能語音。三者之間術業有專攻，人員不能互相替代。各算法團隊的工作主要是在業務目标的引領下做大量算法實驗，神經網絡模型的算法實驗有點像使用者增長的A/B test，可以認為是一種大資料工程或者是一種數學工程，需要多訓練出一些模型來互相比較效果，做算法實驗之前，算法工程師要準備大量已經标注好的資料，為了降低資料成本，自動标注的資料比例越大越好，因為人工标注資料是很貴的。用OCR文字識别舉例子，列印體文字識别的資料物料100%可以通過CV算法增強合成，可以把文字輸出到圖檔上，圖檔疊加各種模拟效果，産生海量資料後再進入人工智能神經網絡進行端到端的模型訓練。有些資料比如手寫體文字則必須經過人工标注，但人工标注後的資料同樣可以經過資料增強處理泛化成幾倍的資料。算法工程師的多半時間是用來寫代碼做資料處理，其他時間用來讀論文和讀源代碼做算法選型，做模型加速和寫發明專利。在組織架構還沒成熟的AI研發部門裡，算法工程師要做很多雜事，例如API封裝，上線運維、對外溝通等工作，這樣會讓算法研發工作效率大打折扣，是以圍繞算法工程還需要搭建一系列的團隊和軟體系統。

如果想要降低人工标注資料的成本，提高資料标注的人效和品質，保護人工标注的資料安全，就必須要自研AI資料标注系統，充分利用系統工作流拆解任務的能力和網際網路衆包平台的廉價勞動力來降低資料成本。

算法研發依賴的各個軟體系統都需要産品經理和軟體工程師的支援，如果沒有産品團隊和軟體團隊的支援，AI中台是建不起來的，AI研發部門的效率也提不起來，成本也降不下去。

測試開發和運維開發團隊是非常重要的算法研發支援團隊，他們用一年多時間建設了AI算法和軟體的CICD流程以及支援系統，支援算法的灰階釋出和線上復原，還基于Docker實作了GPU伺服器的資源池共享和算法的彈性擴容縮容，打通了算法開放平台、資料标注系統、和模型工廠實作了AI算法研發的自動化大閉環系統。通過幾十個不同的AI算法共享一個GPU資源池，以及算法的彈性擴縮容機制，測試運維開發團隊大幅地降低了GPU伺服器成本，提高了GPU資源使用率和線上算法服務的穩定性。

AIOT智能硬體是今天人工智能研發繞不過去的主題，是以AI中台也要包含AIOT管理系統，相當于研發一個AIOT底座，這個底座實作了資料管理，遠端控制，遠端更新，裝置巡檢和報警等标準化的AIOT基礎服務，以後所有新立項的智能硬體都可以在這個底座系統上快速開發上線。

發明專利交底書的撰寫是一個比較專業的事情，和專利律師、國家專利局打交道都是非常花時間的事務性工作，是以AI研發部門需要一名經驗豐富的科研助理來提高專利交底書的撰寫效率、提高對外溝通的效率，讓算法工程師可以有更多的時間專注于算法研發工作。

由于認知盲區，算法工程師自測的算法效果通常會比線上真實效果好一些，是以必須由AI測試開發團隊負責算法的交叉測試和撰寫專業的準出報告。在工作中經常發現，在特定業務場景下效果好的算法模型，很可能在通用場景下效果就差一點兒，是以我們首先要專注于本公司的業務場景來開發算法模型，而不是貪大求全。下面這張圖是算法測試報告截圖。

總結一下人工智能部門的組織架構和分工

1、 AI部門組織架構由專業團隊和專業軟體系統兩部分構成，

2、組織分工和角色定義的原則是，盡可能減少團隊間的依賴和溝通，盡可能增加團隊内的溝通和協作。各個算法闆塊内部通常由一位算法博士（也要求有代碼工程能力）帶隊，團隊主體由工程能力較強的碩士組成。AIOT團隊，軟體工程團隊，測試開發團隊，産品經理團隊，科研助理都是AI研發部門必不可少的組成部分，目的都是為了提高AI算法的有效産出，幫助算法快速有效地賦能業務，顯著提升人效并降低成本。

3、軟體系統有：AI算法開放平台，AI資料标注系統， AI模型工廠，AIOT底座，還有一些用來展示AI能力和搜集資料的小程式和解決方案。新東方口語和新東方練習助手兩個小程式搜集到的資料有力地提升了新東方AI算法的效果。算法工程完成了一個模型的上線後，模型工廠可以讓人工标注的資料不出系統，直接進入算法訓練伺服器，系統自動啟動算法訓練腳本，訓練完畢後自動釋出推理模型。隻要标注系統産生了足夠數量的資料，算法的訓練、上線、性能測試、準出都由系統自動執行，不必占用研發人力。

AI研發部門各組織和系統之間的協作圖如下

推薦讀者通路新東方人工智能開放平台檢視AI解決方案簡介，試用新東方人工智能算法開放服務和教育類小程式AI産品并留下寶貴意見。

下面介紹一下新東方在教育+AI領域的部分工作。

新東方AI研究院以每間教室不到3000元的低成本實作了智慧教室裡的無感人臉打卡，AI督課，AI補課等業務。并且設計開發了低成本的雙師AI課智能裝置，和低成本的校區人臉打卡機，并在研發過程中申請了幾十項發明專利，在成本和效果上優于其他供貨商。為了支援這些智能裝置的研發工作，還研發了AIOT底座系統支援新型智能裝置的快速研發上線，避免重複建設。

我們在國内實作了使用真正的AI算法進行千班千面課堂AI互動的雙師錄播課。讓孩子們在沉浸式的AI互動錄播課裡産生了良好的體驗和學習效果。

經過一年的努力，新東方AI研究院已經掌握了人臉技術，和人體姿态手勢檢測等技術，并成功地應用到校區人臉考勤機，雙師AI互動課，闆書檢測，學生行為檢測，和各種各樣的文字識别技術，學習機指讀技術等領域，為業務轉型和産品創新奠定了良好的基礎。

國小公式AI答案批改的效果超過了國内主流人工智能服務平台

英文作文手寫體識别效果可以滿足英文作文批改，英文單詞聽寫批改的需要。

在BEA公開資料集的英文作文批改國際競賽裡取得過第一名。

新東方托福口語測評算法參考了ETS的打分标準，把ETS口語考試的各種能力要求進行了量化打分，明确地指出學生口語發音在細分能力次元上的問題和分數，讓學生在AI口語測評算法的幫助下快速修正發音習慣，提高口語考試成績