天天看點

耳目一新的線上答疑服務背後的核心技術

耳目一新的線上答疑服務背後的核心技術

學霸君于 2012 年 11 月份成立,CEO 張凱磊在天津組建團隊,他以前是做教育這一塊的,是以當時考慮的還是做教育這塊,經過一系列的頭腦風暴,最終選擇了學生課後作業、試卷答疑等高頻的行為做目标。

2013 年,第一版拍照搜題 APP 上線,這個時候還是半人工的,也有機器拍照搜題的能力,但還是有機器無法解決問題的時候,這就要調動人工答疑部門,幫他們進行收集或者答題,給答案。

2014 年 5 月 30 日,學霸君上線了很重要的版本,這個版本以後是完全的自動化系統。在這個系統裡面,将會完完全全用電腦和伺服器完成,包括從使用者拍照到上傳圖檔,到資料分析,到題庫搜尋,到給出答案等過程。之後,2014 年 8 月 30 日的時候,我們又上線了第二個重要版本,在這個版本裡面,最火熱的搜題技術取代了傳統的技術。通過更新,我們搜題命中率從 65% 提高到了 75%,使用者達到 100 萬。然後到去年 1 月 30 日,第三版系統正式上線,加入了另外一個技術,進一步提高了系統的能力,命中率達到 87%。

2015 年 8 月 30 日,第三版系統臨近新版本的疊代,命中率達到 93%,使用者已經達到 2200 萬,累計搜尋達到 10 億次。随後,2015 年 9 月,我們推出 1V1 線上實時答疑系統。到今年 4 月份,使用者大概 4 千萬左右,拍照搜題日活躍将近 200 萬,1V1 的實時答疑每天到 2 到 3 萬單,完成了 20 億次學生拍照搜題,以及 200、300 萬線上視訊答疑的資料。

耳目一新的線上答疑服務背後的核心技術

為什麼推出實時答疑?因為不僅現在,包括我們自己當年作為學生的時候也有這個情況,比如很多時候寫一個作業,可能我們思考很長時間還是無法解決問題,這種情況往往就同學之間互相咨詢一下,很少想到麻煩老師,因為想到老師可能時間比較少。然後,學生就會有很多問題累計在這個地方,時間一久就不了了之,我們再也不會考慮解決這樣的問題了。

同時,我們發現市場上二三線城市老師薪酬比較低,空閑時間比較多。我們做調查時發現,有些三線城市老師即使是特級職稱,有十多年的教學經驗,每個月工資可能也隻有三千塊,他們的薪酬是相對上海一線城市來說是很低的,但是因為他們有這麼多年的教學經驗,已經不需要花太多時間備課,是以空閑時間比較多。

大家也知道,我們這個教育教育訓練市場很大,因為家長是不計成本的,會願意投入大量的金錢,希望自己的孩子能夠提高他們成績。

基于這三方現狀,我們推出了實時答疑。

此外,雖然很多學生和老師之間距離千山萬水,但利用現在友善的移動端、電腦端和網際網路,我們能夠大幅度縮短彼此之間距離,僅僅通過幾秒的連接配接,就可以把一個優秀老師,送到一個待需要解決問題的學生面前。

在這之前,通過拍照搜題,可以進行相應的關鍵詞搜尋,擷取類似題目,然後返還給學生,幫助他們搞明白怎麼解這道題。但是,有一些學生即使看到類似的題目和答案,還是沒有辦法了解這道題目。是以我們提供線上答疑,老師跟學生「見面」以後,學生上傳題目,老師在點陣筆上面進行解答,包括畫圖,同時所有的記錄都會實時回報到學生的界面上面,這樣可以讓學生和老師進行實時的互動,進而解決學生的困惑,做到今日難題今日畢。

當年做第一個産品時,思考的核心問題就是,怎麼樣才能夠擷取一個個學生的資訊,然後根據不同學生的情況,通過統計分析找到不同的知識弱點,進行針對性的傳授。就像外面線下教育的一對一教育訓練一樣,我們也是走這樣的方向。現在有一個很流行的詞語叫做自身學習,都是一個意思。

是以接下來的問題就是,如果碰到一個學生,怎麼知道他的具體情況呢?我們打算先從他們日常接觸的書和試卷着手。其實最早的時候我們就已經覺得,學生答疑是很好的切入點,學生每天都有高頻的需求,希望能解決作業,但是我們要解決這樣的問題,首先的一個問題就是怎麼做文字識别和文字提取。一開始我們想,不就是光學的識别嗎?購買一些産品或者使用一些公開的 API 應該就能夠解決,但是後來發現市場上沒有現成的技術,沒有能夠達到适合我們方向的應用。

我們在實驗當中發現,學生在上傳的時候不會像我們做測試那麼規則,極端情況下,可能學生在考試的時候也會偷偷拍照,這樣産生的圖檔就會有各種各樣的問題,包括形變、模糊,或者架構、線條等等,是以我們不僅要識别中文,還要識别英文,以及是不是單雙欄,是不是有圖檔或者表格等等。

耳目一新的線上答疑服務背後的核心技術

2013 年初,開始拓展自己的一套核心識别技術,先是從印刷體的中文識别入手,然後逐漸走到現在的手寫、試卷識别,還有版面分析、高并發圖象處理架構,以及公式識别、英文識别、表格識别、圖象識别、自然語言處理等等。我們通過針對性研發,适應不同的平台,然後成立圖象識别、資料挖掘等小組,支撐這一系列的技術研發。

耳目一新的線上答疑服務背後的核心技術

在做文字識别的時候,最早還是用傳統的方法,比如說真人相機等等,識别率接近 93%。現在我們用最流行的深入學習技術,大家可能也有一些了解,像是最近阿爾法狗的比賽。我們目前在做的中文識别,訓練字元已經達到了 20 個億,單字元識别率達到 95%。

耳目一新的線上答疑服務背後的核心技術

這是使用者上傳的圖檔,在做過一些相應的預處理後,我們會把裡面的每個文字塊切割出來,把它們放進我們的識别網絡進行處理,最後得出識别結果。同時,我們也把這種學習技術用到很多其他的領域,比如圖象恢複技術。

耳目一新的線上答疑服務背後的核心技術

我剛剛講的,為什麼我們當時沒法用市面上的一些 OCR 技術,就是因為學生上傳的圖檔實在是太難以辨認了。我們後來通過生物學技術進行解決,首先收集、标注大量圖檔,同時搭建 GPU 叢集訓練深度神經網絡,然後通過生成模型來進一步應用。

耳目一新的線上答疑服務背後的核心技術

我們也有手寫識别,在學生上傳的題目和作業裡面,不隻是印刷體,比如我們平時見到的課本教材,還有很多老師布置的作業,或者學生自己摘抄的内容,都屬于手寫内容。這裡面有很多挑戰,我們需要濾除無關内容,要進行版面分析,要識别出不同的字,然後判斷它們屬于什麼樣的結構,最後再次識别,通過自然語言處理,進一步提高識别率。

耳目一新的線上答疑服務背後的核心技術

上面是一個例子,也是使用者上傳的圖檔,這一塊也是利用生物學技術做的,現在識别率大概在 96% 左右。

耳目一新的線上答疑服務背後的核心技術

我們最終的目的是希望能夠通過這樣的互動系統,跟學生互動,并且在跟學生進行講解的時候,所有的圖形都可以通過這個系統變成可以轉的立方體,友善跟學生互動,可以更好地幫助一些空間想象能力相對來說稍微弱一點學生。同時,我們也有一個資料挖掘團隊,将所有題目裡面關鍵詞埋入知識圖譜,友善學生檢索相應的知識,比如說在一篇朱自清課文裡,不僅有朱自清的生平介紹,還有視訊等等。此外,數學引擎也可以幫助學生解決問題,我們通過建立一些自動解答系統,可以自動回答一些比較簡單,類似于 K12 這種級别的數學題目。

耳目一新的線上答疑服務背後的核心技術

我們目前正在做智能化版面分析和題目提取,如果可以識别學生的一張卷子,可以做多題答疑或者試卷分析,甚至可以做到一本教科書或者參考書分析,比如哪些題目适合學生做,哪些題目不需要去做等等。此外,我們還可以通過應用來打包一些内容,比如視訊、音頻、知識庫等等。

耳目一新的線上答疑服務背後的核心技術

我們的目标是希望建立一個圖像雲,讓學生可以通過終端發送圖像請求,然後利用我們圖像雲的識别技術,包括語音識别、手寫識别、版面識别等等,幫助他們處理各種各樣的問題。

耳目一新的線上答疑服務背後的核心技術

實際上,這個産品背後的邏輯蠻簡單的,如果學生對于系統給予的解答不是特别明白,他們就可以像用 UBER 或者滴滴打車一樣,直接連接配接老師,随時随地線上解決問題。雖然這個邏輯本身是比較簡單和清楚的,但背後還是需要一個核心技術,就是怎麼樣去分發,怎麼樣讓最合适的老師給學生解題。每個老師的上線時間都不一樣,有的老師上午上線,有的老師晚上才有空,還有的老師科目不一樣,比如英語、化學等。除了這些之外,考綱也不一樣,以後可能全國考綱會慢慢統一,但至少這幾年我們的考綱還不太一樣,是以每個老師的講題方式也不太一樣,這就需要根據不同老師的狀況,推送給不同的學生。而學生實際上也有不同的情況,我們當時做過測試,很多學生在下午的上課時間發送問題,但當時老師們并沒有空。還有就是,不同學生對價格的敏感程度不一樣,擷取結果的期待值也不一樣。

最後,通過系統排程,會對學生上傳的題目做一個導航,把該題目進行知識分解,形成細分的知識圖譜。接着對學生畫像,如果學生經常需要答疑或者經常上傳一些題目,會慢慢擷取學生的資訊,這樣能清楚地知道,學生到底哪一塊不足,哪一塊比較擅長,我們也會經過老師的多次答疑之後,分析答疑資料或者學生的評價,這樣也就給老師做了一個畫像。根據這些資訊,就可以利用系統進行智能排程,進而完成老師與學生之間的配對。

耳目一新的線上答疑服務背後的核心技術

有一個教研團隊,他們會把初高中的國文、數學、外語等科目進行知識點的分類,既用到一些人工的方法,也用到一些機器學習的技術,從多個次元進行挖掘,最終形成我們所需要的知識導航體系。

耳目一新的線上答疑服務背後的核心技術

舉例來說,對高中數學的東西,可以分成 7 個闆塊,包括立體幾何、代數,算法與框圖等等,大概有 22 個章節,550 個知識點,3529 個題型,然後在難度上分為 4 個等級。學生上傳題目以後,如果他是高中數學題,我們首先就要找高中老師,然後判斷是哪個闆塊的題目,這樣繼續往下走,确定是什麼類型的題目,最後決定選擇哪位老師。

耳目一新的線上答疑服務背後的核心技術

在目前的教育系統裡,學生大部分都是接受相同的教育,而我們希望的是,能夠通過學生畫像給他們提供針對個人特點的服務,比如根據年級、地區、對知識點的掌握程度,以及學習能力等等,給他們畫出一個圖表,最後基于這些圖表,為學生比對更合适的服務。

耳目一新的線上答疑服務背後的核心技術

同樣,我們也需要給老師進行畫像,因為每個老師的能力是不一樣的,是以我們就通過每次老師講解的時間,和學生對他的評分,以及一些自動化試檢或以及人工試檢,來對老師進行畫像,得出他們擅長的領域或者教學習慣。

我們的系統大家應該已經知道了,像 UBER 或者滴滴一樣,學生需要答疑,老師看到答疑請求之後可以選擇,到底這個題目講還是不講,通過這樣的智能分析系統,我們可以慢慢擷取老師資訊。

耳目一新的線上答疑服務背後的核心技術

剛才講到,不同地區的教綱是不一樣的,是以當學生提出了答疑需求的時候,我們會最優先地給他選擇最合适的老師和時間。這個排程過程就像是工業上的供應預測,每個省份、每個知識點對應的老師,以及老師的上線時間具有強烈的随機性,這就需要從不同角度對個人情況進行分析,然後形成時間模型,預測學生下一次的請求,并同時計算老師是不是線上或者能不能回答這個問題。

耳目一新的線上答疑服務背後的核心技術

這個有點類似于工程上的供給庫存模型,我們首先考慮的是兩個狀态,一個是老師的答疑供給庫存,一個是學生的答疑需求,以此形成老師的答疑庫存隊列,然後通過 Markov 進行預測。

耳目一新的線上答疑服務背後的核心技術

把不同隊列的狀态建立方程以後,利用我們的公式,讓它最後産生的結果機率等于 1 ,然後通過解線性方程組得到最優解,最後預測出老師庫存隊列的長度和等待時間,以及學生需求隊列的長度和等待時間。

耳目一新的線上答疑服務背後的核心技術

之前的資料比較複雜,其實簡單來說,我們的目标就是能夠最大化地答題,增加答疑總量,同時希望每個老師的答疑得分要比較高,還有就是要降低學生提問的流失率,降低老師的閑置率和其他成本。當然了,這個目标是建立在老師的實際調配量小于最大量的基礎下。

耳目一新的線上答疑服務背後的核心技術

通過設計這樣的制度,可以友善以後我們要做的排班系統,包括直播講課、直播答疑等等。基于這個系統,我們也可以更加合理地配置設定自己的能力,因為我們有一些是直接雇傭的内部老師,但也有一些外部兼職老師,有了排版系統,我們就可以根據實際的情況選擇自動排班,這一方面能保證答疑的品質,另一方面也能降低成本。

總的來說,我們是希望通過這樣的排程系統,以最優化的政策幫助學生更快地提高成績,同時也能夠讓老師更有效地答疑,并提高他們的收入。如果我們的系統比較差,那麼學生的體驗就會很糟糕,老師也就會認為這樣的平台使用價值不是很高。我們現在的目标就是,能夠通過這樣的線上答疑系統,生成大量的,比如說 1000 萬高品質的 1V1 視訊樣本,讓我們可以進一步做更多的分析,最後形成以「學霸君」為平台的拍照搜題、1V1 實時答疑的平台。

耳目一新的線上答疑服務背後的核心技術

學霸君最主要做的業務是以資料、技術、分析為支撐的,以此提供給學生一些定制化的,或者個人化的實時答疑學習、内容推薦、自适應練習等等。而這些内容都是通過一系列技術性的收集,包括利用技術進行統計、分析、預測來最終實作。

本文轉自 www19 51CTO部落格,原文連結:http://blog.51cto.com/doujh/1829830,如需轉載請自行聯系原作者

繼續閱讀