
近幾年來,直播電商到處開花,但絕大多數都是國内的中文直播。如果想買外國電商主播推薦的商品,語言不通怎麼辦?
這一難題已被阿裡巴巴(下稱 “阿裡”)攻克,阿裡速賣通是面向全球海外消費者設立的電商平台,它和淘寶一樣,也面向所有終端消費者,但差別是速賣通是面向全球 200 多個國家和地區的電商平台。
直播電商動辄 “幾億元帶貨” 的高歌猛進,也讓跨境電商賣家對這一模式心動不已。然而,由于不同國家和地區的語言不同、文化不同、消費習慣也不同,是以要想在速賣通做直播,語言、物流、支付和技術都是非常複雜的系統,其中語言是最急需攻克的難題。
而在近日,阿裡達摩院聯合速賣通推出 AI 實時翻譯直播,可同時進行中文到英、俄、西三種語向的翻譯。據悉,這是全球首個啟用 AI 實時翻譯的電商直播,中國商家隻需用中文一鍵開播,就能同時覆寫全球英語、西班牙語、俄語區的逾十億人口。
“被迫” 研發的翻譯引擎
兩年前,速賣通開始探索直播,然而不同于淘寶直播的是,高峰期湧到直播間的使用者來自 19 個國家,且說着不同的語言。當時,沒有多元實時翻譯,要麼全部用英文直播,要麼面向某一語言地區的使用者專門用某種語言直播,比如法語或西班牙語。
據速賣通官方直播負責人陸嬿介紹,大部分實力雄厚的商家會請外國主播,而中小商家要麼放棄,要麼無聲直播或用中式英語(Chinglish)尬播。資料顯示,速賣通上近九成商家來自中國,而 82% 的中國商家因為語言困難而放棄跨境直播。
相比淘寶直播,速賣通直播更像一個嬰兒,她需要強大的 “營養” 才能快速成長。這個營養就是能實作多譯多功能的實時翻譯工具。
在研發多譯多之前,速賣通曾試用過現成的翻譯引擎,但對直播間的翻譯輸出腳本來說,即便是品質最好的翻譯引擎,其翻譯結果也不合格。當時,還有俄羅斯和西班牙使用者受邀參與評測,他們的評價也是完全聽不懂。
速賣通研究後發現,這些翻譯引擎之是以無法使用海外直播,其一是正常同傳有專業的收音裝置來保障翻譯準确度。但是電商直播的環境很嘈雜,很多商家直接在檔口就開始播,這樣就難以保證較好的收音。
其二正常的同傳詞庫是固定的,翻譯工具得到有效訓練後就能保證準确度。但是電商直播商品數量過億,且每天都在變,根本沒有辦法讓翻譯工具快速學習。而且主播每個人都來自不同地方,有的說話還帶有方言。并且有些主播語速很快,這都會極大地增加翻譯難度。以上原因使得速賣通不得不自研引擎。
沒有訓練集,商家自己 “造”
随後,速賣通耗時 7 個月開發出中譯英引擎,并于 2020 年 5 月份上線。上線後商家開播率已有 65%,今年 “828 大促” 期間線上 90% 的直播間都使用了該功能。
但仍存在不足,即使中譯英能力做到極限,直播間裡隻有 30% 的使用者能聽得懂主播說的話,因為 AE 是一個跨全球平台,直播間裡各種使用者都有,英語使用者最高比例是 30%,是以亟需推出中譯多的功能。
兩個月後,中譯多功能完成,上線之後使用者體驗得到較高提升,部分店鋪銷量随之增加 3 倍。當時,很多商家直播間的購買轉化,比達人直播的轉化率還高。一些直播達人和海外商家發現後,也要求使用中譯多功能,可是很多商家不說中文,為此速賣通增加了多譯多功能,并于今年 7 月上線。
研發過程中也有很多困難。第一是跨團隊協作,研發團隊分布在美國、中國、新加坡三個國家。另外,60 多位研發人員幾乎從未見過面,如何讓他們快速建立信任、并快速推下去是一大難題。
第二是訓練集的收集。跨境直播業務在全球都很少見,市面上沒有現存訓練集可以直接複用。好在阿裡本身擁有較強的商家生态,很多商家都積極幫忙收集訓練集。
第三是并發承載點。如果隻做一場翻譯,根本不會有壓力。但是直播每天有上千場,翻譯幾國語言,這就需要幾千個翻譯,是以伺服器的并發壓力非常大。後來,阿裡雲對此做了改造,使得伺服器得以承載得住。
第四個難題是自動化展示。多譯多功能可自動識别使用者種類,并展示出相應的語言,比如它能識别你是中國人,進而用中文展示主播說的話。之前大家看到同傳效果都是在 PC 端上面,但是移動端很複雜,為此研發人員在其中做了不少自适應的工作。
自研更高效算法模型,可 “聽懂” 主播口音
達摩院研發的統一多語言多領域融合模型,可把上百個語言,以及每個語言的多個領域壓縮到一個神經網絡模型中進行翻譯,且翻譯品質不變。據達摩院駱衛華介紹,達摩院 AI 翻譯技術已創下多項業界第一,日均調用量超過 13 億次,累計 3000 億單詞,可提供 214 種語言的高品質翻譯。
據速賣通直播實時翻譯産品負責人趙文倩介紹,速賣通上有上億件商品、數百億個商品相關的專業名詞,對直播實時翻譯技術的要求極高,需要克服口音不标準、直播環境複雜、商品專業名詞多、新品新詞更疊快等問題。
主要負責該難題的是阿裡達摩院自然語言處理實驗室的研究員樊楷,他表示為解決 AI 聽不清、聽不懂的問題,達摩院研發出更高效的語音算法模型,它不僅能在嘈雜環境中 “聽清” 直播内容,還能 “聽懂” 主播的口音。通過将多領域的知識融入翻譯模型,該算法模型還能舉一反三,無需重新訓練便能快速學習不同場景裡不斷更疊的專業名詞。
現在,速賣通平台支援 18 種語言,可以保證設計出來的頻道和商品定位,能夠符合當地文化,這種 “入鄉随俗” 主要展現在以下三方面。
心有靈犀。速賣通上有大量多元的商品,除了給它們做分類,還得容易被搜到。是以平台得根據使用者輸入的詞,馬上就能獲悉他的搜尋目的。在多語言混合下,這種挑戰會更大。以 “Case” 為例,它具有箱子和案子的雙重意思,使用者輸入該詞語時,到底想買什麼,就需要結合具體情景。此外,同樣的詞在不同語言裡的意思也不同,例如 “Basket” 在英語裡有 “籃子” 的意思,在法語裡還有 “球鞋” 的意思。
可面對數以億計的商品搜尋,全程由人工解決會很慢。為此,速賣通采用人工智能來解決,當然人工智能的初步訓練是由算法工程師來解決。訓練結束後,速賣通最終可做到無論使用者輸入什麼,都能根據他前後搜尋的詞語,來知曉其購買意圖。
了如指掌。速賣通希望使用者能對商品了如指掌,是以商品标題需要承載很多内容。比如,這個商品是什麼?怎麼找到?為什麼買?但是一些商家的标題,有的沒有标點符号,标題手法上也沒有特别規則。這一問題也可被人工智能解決,它會給标題加上标點符号,并可整理成當地使用者熟悉的表達方式。
深信不疑。速賣通是跨境平台,很多商家位于海外,商品需要飄洋過海才能到使用者手中。是以,使用者對平台信用、商家信用和商品品質都有很高要求。而購買前想知道商品到底好不好?就隻能通過使用者評價去了解。但是使用者評價非常多,涉及的語言種類也非常多。另外,使用者會用各種不規範的語言來評價,比如 “Very gooooood” 這樣的短語,有的評價還會用到表情符号。而采用 “多到多” 翻譯引擎,上述問題也可得到解決。
由于疫情原因,2020 年很多此前從未涉足直播的商家,如中國山區的果農也開始直播賣貨。有了速賣通,無論是江西贛南的臍橙、還是河北棗強的貂皮都可以走向全球各地。同樣,中國使用者也可以買到此前隻有靠代購才能買到的産品。科技惠及的從來不隻是某一個國家的使用者,而是全世界。
本文轉載自: DeepTech深科技
更多精彩
戳我前往2020阿裡巴巴雙11技術專題