天天看點

【第4期】基于知識圖譜的大語言模型:汽車領域知識管理新趨勢

作者:國科慧安
【第4期】基于知識圖譜的大語言模型:汽車領域知識管理新趨勢

随着國際趨勢變化,智能制造已成為大陸制造業的新方向,大量優秀企業憑借多年的技術優勢前後步入了轉型更新、增強競争力的關鍵時期。汽車領域自然也不例外,知識傳承與創新是企業發展的動力源泉,而有效的知識管理與應用是汽車領域中提升研發制造經驗、優化業務效率品質、縮短生産周期的關鍵因素。

【第4期】基于知識圖譜的大語言模型:汽車領域知識管理新趨勢

一、目前知識管理存在的問題

(1)汽車行業的知識管理相對分散,缺乏統一的管理體系和标準規範,資料檢索困難,加上各部門相對獨立,知識共享流于表面,導緻知識資料不易被複用和參考。

(2)整個汽車行業對于知識管理的需求日益多樣化且專業化,不僅期待在能夠根據自身所在領域進行深度定制,進而提高模型的準确性和可靠性;企業内部也高度關注資料安全問題,希望通過私有化部署等方式最大程度地保障資料安全。

(3)一些中小企業希望利用知識圖譜和大語言模型建構自己的知識庫,由于技術門檻也較高,企業也期望知識圖譜和大語言模型提供者能提供多種接口和協定,以友善無縫內建和調用。

(4)考慮到海量知識管理和挖掘在資料存儲和算力方面的投入較大,即使是不少行業内的标杆企業,也在尋求成本上的平衡點。

在此背景下,伴随着競争趨勢、戰略發展訴求以及業務提升需求,促使着運用人工智能技術幫助汽車企業開展知識管理圖譜化應用建設變得越來越緊迫,國産化、定制化、行業化的知識圖譜和大語言模型也成為了一個重要的發展方向。

【第4期】基于知識圖譜的大語言模型:汽車領域知識管理新趨勢
【第4期】基于知識圖譜的大語言模型:汽車領域知識管理新趨勢

二、KG-LLM的誕生背景

(1)知識圖譜和大語言模型的優缺點

知識圖譜更在在乎規則,而大語言模型則是四海皆準的無差别服務。

知識圖譜是一種結構化、規範化的知識表示方式,是通過對各種資訊進行分析、整合和挖掘,将這些資訊轉化為可計算的知識體系,并以圖譜的形式展示出來。知識圖譜的顯式知識表示與語言中的表述方式是有比較大的差別的,例如,圖譜中是有顯示的P(即關系)定義的,但是在語言中,首先在說話的時候不一定會直接顯式說出某一個關系,或者會說出那個關系的某一些别名。在語言中,關系多是隐式的,這和圖譜中的顯式結構卻天生不和。此外,圖譜中的關系聚合也會是一個難題。

大語言模型則更适用于自然語言的了解和生成,其所産生的知識結構是基于大量文本的統計分析,可以通過訓練模型來預測下一個可能出現的詞語或短語。大語言模型更多是為了解決自然語言進行中的問題而存在的,而不是為了建構知識圖譜。

知識圖譜和大語言模型也可以結合使用,例如,将知識圖譜與預訓練語言表示模型BERT相結合,可以使機器在閱讀特定領域文本時,能夠利用相關領域知識進行推理,進而提高模型的性能。

在使用知識圖譜去增強預訓練模型時,我們期望預訓練模型能夠在需要特定知識或常識的任務中表現得更好。例如,在機器閱讀了解中,給定一句《哈利波特》小說中的句子:“Harry Potter points his wand at Lord Voldmort.”,如果要讓模型了解這句話,比如哈利波特、伏地魔之間的時空關系,模型就需要知道一些《哈利波特》中的先驗知識,讓模型對文本中某些實體的有更好的了解,而不僅僅是把它們當作一個稱謂(指代)。

(2)知識圖譜可以為大語言模型做什麼

大語言模型可以利用知識圖譜進行知識增強,以提高其推理能力。然而,圖譜中的顯式知識表示與語言中的表述方式存在較大差異,如圖譜中存在顯示的關系定義,但在語言中,某些關系可能會被隐式表述或使用别名。此外,圖譜中的關系聚合也是一個難題,如A->P1->B和B->P2->C,A->C之間應該是什麼關系,即P1+P2應該是什麼,這是顯式引入複雜子樹所無法涵蓋的問題。是以,在知識增強過程中隐掉P并不可行,因為這會導緻難以控制從知識圖譜中拉取額外知識的尺度,因為知識圖譜中的關系并不一定是可傳遞的。

另一方面,代碼預訓練可以增強大語言模型的推理能力,尤其是在将代碼與自然語言混合預訓練時。在這種情況下,模型的推理能力得到了巨大的提升,即使沒有采用具體的推理方法,僅僅是從純文字預訓練模型切換到文本和代碼混合預訓練模型,在幾乎所有測試資料集合上,模型推理能力都得到了巨大的效果提升。這可能是因為代碼訓練資料中包含相當比例的數學或邏輯問題的代碼、描述和注釋,這些資料對于解決下遊數學推理問題是有幫助的。

是以,大語言模型可以利用知識圖譜進行知識增強,但需要解決圖譜中顯式知識表示與語言中表述方式的差異以及關系聚合的問題。另外,代碼預訓練也可以提高大語言模型的推理能力,尤其是混合預訓練代碼和自然語言時。這些發現為提高大語言模型的推理能力提供了新的思路和方向。

(3)大語言模型可以為知識圖譜做什麼

知識圖譜是通過對各種資訊進行分析、整合和挖掘,将這些資訊轉化為可計算的知識體系,并以圖譜的形式展示出來。這種知識表示方式更加結構化、規範化,具有更好的可讀性和可了解性。而大語言模型則更适用于自然語言的了解和生成,但其所産生的知識結構。

大語言模型可以與知識圖譜結合使用,進而提高知識的準确性和豐富度,增強模型對領域知識的了解和應用能力。知識圖譜建立過程中可以利用大語言模型來提高知識抽取和知識注入的效率和準确率。以下是一些利用大語言模型的方法:

直接把圖譜表示向量作為特征輸入的ERNIE和KnowBERT等模型。這些模型将知識圖譜中的實體和關系作為特征輸入到語言模型中,以幫助模型更好地了解文本中的實體和關系,進而提高知識抽取的準确率。

通過設計新的預訓練任務實作知識注入的KEPLER和WKLM等模型。這些模型通過在預訓練過程中設計特定的任務,例如關系預測和知識補全等任務,将知識圖譜中的實體和關系注入到模型中,以幫助模型更好地了解文本中的實體和關系。

通過增加額外的子產品的K-ADAPTER等模型。這些模型通過增加額外的子產品,例如知識注入子產品和關系推理子產品等,将知識圖譜中的實體和關系注入到模型中,以幫助模型更好地了解文本中的實體和關系。

在知識圖譜的建立過程中,還需要進行資料收集、知識定義、知識存儲、知識抽取、知識融合、知識計算以及知識應用等步驟,才能最終建構一個完整的知識圖譜。

【第4期】基于知識圖譜的大語言模型:汽車領域知識管理新趨勢

三、KG-LLM帶來的行業機遇

汽車企業應當積極響應技術發展和業務需求,以汽車設計開發、生産制造、售後運維等全業務鍊條為依托,采用自主研發的基于知識圖譜的大語言模型(KG-LLM)技術,開展本企業的知識管理技術支撐平台建設。

通過在知識圖譜建構過程中利用大語言模型來提高知識抽取和知識注入的效率和準确率,将知識圖譜與預訓練語言表示模型BERT相結合,使機器在閱讀汽車領域文本時,能夠利用相關領域知識進行推理,進而提高模型的性能,更好地增強模型對領域知識的了解和應用能力,有效應對企業在知識管理和應用中的各種挑戰。

基于汽車知識圖譜的大語言模型(KG-LLM)應用平台,能夠全方位彙聚、提煉與融合内外部知識,實作内外部顯性或隐性知識的統一和規範、持續的共享與傳承,支援汽車制造全鍊條周期的知識管理與應用互相協同,具有如下優勢:

(1)KG-LLM側重于垂直領域的應用,可以為汽車垂直領域提供更為全面和精準的知識管理和應用能力,打通知識的"壁壘",讓知識能夠在全鍊條中自由分享和傳播;還可以将過往的設計模型和專家分析有效關聯,通過實踐經驗回報,實作知識的持續優化和更新。

(2)企業應用于KG-LLM所需的訓練資料和算法模型均可實作自主可控,有助于滿足本地化需求和減少對外部資源的依賴,有望在滿足企業實作靈活接入和國産化的同時,也能保證資料的安全性和模型的自主性。

(3)KG-LLM可以為企業進行私有化部署,進而有效保證資料的安全和隐私。

【第4期】基于知識圖譜的大語言模型:汽車領域知識管理新趨勢

四、典型應用場景

基于知識圖譜的大語言模型(KG-LLM)可以應用在汽車設計開發、生産制造、售後運維等全業務鍊條,可以提高生産效率、降低故障率、提高産品品質,并幫助企業更好地了解和滿足使用者的知識應用需求。

(1)設計開發

KG-LLM可以協助汽車研發團隊在設計階段了解和整合複雜的設計要求,可以通過解析自然語言提出的設計目标和限制,幫助設計團隊更好地定義新産品的規格,也可以提供基于已有研究和設計的建議。

(2)生産制造

KG-LLM可以幫助分析和優化生産流程,可以找出生産線中的瓶頸和效率低下的環節,然後給出建議以提高生産效率,還可以通過對各類生産名額的分析幫助企業更好地管理庫存、調整生産計劃。

(3)故障診斷與預測

KG-LLM可以幫助售後人員解析故障報告,給出可能的故障原因和修複方案,還可以從曆史故障資料中學習,預測可能出現的故障,進而提前采取預防行動。

(4)技術文檔管理

KG-LLM可以解析在汽車研發生産過程中産生的大量技術文檔和報告,提取重要資訊,以友善技術人員快速了解和使用,還可以自動生成文檔摘要,或将長篇的技術報告轉化為易于了解的語言。

(5)品質控制與回報

KG-LLM可以分析生産資料和品質報告,識别品質問題并提供改進建議,還可以分析使用者回報,幫助企業了解使用者的需求和期望,進而在未來的産品設計中更好地滿足使用者需求。

【第4期】基于知識圖譜的大語言模型:汽車領域知識管理新趨勢

五、小結

可以預見,汽車領域将圍繞汽車生産全流程彙聚各環節過程化資料資訊,在運用了以創新的基于知識圖譜的大語言模型(KG-LLM)為引擎的産品參與企業管理後,能夠有效解決資源分散管理、搜尋耗時費力、無法獲得全面相關知識、經驗知識未能有效繼承應用的核心問題,更好的優化汽車領域的知識管理,為後續推廣應用奠定基礎,進而為企業的轉型和發展提供新的動力!

【第4期】基于知識圖譜的大語言模型:汽車領域知識管理新趨勢
【第4期】基于知識圖譜的大語言模型:汽車領域知識管理新趨勢

繼續閱讀