軟體日志引發關注，資料報告收集驗證，将要開啟全新時代
近年來，由于技術的快速發展，自動分析軟體日志引起了廣泛關注。目前，在軟體日志異常檢測領域，有許多采用深度學習的研究，報告的f1分數準确度超過0.9。然而，據報道，深度學習在軟體開發行業中并沒有得到廣泛應用。
目前，由何等釋出的Loghub資料集在軟體日志異常分析領域得到廣泛使用。雖然Loghub包含了來自各種系統的日志，但每個系統隻提供一種類型的日志。
是以，隻能針對一種模式進行異常檢測的準确性評估，并未對多個資料集進行綜合評估。是以，報道的各種異常檢測模型的有效性可能局限于特定資料集。
是以，為了評估代表性異常檢測模型在多個資料集模式下的泛化性，科學家首先使用Loghub中的超級計算機日志資料集進行交叉驗證。
為此，科學家利用Chen等人開發的Deep-loglizer工具包，其中包括四個模型，即CNN，LSTM，Transformer和Auto Encoder。此外，科學家還引入了科學家提出的SPClassifier，以總共使用五個模型。
評估通用性的第二種方法涉及使用驗證資料集。在Chen等人的研究中評估各種模型時，資料集被分成兩個部分：訓練資料集和測試資料集。
在每個epoch中，模型在測試資料上進行評估，并在該epoch中準确率最高的模型被認為是計算測試資料準确率的最佳模型。
考慮到這種方法在測試資料集上可能出現過拟合的可能性，科學家将資料集分為三個獨立的資料集進行評估：訓練資料集、驗證資料集和測試資料集。
此外，科學家還檢查了資料集中包含的日志類型和頻率，以評估資料集是否适合進行通用評估。總結一下，這個實驗的目标是澄清以下三個問題
通過交叉驗證評估泛化性：研究由于訓練資料集和測試資料集中包含的日志類型的差異而導緻的準确性變化。
使用驗證資料集評估泛化性：評估泛化性使用未包含在先前基準研究中的驗證資料集。
調查資料集中包含的日志結構：檢查常用的BGL資料集中的日志結構與軟體開發中使用的日志結構的相似性。
本研究使用了Chen等人提供的Deep-loglizer工具包。該工具包允許靈活設定模型，包括修改損失函數和确定是否将語義資訊從日志中融入。在這個實驗中，科學家僅使用了順序資訊，因為科學家的實驗設定缺乏處理語義資訊所需的計算資源。
這一步将日志分成不同的組。通常使用三種類型的視窗進行日志分組，即固定視窗、滑動視窗和會話視窗。固定視窗是一種根據日志出現頻率分割日志的分組技術，而滑動視窗将日志分割成視窗大小和步長。
另一方面，會話視窗利用日志辨別符将具有相同執行路徑的日志分組。在本研究中，使用滑動視窗大小為10，滑動步長為1進行日志分組。
現有的方法在泛化到新的未見過的日志樣本方面存在局限性。為了解決這個問題，提出了Logsy作為一種新穎的異常檢測方法，它利用了自注意編碼器網絡進行超球面分類。
Logsy通過區分來自目标系統的正常訓練資料和來自其他系統的輔助日志資料集的樣本來構造日志異常檢測問題。
在這個實驗中，科學家重點調查了深度神經網絡異常檢測方法在開發領域中的有限應用。現有的異常檢測模型在應用視窗分組時傾向于将異常日志分類為正常。此外，在加入驗證資料時，模型往往會過拟合，并從初始時期就表現出穩定的學習曲線。
此外，科學家深入研究了在本實驗中使用的BGL資料集的結構，并觀察到某些日志出現連續，特定的序列模式占據了資料集的大部分。科學家還對在本實驗中使用的BGL資料集的結構進行了更深入的研究。
科學家的研究發現，BGL資料集中出現了特定的日志，其中某些序列模式包含了大部分日志。需要注意的是，在應用程式開發中，日志呈現更高的複雜性，并包含各種不同的序列模式。是以，現有的代表性模型在應用程式開發領域面臨挑戰。
在異常檢測領域，通常關注重複出現的日志，比如超級計算機日志或網絡系統日志，但科學家的目标是針對與大規模軟體開發相關的日志進行異常檢測。是以，科學家計劃建立多樣化的資料集，以反映該開發領域的特點，并探索在這種情況下使用多個異常檢測系統的可行性。
