IBM SPSS
Modeler 以圖形化的界面、簡單的拖拽方式來快速建構資料挖掘分析模型著稱,它提供了完整的統計挖掘功能,包括來自于統計學、機器學習、人工智能等方面的分析算法和資料模型,包括如關聯、分類、預測等完整的全面挖掘分析功能,下面讓我們一起來了解這些算法:
首先,針對剛入門資料挖掘領域的初學者來說,即使你不懂資料挖掘算法,你一樣可以使用 SPSS
Modeler 進行模組化,這裡提供了自動模組化器,可以幫助你自動選擇最優算法,包括有:
“自動分類器”節點:用于建立和對比二進制結果(是或否,流失或不流失等)的若幹不同模型,使使用者可以選擇給定分析的最佳處理方法。由于支援多種模組化算法,是以可以對使用者希望使用的方法、每種方法的特定選項以及對比結果的标準進行選擇。節點根據指定的選項生成一組模型并根據使用者指定的标準排列最佳候選項的順序。
自動數值節點:使用多種不同方法估計和對比模型的連續數字範圍結果。此節點和自動分類器節點的工作方式相同,是以可以選擇要使用和要在單個模組化傳遞中使用多個選項組合進行測試的算法。受支援的算法包括神經網絡、C&R樹、CHAID、線性回歸、廣義線性回歸以及Support
Vector Machine (SVM)。可基于相關度、相對錯誤或已用變量數對模型進行對比。
自動聚類節點:估算和比較識别具有類似特征記錄組的聚類模型。節點工作方式與其他自動模組化節點相同,使您在一次模組化運作中即可試驗多個選項組合。模型可使用基本測量進行比較,以嘗試過濾聚類模型的有效性以及對其進行排序,并提供一個基于特定字段的重要性的測量。
時間序列節點:可為時間序列估計指數平滑模型、單變量綜合自回歸移動平均(ARIMA)
模型和多變量ARIMA(或變換函數)模型并基于時間序列資料生成預測。
接下來,是分類算法的介紹,分類是資料挖掘裡面最常用的分析方式,它的計算邏輯是自我學習的過程,即有監督的學習,你需要給他一個目标,給他一些影響因素,它會自動找到影響因素與目标之間隐藏的規則。
C&R樹節點:生成可用于預測或分類未來觀測值的決策樹。該方法通過在每個步驟最大限度降低不純潔度,使用遞歸分區來将訓練記錄分割為組。如果節點中100%
的觀測值都屬于目标字段的一個特定類别,則樹中的該節點将被認定為“純潔”。目标和輸入字段可以是數字範圍或分類(名義、有序或标志);所有分割均為二進制分割(即僅分割為兩個子組)。
QUEST節點:可提供用于建構決策樹的二進制分類法,此方法的設計目的是減少大型C&R
樹分析所需的處理時間,同時也減少在分類樹方法中發現的趨勢以便支援允許有多個分割的輸入。輸入字段可以是數字範圍(連續),但目标字段必須是分類。所有分割都是二進制的。
CHAID節點:使用卡方統計量來生成決策樹,以确定最佳的分割。CHAID
與C&R樹和QUEST
節點不同,它可以生成非二進制樹,這意味着有些分割将有多于兩個的分支。目标和輸入字段可以是數字範圍(連續)或分類。Exhaustive
CHAID 是CHAID 的修正版,它對所有分割進行更徹底的檢查,但計算時間比較長。
決策清單節點:可辨別子組或段,顯示與總體相關的給定二進制結果的似然度的高低。例如,您或許在尋找那些最不可能流失的客戶或最有可能對某個商業活動作出積極響應的客戶。通過定制段和并排預覽備選模型來比較結果,您可以将自己的業務知識展現在模型中。決策清單模型由一組規則構成,其中每個規則具備一個條件和一個結果。規則依順序應用,相比對的第一個規則将決定結果。
線性模型節點:根據目标與一個或多個預測變量間的線性關系來預測連續目标。
線性回歸節點:是一種通過拟合直線或平面以實作彙總資料和預測的普通統計方法,它可使預測值和實際輸出值之間的差異最小化。
因子/主成分分析節點:提供了用于降低資料複雜程度的強大資料縮減技術。主成份分析(PCA)可找出輸入字段的線性組合,該組合最好地捕獲了整個字段集合中的方差,且組合中的各個成分互相正交(互相垂直)。因子分析則嘗試識别底層因素,這些因素說明了觀測的字段集合内的相關模式。這兩種方式的目标都是找到有效概括原始字段集中的資訊的一小部分導出字段。
神經網絡節點:使用的模型是對人類大腦處理資訊的方式簡化了的模型。此模型通過模拟大量類似于神經元的抽象形式的互連簡單處理單元而運作。神經網絡是功能強大的一般函數估計器,隻需要最少的統計或數學知識就可以對其進行訓練或應用。
C5.0節點:建構決策樹或規則集。該模型的工作原理是根據在每個級别提供最大資訊收獲的字段分割樣本。目标字段必須為分類字段。允許進行多次多于兩個子組的分割。
“特征選擇”節點:會根據某組條件(例如缺失值百分比)篩選可删除的輸入字段;對于保留的輸入,将相對于指定目标對其重要性進行排序。例如,假如某個給定資料集有上千個潛在輸入,那麼哪些輸入最有可能用于對患者結果進行模組化呢?
判别式分析節點:所做的假設比logistic
回歸的假設更嚴格,但在符合這些假設時,判别式分析可以作為logistic 回歸分析的有用替代項或補充。
Logistic
回歸節點:是一種統計方法,它可根據輸入字段的值對記錄進行分類。它類似于線性回歸,但采用的是類别目标字段而非數字範圍。
“廣義線性”模型節點:對一般線性模型進行了擴充,這樣因變量通過指定的關聯函數與因子和協變量線性相關。另外,該模型允許因變量呈非正态分布。它包括統計模型大部分的功能,其中包括線性回歸、logistic
回歸、用于計數資料的對數線性模型以及區間删失生存模型。
Cox
回歸節點:可為時間事件資料建構預測模型。該模型會生成一個生存函數,該函數可預測在給定時間t
内對于所給定的預測變量值相關事件的發生機率。
SVM (Support Vector
Machine)節點:使用該節點,可以将資料分為兩組,而無需過度拟合。SVM
可以與大量資料集配合使用,如那些含有大量輸入字段的資料集。
貝葉斯網絡節點:可以利用該節點對真實世界認知的判斷力并結合所觀察和記錄的證據來建構機率模型。該節點重點應用了樹擴充簡單貝葉斯(TAN)
和馬爾可夫毯網絡,這些算法主要用于分類問題。
自學響應模型(SLRM)
節點:利用該節點可以建構這樣的模型:随着資料集的增長,可以不斷對其進行更新或重新估計,而不必每次使用整個資料集重新建構該模型。例如,如果有若幹産品,而您希望确定某位客戶獲得報價後最有可能購買的産品,那麼這種模型将十分有用。此模型可用于預測最适合客戶的報價,以及該報價被接受的機率。
KNN
(k-最近相鄰元素)節點:将新的個案關聯到預測變量空間中與其最鄰近的k 個對象的類别或值(其中k
為整數)。類似個案互相靠近,而不同個案互相遠離。
聚類算法我們也稱為無監督學習,是與分類算法的有監督學習相對而言。一般在資料初探的時候,經常會用到,比如客戶細分、市場細分等等。
K-Means
節點:将資料集聚類到不同分組(或聚類)。此方法将定義固定的聚類數量,将記錄疊代配置設定給聚類,以及調整聚類中心,直到進一步優化無法再改進模型。k-means
節點作為一種非監督學習機制,它并不試圖預測結果,而是揭示隐含在輸入字段集中的模式。
Kohonen節點:會生成一種神經網絡,此神經網絡可用于将資料集聚類到各個差異組。此網絡訓練完成後,相似的記錄應在輸出映射中緊密地聚集,有差異的記錄則應彼此遠離。您可以通過檢視模型塊中每個單元所捕獲觀測值的數量來找出規模較大的單元。這将讓您對聚類的相應數量有所估計。
TwoStep
節點:使用兩步聚類方法。第一步完成簡單資料處理,以便将原始輸入資料壓縮為可管理的子聚類集合。第二步使用層級聚類方法将子聚類一步一步合并為更大的聚類。TwoStep
具有一個優點,就是能夠為訓練資料自動估計最佳聚類數。它可以高效處理混合的字段類型和大型的資料集。
關聯分析在零售行業應用最為廣泛,最傳統的就是購物籃分析,淘寶上的“猜你喜歡”最常用的分析方式。
“先驗”節點:從資料抽取一組規則,即抽取資訊内容最多的規則。“先驗”節點提供五種選擇規則的方法并使用複雜的索引模式來高效地處理大資料集。對于大問題而言,“先驗”通常用于訓練時比GRI
處理速度快;它對可保留的規則數量沒有任何限制,而且可處理最多帶有32
個前提條件的規則。“先驗”要求輸入和輸出字段均為分類型字段,但因為它專為處理此類型資料而進行優化,因而處理速度快得多。
CARMA節點:使用關聯規則發現算法來發現資料中的關聯規則。例如,您可以使用此節點生成的規則來查找一系列産品或服務(條件),其結果是您要在此假期内進行促銷的項目。
序列節點:可發現連續資料或與時間有關的資料中的關聯規則。序列是一系列可能會以可預測順序發生的項目集合。例如,一個購買了剃刀和須後水的顧客可能在下次購物時購買剃須膏。序列節點基于CARMA
關聯規則算法,該算法使用有效的兩步法來發現序列。
異常檢測主要是在多元樣本空間裡面,找出偏離“大衆”最大的那些樣本點出來,在 SPSS
Modeler 裡面,它是先聚類,生成幾大類之後,再找出偏離這些類最大的那些樣本點。
“異常檢測”節點:确定不符合“正常”資料格式的異常觀測值(離群值)。即使離群值不比對任何已知格式或使用者不清楚自己的查找對象,也可以使用此節點來确定離群值。
社交網絡分析是目前流行的朋友圈找出“上司者”與“傳播者”的分析方法,它的應用可以是“種子營銷”,或者叫“病毒營銷”。
IBM SPSS Modeler Social Network
Analysis
通過将關系資訊處理為可包括在模型中的附加字段,導出的關鍵績效名額衡量個人的社交特征。将這些社交屬性與基于個人的衡量結合起來,提供對個人的更好概覽,是以可提高您模型的預測精度。資料分析師教育訓練