現在我們已經看了解到了一些ML應用程式的例子，問題是，我們如何建構這樣的ML應用程式和系統?
下圖總結了我們使用ML開發應用程式的方法，我們将在下面更詳細地讨論這個問題:
如上圖所示，建立學習模型的步驟如下:
問題定義:任何項目的第一步不僅是了解我們想要解決的問題,也定義了我們如何使用ML來解決問題。這第一步無疑是建構有用的ML模型和應用程式中最重要的一步。在開始建構ML模型之前，我們至少應該回答以下四個問題:
l 目前碰到了什麼問題?這是我們描述和陳述我們試圖解決的問題的地方。例如，一個問題描述可能是需要一個系統來評估小企業主償還小企業貸款項目貸款的能力。
l 為什麼這是個問題?重要的是要定義為什麼這樣的問題實際上是一個問題，以及為什麼新的ML模型将是有用的。也許我們已經有了一個可用的模型，但發現它的表現比以前差了;我們可能已經獲得了新的資料源，可以用來建構新的預測模型;或者我們希望現有的模型能夠更快地産生預測結果。認為這是一個問題，并且需要一個新模型的原因可能有多種。定義它為什麼是一個問題，将幫助我們在建構新的ML模型時，保持在正确的軌道上。
l 解決這個問題的方法有哪些?這是我們集思廣益解決給定問題的方法的地方。我們應該考慮這個模型是如何使用的(需要這是一個實時系統還是會作為批處理運作?),它是什麼類型的問題(這是一個分類問題,回歸,聚類,還是其他東西?),和我們需要什麼類型的資料模型。這将為建構我們的機器學習模型的接下來的步驟提供良好的基礎。
l 成功的标準是什麼?這是我們定義檢查點的地方。我們應該考慮我們将檢視什麼名額，以及我們的目标模型性能應該是什麼樣的。如果我們正在建構一個将在實時系統中使用的模型，那麼我們還可以在運作時将目标執行速度和資料可用性設定為成功标準的一部分。設定這些成功的标準将幫助我們繼續前進，而不會在某個特定的步驟上停滞不前。
收集資料:擁有資料是建構ML模型最基本和最關鍵的部分，最好是擁有大量資料。沒有資料，就沒有模型。根據我們的項目，收集資料的方法可能有所不同。我們可以從其他供應商購買現有的資料源，可以抓取網站并提取資料，可以使用公共資料，也可以收集自己的資料。收集ML模型所需的資料有多種方法，但是在資料收集過程中需要記住這兩個資料元素—目标變量和特征變量。目标變量是預測的答案，而特征變量是模型用來學習如何預測目标變量的因素。通常，目标變量不會以标記的形式出現。例如，當我處理微網誌資料以預測每條微網誌的情緒時，我們可能沒有為每條微網誌标記情緒資料。在這種情況下，我們必須采取額外的步驟來标記目标變量。收集了資料之後，就可以進入準備資料步驟。
資料準備:收集完所有輸入資料後，需要準備一個可用的格式。這一步比想象的更重要。如果我們擁有雜亂的資料，而沒有為我們的學習算法去清理它，那麼我們的算法将不會從我們收集到的的資料集中很好地學習，也不會像預期的那樣執行。此外，即使我們擁有高品質的資料，如果我們的資料不是我們的算法可以訓練的格式，那麼擁有高品質的資料是沒有任何意義的。至少我們應該處理以下列出的一些常見問題，以便我們的資料為下一步做好準備:
n 檔案格式:如果我們從多個資料源擷取資料，那麼很可能會遇到每個資料源的不同格式問題。有些資料可能是CSV格式，而其他資料是JSON或XML格式。有些資料甚至可能存儲在關系資料庫中。為了訓練我們的ML模型，我們首先需要将所有這些不同格式的資料源合并到一個标準格式中。
n 資料格式:不同資料源之間的資料格式也可能不同。例如，一些資料可能将位址字段分解為街道位址、市區、省份和郵政編碼，而另一些資料可能沒有。有些資料的日期字段可能是美國日期格式(mm/dd/yyyy)，而有些資料可能是英國日期格式(dd/mm/yyyy)。在解析這些值時，資料源之間的這些資料格式差異可能會導緻問題。為了訓練我們的ML模型，我們需要為每個字段提供統一的資料格式。
n 重複記錄:我們經常會看到相同的記錄在資料集中重複出現。此問題可能發生在資料收集過程中，在此過程中，我們不止一次地記錄了一個資料點，或者在資料準備過程中合并不同的資料集。擁有重複的記錄可能會對我們的模型産生負面影響，在進行下一步之前，最好檢查資料集中的是否存在重複記錄。
n 缺失值:在資料中看到一些記錄為空或缺失值也是很常見的。當我們在訓練我們的ML模型時，這也會産生不利的影響。有很多種方法可以處理資料中缺失的值，但是我們必須非常小心并很好地了解我們的資料，因為這可能會極大地改變我們的模型性能。處理缺失值的一些方法包括用缺失值删除記錄、用平均值或中位數替換缺失值、用常量替換缺失值等等方法。在處理缺失值之前，研究我們的資料将會是意見非常有用的事情。
資料分析:現在我們的資料已經準備好了，是時候實際檢視資料了，看看我們是否能夠識别任何模式并從資料中獲得一些見解。摘要統計和圖表是描述和了解資料的兩種最佳方法。對于連續變量，從最小值、最大值、平均值、中值和四分位數開始比較好。對于分類變量，我們可以檢視類别的計數和百分比。在檢視這些彙總統計資訊時，還可以開始繪制圖形來可視化資料結構。下圖顯示了一些常用的資料分析圖表。直方圖常用來顯示和檢查變量、離散值和偏差的基本分布。箱形圖經常用于可視化五位數摘要、離散值和偏差。散點圖經常被用來檢測變量之間明顯的兩兩相關關系:
資料分析和可視化。左上:房屋銷售價格直方圖，右上:房屋銷售價格直方圖，左下:地下室、一層、二層建築面積分布的箱形圖，右下:一層與二層建築面積的散點圖。
構造特征:構造特征是應用ML中模型建構過程中最重要的部分，然而，這是許多教科書和ML課程中讨論最少的話題之一。構造特征是将原始輸入資料轉換為更有意義的資料，以供算法學習的過程。例如，對于我們将要建構的微網誌情緒預測模型，我們的原始輸入資料可能僅在一列中包含文本清單，而在另一列中包含情緒目标清單。我們的ML模型可能不會學習如何用這些原始資料，來進行很好地預測每條博文的情緒。但是，如果我們轉換這些資料，列出每條博文中每個單詞出現的次數，那麼我們的學習算法可以更容易地了解某些單詞的存在與情緒之間的關系。我們還可以将每個單詞與其相鄰的單詞(bigram)進行分組，并将每條博文中每個相鄰的單詞(bigram)的出現次數作為另一組特征。從這個例子中可以看出，構造特征是一種使原始資料更具有代表性和更能反映潛在問題的方法。構造特征是一門科學，也是一門藝術。構造特征需要良好的資料集領域知識，從原始輸入資料建構新特征的創造力，以及多次疊代以獲得更好的結果。在後面的文章中，我們将會學習一些具體的構造特征的方法。
訓練/測試算法:一旦我們建立了自己的特性，就該訓練和測試一些ML算法了。在開始訓練模型之前，最好考慮一下性能名額。根據我們正在解決的問題，對性能度量的選擇将會有所不同。例如，如果我們正在建構一個價格預測模型，我們可能希望最小化我們的預測與實際價格之間的差異，并選擇均方根誤差(RMSE)作為性能度量。如果我們正在建構一個信用模型來預測一個人是否能夠獲得貸款準許，那麼我們可能希望使用精确度作為性能度量，因為錯誤的貸款準許(假陽性)比錯誤的貸款不準許(假陰性)具有更大的負面影響。
一旦我們的模型有了具體的性能度量，我們就可以訓練和測試各種學習算法及其性能。根據我們的預測目标，我們對學習算法的選擇也會有所不同。下圖展示了一些常見的機器學習問題。如果我們正在解決分類問題，那麼我們可能希望訓練分類器，例如邏輯回歸模型、樸素貝葉斯分類器或随機森林分類器。另一方面，如果我們有一個連續的目标變量，那麼我們就需要訓練回歸量，比如線性回歸模型，k近鄰，或者支援向量機(SVM)。如果我們想通過無監督學習從資料中獲得一些見解，你可以使用k-means聚類或mean shift算法:
左:分類，中:回歸，右:聚類
最後，我們必須考慮如何測試和評估我們嘗試的學習算法的性能。将資料集分成訓練集和測試集，并運作交叉驗證是測試和比較ML模型最常用的兩種方法。分裂成兩個子集的資料集的目的,一個用于訓練，一個用于測試。K-fold交叉驗證是評估模型性能的另一種方法。它首先将資料集分割成大小相等的K個子集，并将其中一個子集留作測試，其餘的進行訓練。例如，在3倍交叉驗證中，資料集将首先分成三個大小相等的子集。在第一次疊代中，我們将使用包#1和#2來訓練我們的模型，并在包#3上進行測試。在第二個疊代中，我們将使用包#1和#3在包#2上訓練和測試我們的模型，在第三個疊代中，我們将使用包#2和#3在包#1上訓練和測試我們的模型。然後，我們将性能度量進行平均，以估計模型的性能:
改進結果:到目前為止，我們已經有了一個或兩個表現相當不錯的候選模型，但是可能仍然存在一些改進的空間。也許我們的候選模型在某種程度上過度拟合了,他們可能不符合我們的目标,有多種方法可以幫助提高我們的模型和他們的性能如下:
l 超參數調優:我們可以調優模型的配置，以潛在地提高性能結果。例如，對于随機森林模型，我們可以調整樹的最大高度或森林中的樹的數量。對于向量機，我們可以調整核心或成本值。
l 內建:內建是将多個模型的結果結合起來以獲得更好的效果。內建是同樣的算法在不同資料集的子集進行訓練,提高結合不同模型相同的訓練集,進行訓練和疊加,模型的輸出作為輸入的元模型,學習如何結合子模型的結果。
部署:一旦準備好了我們的模型，就到了讓它們在生産環境中運作的時候了。確定在我們的模型完全部署之前，已經進行了大量的測試。為我們的模型開發監控工具也是一個很好的方法，因為随着輸入資料的發展，模型性能會随着時間的推移而下降。
在本章中，我們學習了開發ML模型的步驟以及每個步驟中的常見挑戰和任務。在接下來的章節中，我們将遵循這些步驟來完成我們的項目，我們将更詳細地探索某些步驟，特别是在構造特征、模型選擇和模型性能評估方面。我們将根據要解決的問題類型，讨論在每個步驟中可以應用的各種技術。
在下一章中，我們将直接應用ML的基本原理來建構垃圾郵件過濾的ML模型。我們将按照本章讨論的建構ML模型的步驟，将原始電子郵件資料轉換為結構化資料集，分析電子郵件文本資料以獲得一些見解，最後建構預測電子郵件是否是垃圾郵件的分類模型。在下一章中，我們還将讨論一些常用的分類模型評估名額。
“老天爺給你的任何機會，你也不會珍惜，更不會深入下去，你認為自己就是窮命，最喜歡通過脈脈閱讀免費的職場技巧。如果你還是杠精思維，任何事情，跑上來先論證困難，給自己一個不幹不參與的充分理由，那你完了。人生不過是短短十五年的機會，到了四十歲，你還在屌絲堆裡，啥也不幹，那你沒希望了。”