作者介紹
從外表來看，資料科學通常被認為完全是由高等統計學和機器學習技術組成。然而，另一個重要組成部分往往被低估或遺忘：探索性資料分析（eda）。eda指對已有的資料(特别是調查或觀察得來的原始資料)在盡量少的先驗假定下進行探索，通過作圖、制表、方程拟合、計算特征量等手段探索資料的結構和規律的一種資料分析方法。在深入機器學習或統計模組化之前，eda是一個重要的步驟，這是因為它提供了為現有問題開發适當模型并正确解釋其結果所需的來龍去脈。
但随着工具的興起，隻需要簡單的将資料提供給黑盒就可以輕松實作強大的機器學習算法，是以略過eda這一步将變得異常誘惑。然而簡單地将資料提供給黑盒并不總是一個好主意——這是因為eda對于所有類型的資料科學問題具有關鍵價值。
eda對資料科學家而言是有價值的，這是因為eda能確定他們生成的結果是有效的、能被正确解析以及适用于所需的業務環境。在確定技術傳遞成果之外，eda還通過确認正在提出正确的問題而不是基于假設調查以及通過提供問題的背景來確定資料科學家的輸的出潛在的價值可以最大化。
這篇文章将高度概述eda通常涉及的内容，然後描述eda對于成功模組化和解釋其結果至關重要的三個主要方式。無論您是資料科學家還是資料科學的消費者，希望在閱讀本文後，您将了解為什麼eda應該是在項目資料科學操作中的關鍵一部分。
什麼是eda？
盡管eda已經存在于資料分析，據說1977年約翰·圖克（john w. tukey）寫的“探索性資料分析”一書中已經創造了這個詞并發展了這個領域。概括來講，eda用于了解和總結資料集的内容，通常用于調查特定問題或更進階的模組化。eda通常很大程度上依賴于可視化資料來評估模式并利用一些定量方法來描述資料。
eda通常涉及以下幾種方法的組合：
原始資料集中每個字段的單變量可視化和彙總統計（見圖1）
圖1
用于評估資料集中每個變量與感興趣目标變量之間的關系的雙變量可視化和彙總統計（例如，時間流失，花費）（見圖2）
圖2
多元可視化以了解資料中不同字段之間的互動作用（見圖3）。
圖3
降維以了解資料中的字段，這些字段占據了觀察值之間的最大差異，并允許處理減少的資料量。
通過将資料折疊成幾個小資料點讓觀察值聚類成有差別的小組，可以更容易地識别行為模式（參見圖4）
圖4
通過這些方法，資料科學家驗證假設并識别有助于了解問題和模型選擇的模式，為資料建立直覺以確定高品質分析，并驗證資料是按預期的方式生成。
驗證假設和模式識别
eda的主要目的之一是在假設任何事情之前檢視資料，這是很重要的。首先，資料科學家可以驗證在構模組化型時可能已經做出的任何假設，或者是使用某些算法所必需的假設。其次，對資料的自由假設探索可以幫助識别模式以及觀察到行為的潛在原因，這可能有助于回答遇到的問題或告知模組化的選擇。
通常有兩種類型的假設可能影響分析的有效性：技術和商業。正确使用特定的分析模型和算法依賴于具體的技術假設是否正确，例如變量之間沒有共線性、資料中的方差與資料值無關以及資料是否以某種方式丢失或損壞。在eda中，評估各種技術假設以幫助選擇對手頭資料和任務而言的最佳模型。如果沒有這樣的評估，可以使用一個模型來違反那些假設使得該模型不再适用于有關資料，并可能導緻對組織有負面影響的不良預測和不正确的結論。
第二種假設，商業假設有點更難以捉摸。通過對模型的了解，資料科學家知道每種類型的假設必須對其使用有效并可以系統地檢查它們。另一方面，商業假設可以完全無法識别并深深地糾纏于問題及其架構。有一次，我們正在與一位正在試圖了解使用者與他們的應用程式如何進行互動以及發生什麼互動信号可能會流失的使用者的客戶進行合作，他們深深地嵌入在假設出現問題的架構中，他們的假設是使用者群是由有經驗的廚師組成，并希望通過複雜的食譜提高他們的烹饪水準。事實上，使用者群主要由無經驗的使用者組成，試圖找到快速、易于準備的食物的食譜。當我們發現客戶假設是錯誤後，他們不得不開始了解一整套新的問題以告知之後的應用開發。
在驗證這些技術和商業假設的同時，資料科學家将系統地評估每個資料字段的内容及其與其他變量的互相作用，特别是表示企業想要了解或預測的行為的關鍵度量（例如使用生命周期、支出）。人類是自然模式識别器，通過以不同的方式對資料進行詳盡的可視化，并将這些可視化政策性地配置在一起，資料科學家可以利用其模式識别能力來識别行為的潛在原因、識别潛在的有問題或虛假的資料點以及開發可以通知其分析和模式的假設。
建立對資料的直覺
為什麼eda是更先進的模組化前采取的必要步驟，還有一個較為具體的原因是資料科學家需要親自熟練掌握資料，并為培養一種對資料是什麼的直覺，這種直覺對于能夠快速識别何時出現問題尤為重要。比如在eda中，繪制使用壽命與年齡曲線并進行比較，可以發現年輕使用者傾向于停留某個産品的時間更長，那麼結論是當年齡下降時會增加使用周期。如果訓練的模型顯示不同的行為，就會很快意識到應該調查發生了什麼，并確定沒有犯任何的錯誤。沒有eda，資料突出的問題或模型的實施中的錯誤會被長時間忽視，這可能會導緻基于錯誤資訊做出決策。
驗證資料是不是像你認為的那樣
在tukey風格的eda中，分析師通常很清楚他們分析的資料是如何生成的。然而，現在随着組織内部生成大量資料集以及擷取的第三方資料，分析師通常遠離資料生成的過程。如果資料不是你認為的那樣，那麼你的結果可能會受到不良影響，更糟的是誤解後采取的行動。
這個例子會展示資料生成的方式可能被誤解，讓我們來具體看看該例子：a公司正在嘗試預測哪些使用者将訂閱新産品以瞄準其産品定位。他們正在努力開發一個模型，但每次嘗試都會導緻糟糕的預測結果。然後有人認為執行廣泛的eda，他們最初認為這是沒有必要的。但結果表明，預測的使用者是控制員工訂閱的産品的較大企業賬戶的一部分。這種控制意味着使用者可以以各種方式在資料中看起來完全相同，但具有不同的目标結果，這意味着個人層面的資料幾乎沒有能力告知預測。在這種情形中，eda不僅在技術問題上暴露了所采取方法的技術問題，而且還表明出現的錯誤問題。如果使用者的行為受到其組織的控制，則無法對使用者進行定位。該公司需要瞄準并預測新産品訂閱的企業帳戶。
我們已經看到資料生成過程中被錯誤地假設的其他例子：
資料在産品的相同版本或跨平台上生成。
資料根據x時區或相同的跨時區被蓋上時間戳。
記錄所有活動的資料，但僅在使用者登入時記錄。
使用者辨別符保持不變或辨別符唯一。
如何去獲得這些所有的價值呢？
既然知道了eda為什麼是有價值的，你可能想知道如何去實作eda。一種方法是參加4月3号舉辦的tdwi讨論會，會上将探讨eda的最佳方法，另外還有一些針對各種eda方法釋出的部落格。以下部落格強調了eda獲得的見解：
<a href="https://svds.com/tbt-analyzing-caltrain-delays/" target="_blank">分析加州火車延誤</a>
<a href="https://www.svds.com/better-know-districts/" target="_blank">更好地了解區域</a>
<a href="http://www.svds.com/rockandroll/#thebeatles" target="_blank">100首歌曲中的搖滾史</a>
wechat：269970760
<a href="https://weibo.com/u/3910993635/" target="_blank">weibo：uncle_lld </a>
email:[email protected]
微信公衆号：ai科技時訊