“滿城盡談大資料”，但很多人其實并不了解大資料真正價值是什麼，哈佛大學gary king教授用3個大資料研究案例告訴你：有資料固然好，但是如果沒有分析，資料的價值就沒法展現。
2017年初，哈佛大學政治學系教授加裡·金（gary king）在上海交通大學舉辦了一場名為《大資料，重要的不是資料》（big data is not about the data）的講座。
主講人gary king是哈佛大學的校級教授（university professor）。king教授以實證研究知名，擅長量化研究，其研究涉及政治學、公共政策、法學、心理學和統計學等領域。
（圖檔說明：1月4日，gary king教授在上海交大演講現場）
以下是gary king 教授演講實錄（有删節）：
我工作的領域叫做量化社會科學（quantitative social science），有時，它有一個别稱，叫大資料。“大資料”這個詞最早是媒體發現的，它試圖向大衆解釋我們是做什麼的，目前看來解釋的效果還不錯。
然而，大資料的價值不是在資料本身，雖然我們需要資料，資料很多時候隻是伴随科技進步而産生的免費的副産品。比如說，學校為了讓學生能更高效地注冊而引進了注冊系統，因而有了學生的很多資訊，這些都是因為技術改進而産生的資料增量。
大資料的真正價值在于資料分析。資料是為了某種目的存在，目的可以變，我們可以通過資料來了解完全不同的東西……有資料固然好，但是如果沒有分析，資料的價值就沒法展現。
先來看一個大資料在公共政策層面運用的案例。
我們曾經做過一個評估研究，發現2000年以後美國社會保障管理總署（u.s. social security administration，簡稱“ssa”）對于美國社保賬戶及人口壽命的預測有系統性偏差。
（圖檔說明：2000年以後ssa對社保基金賬戶情況的預測出現顯著偏差；來源：gary king論文）
大背景是，美國的社會保障平台是美國最大的單一政府平台，它的資金是跨代流動的——目前退休者的養老金供給來自于他們的下一代，即現在工作的人交的稅金。
是以ssa需要預測這個信托基金項目裡的資金流，以及人的壽命，正确預測這兩點很重要，如果人們比ssa預期的更長壽——雖然這是好事——就很可能導緻信托基金裡就沒有足夠的錢給他們養老了。
我們研究發現，ssa的預測在2000年以後出現了系統性偏差——發生偏差的原因之一，是ssa使用的模型本質上定性分析的模型，且多年來幾乎沒有調整。由于一些藥物的使用和癌症早期發現，美國人開始比模型預測地更長壽了。
我們通過分析得出的結論是，美國社保信托基金至少存在8千億美元的缺口。
雖然結論有點不幸，但是政府需要提前知道。這樣政府就可以有空間在稅率，退休年齡等方面進行調整。這是公共政策層面的話題。
關于定性分析和定量分析，其實不是泾渭分明的。做分析全靠定性分析（由人主導）是不夠的，因為你有很多資料不知道該怎麼處理。 全靠定量分析（由機器主導）也不行，這就像一張巨大的excel表，但是表中沒有行、列的标簽。是以，大資料分析需要的是由人主導，由計算機輔助的技術（we need computer-assisted, human-led technology）。
我們還做過一個計算機輔助閱讀的實驗。我們開發了一套計算機輔助、自動化閱讀的技術，這項技術能幫助人們從非結構化的文字中提取、組織并且處理大量資訊。
我們曾用該技術處理了64000篇國會議員官方釋出的新聞稿，想通過這項基礎幫我們作分類，看國會議員在新聞稿中都說了些什麼。
結果我們發現，居然有高達27%的議員釋出的新聞稿内容隻是單純地想抨擊對方（partisan taunting），而不是想要平衡預算或停止戰争，或解決問題。
（圖檔說明：gary king表示，抨擊對方政黨從個人角度來看是理性的，但是從整個叢集的角度來看，是非理性的，如果抨擊對方的言語增多，政黨之間的合作關系和能效會減弱；來源：gary king研究成果單頁）
大資料時代，我們可以通過去量化過去不能量化的資訊，使用精妙的統計學方法分析這些資訊成為可能。
現在，我們都可以對一些強定性屬性（inherently qualitative）的東西作定量分析了，如音頻和視訊。但是，目前仍有一些定性分析工作者要分析的内容還未被量化。是以，定性分析、定量分析要配合操作才行。
我參與過一個産品項目叫做perusall。“peruse”是仔細精讀的意思，perusall就是peruse + all，可以簡單了解為大家一起讀。
這個産品産生的背景是，大學教授會給同學布置閱讀作業，但是教授很難評估學生是否閱讀了規定的章節。如果有的學生沒讀而有的學生讀了，這對整體課堂的授課效果會有影響。
perusall的好處之一，是它把閱讀從一個個體活動變成了一個集體活動。閱讀文章的同學可以對自己看不懂的部分做批注，也可以對其他同學的批注作回複解答。這樣更容易調動同學閱讀的主動積極性，讓閱讀變得更有趣。人天生是社會動物，這也是為什麼人們相比于在itunes裡聽歌更願意花錢去看演唱會，雖然前者音樂聲音更清晰。
（圖檔說明：“學生困惑報告”樣本；來源：哈佛官網）
一旦學生用perusall線上上閱讀之後，我們就有了很多之前不可能互擷取的資料：知道學生在讀什麼，他們對閱讀内容的回報怎樣，他們在讀每一頁的時候花多少時間；當然，如果你沒有讀書的第46-47頁，我們也會知道這個。
一方面，perusall會基于每個學生的閱讀情況和評價品質，對學生的這項閱讀作業進行打分，從老師的層面看，這省去了原先閱讀作業不易評估的問題。
另一方面，perusall會分析這些閱讀資料，知道學生們讀到哪裡時覺得困惑。
原文釋出時間為：2017-02-17
本文來自雲栖社群合作夥伴“大資料文摘”，了解相關資訊可以關注“bigdatadigest”微信公衆号