夢晨 發自 凹非寺
量子位 | 公衆号 QbitAI
GPT-4替代初級資料分析師的成本隻有0.71%，換成進階資料分析師則是0.45%……
你沒看錯，是百分之零點七一，不是百分之七十一。
按新加坡行情，年薪8.6萬-9萬美元(60-63萬人民币）的進階資料分析師，換成GPT-4就隻需要三四百美元（2000多人民币）了。
這項結論來自阿裡達摩院與新加坡南洋理工大學的新論文，被網友評價為對AI和資料分析領域感興趣的必讀論文。
具體來說，結論中進階分析師指在金融行業擁有多年工作經驗的資料分析師。
而GPT-4的表現，在大多數名額上能與一位6年工作經驗的人類相當，正确性低于人類，但複雜性和一緻性名額高于人類。
在與另一位5年工作經驗的分析師對比中，GPT-4在資訊的正确性、圖表的美觀性、洞察的複雜性等方面輸給人類。
如果與2年工作經驗的初級分析師對比，GPT-4在正确性上表現更好，而且能完成更多的工作。
但GPT-4完成所有類型的任務都要比人類快得多。
在假設每個月有21個工作日，每天8小時工作時間，按市場價支付工資的前提下，得出最終結論。
GPT-4當資料分析師，都能幹什麼
論文重點考察了GPT-4作為資料分析師的以下幾種能力：
生成SQL和Python代碼
執行代碼獲得資料和圖表
從資料和外部知識源中分析資料，得出結論
200個樣本的實驗表明，對于繪制圖表任務，GPT-4能夠了解指令含義，且對圖表類型有一定背景知識，進而繪制出正确的圖表。
圖表大部厘清晰可見，沒有任何格式錯誤，圖示的美觀性名額滿分3分，GPT-4平均得分2.73。
但手工檢查還是能發現一些小錯誤，圖表準确性名額滿分1分，GPT-4平均得分0.78。
論文中特别說明他們的評估标準非常嚴格，隻要x軸或y軸的任何資料或任何标簽有錯誤，都要扣分。
對于資料分析任務，GPT-4在一緻性和流暢性中平均得到滿分，驗證了生成流暢且文法正确的句子對GPT-4來說絕對不是問題。
有意思的是，到了資料分析這一步的準确性要比圖表資訊的準确性高得多，說明盡管GPT-4畫了錯誤的圖表但分析出了正确的結論。
在案例分析中，研究團隊還總結出三條GPT-4與人類資料分析師的主要差別：
人類分析師可以用個人思想和情感來表達，比如在分析時寫“令人驚訝的是……”；人類讀者容易從這樣的表述中了解資料是符合預期還是不正常的。
人類分析師傾向于結合背景知識得出結論，如寫到“……常見于……”；GPT-4通常隻關注提取到的資料本身，允許GPT-4上網搜尋實時線上資訊可以改善這一點。
當提供見解或建議時，人類分析師傾向于保守，如聲明“假如資料沒有問題的話……”；GPT-4會以自信的語氣直接給出建議，不會提及假設。
另外團隊表示，由于預算有限，主要是雇一個來與GPT-4對比的進階分析師太貴了，人工評估和資料标注的數量相對較少。
在最後的結論則是：
實驗結果和分析表明，GPT-4在資料分析上有與人類相當的性能，但是否可以取代資料分析師需要近一步研究才能得出結論。
論文：
https://arxiv.org/abs/2305.15038