天天看點

Science封面|麻省理工論文:生成式AI對生産力的影響

作者:AIGC開放社群

麻省理工學院經濟學的兩位博士Whitney Zhang和Shakked Noy,在Science上聯合釋出了一份名為《生成式AI對生産力影響》的論文。(位址:https://www.science.org/doi/10.1126/science.adh2586)

該論文主要研究了ChatGPT(3.5版本)在中級專業寫作任務中的生産力影響。通過為453名受過大學教育的專業人士配置設定了特定于職業的激勵性寫作任務。其中,50%的參與人員可以使用ChatGPT。

研究結果顯示,ChatGPT 顯著提高了生産力,平均提升了40%的寫作效率,内容品質提升了18%。員工之間的不平等現象減少,人們對AI的擔憂和興奮暫時上升。

在實驗中接觸過ChatGPT的人,在實驗結束的兩周後,在實際工作中使用ChatGPT的意願提升了2倍,兩個月後提升了1.6倍。也就是說,在接觸ChatGPT後人們非常喜歡使用該産品。

Science封面|麻省理工論文:生成式AI對生産力的影響

該論文作者在調查平台 Prolific上招募了453名經驗豐富、受過大學教育的專業人員,他們的職業包括營銷人員、資深作者、商業顧問、資料分析師、人力資源專業人員和職業經理。

為每一位人員配置設定了兩項特定的寫作任務,包括寫新聞稿、簡短報告、分析計劃和詳細的電子郵件等。

寫作時間在20—30分鐘左右,随機配置設定了50%的人員可以使用ChatGPT輔助寫作任務,另外50%不允許使用。

Science封面|麻省理工論文:生成式AI對生産力的影響

在寫作的過程中,主要搜集了使用ChatGPT和沒使用的内容品質對比、任務花費時間自我評估和客觀評測等資料,以建構公平、準确的ChatGPT使用情況。

在使用ChatGPT的人群中,80%的人員選擇了在第二項寫作任務中使用了ChatGPT,使用者對其實用性自我評估平均得分為 4.4 分(滿分 5 分)。

在使用ChatGPT之前,70%的參與者聽說過 ChatGPT,32%的人以前使用過它。

生産率方面,在使用ChatGPT的人群中,寫作任務所需的時間平均減少了11分鐘(0.75 标準差),同時寫作品質、内容品質和原創性的評分皆有提升;沒有使用ChatGPT的人群中,寫作任務所需時間平均為27分鐘,寫作品質、内容一般。

Science封面|麻省理工論文:生成式AI對生産力的影響

在使用ChatGPT的群體中,使用者使用ChatGPT的方法基本包含兩種類型:第一,将寫作任務提示粘貼到文本框中,直接讓ChatGPT輸出寫作内容;第二,先讓ChatGPT輸出寫作任務内容,然後在此基礎上進行修改。

實驗資料顯示,直接使用ChatGPT生成的内容,内容品質等方面并沒有提升。53%的人員則選擇在ChatGPT輸出的内容基礎上進行了二次編輯,平均編輯時間在3.3分鐘。是以,多數内容編輯也都是膚淺的,例如,句子重新排列組合,替換單個句子等。

從目前ChatGPT的能力來看,還不能完全替代人類工作,隻能以輔助的形式來使用。如果直接使用其生成的内容,并不能獲得很好的内容品質。

當50%的人群得知,可以使用ChatGPT來進行寫作任務時,他們對寫作任務的享受度提升了0.47 SD(P< 0.001);擔心AI對其職業生涯産生影響的擔憂值 ( P < 0.01) 和興奮情緒( P < 0.001)。

總體來說,人們對使用ChatGPT表現出了積極的态度。

Science封面|麻省理工論文:生成式AI對生産力的影響

受過大學教育的專業人士在執行專業寫作任務時,在獲得 ChatGPT 的使用權限後,其工作效率大幅提高。

ChatGPT提高了低能力勞工的内容輸出品質,并減少了花在寫作任務上的40%時間。總體來說,ChatGPT 減少了員工之間的寫作技能不平等。

Science封面|麻省理工論文:生成式AI對生産力的影響

不過ChatGPT也存在一些局限性,例如,寫作内容提示需要邏輯清晰、直接的提示,并沒有對複雜的寫作内容進行測試;在特定的寫作領域,無法對其内容的真實性、可靠性進行确認。

是以,ChatGPT可以輔助人們提升寫作的效率,但是在某些特定領域,金融、法律、醫療等,在使用的過程中需要注意其内容的真實性。

Science封面|麻省理工論文:生成式AI對生産力的影響