整理 | 鄭麗媛
出品 | CSDN（ID：CSDNnews）
回想 ChatGPT 剛爆火那陣，它卓越的生成能力令不少行業“又愛又恨”。
以教育界為例，學生熱衷于在 ChatGPT 的幫助下完成作業，教師們卻頭疼于無法杜絕學生用 ChatGPT 作弊的行為。在這一趨勢下，今年 1 月美國紐約市教育部曾正式宣布：紐約市的學生和教師，無法再在教育部裝置或網際網路上通路 ChatGPT。
或許是為了應對這日益擴大的輿論沖突，OpenAI 在今年 1 月底重磅推出了一款新 AI 工具 AI-Text-Classifier（AI 文本分類器），旨在用來識别 AI 生成的文本内容。
不曾想，這個新 AI 工具誕生還不滿半年，就已被 OpenAI “偷偷”關停了——而 OpenAI 官方後續給出的理由是：AI Classifier 的“準确率太低”。
剛推出時，OpenAI 就提醒：不可靠
實際上，在 OpenAI 剛推出這款 AI 文本分類器時，就承認過它“并不可靠”：“我們訓練了一個分類器來區分人類撰寫的文本和 AI 撰寫的文本，但這個分類器并不完全可靠。”
據了解，AI Classifier 是一個語言模型，基于同一主題下人工編寫文本和 AI 編寫文本對資料集上進行的微調。OpenAI 将由人類編寫的各種來源內建到這個資料集，例如預訓練資料和送出給 InstructGPT 的人類示範等。然後 OpenAI 再将把每個文本分為提示和響應，研究人員根據這些提示，讓各種不同的語言模型産生響應，以此來不斷訓練這款 AI 文本分類器。OpenAI 特别強調：隻有在 AI Classifier 非常有把握的情況下，才會将文本标記為“可能是 AI 編寫的”。
針對這款 AI 文本分類器，OpenAI 在官宣部落格中并沒有介紹其詳細原理，但給出了實驗測試結果：在對英國文本内容進行測試時，AI Classifier 能正确識别 26% 的 AI 内容，顯示“可能由 AI 編寫”的建議參考，但同時也會把 9% 的人類編寫内容“誤判”為 AI 生成的内容。
對于 OpenAI 提供的這個資料，當時洛桑聯邦理工學院教授 Marcel Salathé 還專門進行了計算：假設一所大學有 1000 名學生被要求寫一篇文章，其中 3% 的人試圖用 ChatGPT 來生成文本，即其中會有 30 個 AI 生成的文本和 970 個人類生成的文本。
但根據 AI Classifier 的測試資料結果，将出現以下情況：首先，在 970 個人類生成的文本中，會有 9%（即 87 個）被錯誤地标記為 AI 生成的；其次，在 30 個 AI 生成的文本中，會有 26%（即 8 個）被正确标記為 AI 生成的。
也就是說，如果老師用 AI Classifier 來識别學生的文章，共會有 95（87+8）個文本被标記為 AI 生成——但實際情況是，其中隻有 8 個是 AI 生成的，而 87 個自己寫文章的學生會被 AI Classifier “誤傷”。
存在不少局限性
平心而論，AI Classifier 的這個正确率确實不太可觀，是以當時 OpenAI 也主動提醒道：“我們的分類器有一些重要的局限性，它不應作為主要的決策工具，而應作為确定文本來源的方法補充。”
具體來說，AI Classifier 有以下 6 種局限性：
（1）在處理短文（1000 字以下）時非常不可靠，但即使是較長的文本，有時也會被分類器錯誤标注。
（2）有時，人類撰寫的文本會被分類器“錯誤而自信地”标注為 AI 撰寫的文本。
（3）建議僅在英文文本中使用該分類器，因為它在其他語言中的表現要差得多，在代碼中也不太可靠。
（4）無法可靠地識别可預測性很強的文本。例如，分類器無法預測前 1000 個質數的清單是由 AI 還是人類寫的，因為正确答案總是一樣的。
（5）AI 寫的文本可以被二次編輯，進而躲過分類器的檢測。
（6）基于神經網絡的分類器在訓練資料之外的校準效果總是很差。對于與訓練集中的文本有很大差異的輸入，分類器有時會很自信地做出錯誤标注。
盡管正确率不高，局限性也較多，但 OpenAI 在推出 AI Classifier 時，還是表示：“我們相信，好的分類器可以為減少 AI 生成文本是由人類撰寫的虛假說法”，“與我們之前釋出的分類器相比，AI Classifier 在處理來自最新 AI 系統的文本時可靠性明顯有所提高。”
網友支援關停的決定
然而，與半年前剛釋出 AI Classifier 時的高調自信不同，OpenAI 關閉 AI Classifier 的決定很“低調”，甚至絲毫沒有提前通知就突然關停了。
當使用者們面對打不開的頁面一頭霧水、官方也沒相關回應時，終于有人在半年前 OpenAI 釋出 AI Classifier 的部落格中，找到了藏在其中的添加注釋：
由于準确率較低，截至 2023 年 7 月 20 日，AI Classifier 已不再可用。我們正在努力采納回報意見，目前正在研究更有效的文本出處技術，并承諾開發和部署相關機制，使使用者能夠了解音頻或視訊内容是否由 AI 生成。
雖然有些突然，但結合近半年來各類 AI 文本檢測器的表現來看，OpenAI 做出這個決定或許并不意外。
不論是 OpenAI 的 AI Classifier，還是斯坦福大學的 DetectGPT，亦或是大學生研發 GPTZero 等 AI 檢測工具，其定位都是用來區分文本究竟是由人類撰寫的還是由 AI 生成的，而它們的失誤率也都高得驚人。
此外，在仔細研究了檢測大型語言模型生成的文本後，美國馬裡蘭大學的計算機科學家 Vinu Sankar Sadasivan 也坦言：即使是用最好的檢測器來檢測 AI 生成的文本，機率并不比扔硬币進行判斷好到哪裡去。
是以對于 OpenAI 突然關停 AI Classifier 的這個決定，不少網友都表示支援：
▶ “雖說少了一個公告，但我很高興 OpenAI 這麼做了。現在很多人都以為隻要僅憑幾句話就能檢測出是否是 AI 寫的，但實際上根本就沒人能保證這一點。”
▶ “很好，如果它确實不可靠，那它存在的意義就弊大于利了。”
▶ “關的好！你們都不知道，因為這個工具，學術界出現了大量的虛假指控。”
參考連結：
https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text
https://decrypt.co/149826/openai-quietly-shutters-its-ai-detection-tool