智東西（公衆号：zhidxcom）
<b>編譯</b><b> | 程茜</b>
<b>編輯 | 李水青</b>
智東西11月4日消息，近日，華盛頓大學和艾倫ai研究所（allen institute for ai）的研究員共同開發了道德案例資料集，并使用這個資料集對他們的一個ai模型進行訓練。
據悉，該模型道德判斷準确率達到了92.1%，而對比來看，openai在2019年釋出的ai大模型gpt-3在面對道德問題時，準确率僅為53.3%到83.9%。
ai常常被批駁難以遵循道德倫理行事，比如甚至有智能音箱鼓動使用者去自殺。但是，本次研究的研究人員從多個美國社交網站上的需要進行道德判斷的情感案例，收集了170萬個人們對各種日常情況的道德判斷示例，進而訓練出了一個能做道德判斷的模型。
為了取悅你的孩子而殺死一隻熊可以嗎，ai想了想道德，告訴你答案：“不可以！”
如果ai能夠深入學習了解人類道德倫理，就有可能被更多地用于幫助支援重大決策，例如誰首先獲得醫療保健以及一個人應該被監禁多久，ai研究人員正在方法讓ai模型以合乎道德的方式行事。
為了在描述性倫理方面訓練ai機器人，研究人員整合了關于道德判斷的資料集commonsense norm bank，收集了170萬個人們對各種日常情況的道德判斷示例。研究員們們使用該資料集來訓練ai模型delphi，使得該ai模型可以模仿人們對各種日常情況下作出的判斷。該資料集應用了五個現有的社會規範和道德判斷資料集。
研究人員想要強調的資料集之一是social bias frames（社會偏見架構），這個資料集可以幫助ai機器人檢測和了解語言中潛在的攻擊性偏見。“道德的一個重要方面是不傷害他人，尤其是來自邊緣化人群或弱勢群體的人。social bias frames資料集捕獲了這些知識。”該研究的合著者、艾倫ai研究所的研究員maarten sap說。
為了分析delphi的表現，研究人員通過亞馬遜的mechanical turk衆包平台雇傭了許多從業人員，讓他們對1000個delphi道德判斷的例子進行評估，每個判斷都會被三名從業人員進行評估。他們發現delphi的道德判斷準确率達到了92.1%，相比于舊金山實驗室openai在2019年釋出的ai系統gpt-3，openai使用網際網路上幾乎所有公開的書面文本對其進行訓練，但其準确率僅為53.3%到83.9%。
“我們從沒想過delphi會達到92%。”該研究的合作者、華盛頓大學和艾倫ai研究所的研究員liwei jiang說。
delphi進行道德判斷時，被設計用三種不同的方式做出回應：自由問答、是否問答、相對問答。
1、自由問答。delphi可以以自由的問答形式進行簡短的判斷，例如指出“為了取悅你的孩子而殺死一隻熊”是不好的，“為了救你的孩子而殺死一隻熊”是可以的，但“為了救你的孩子而引爆核彈”是錯誤的。
2、是否問答。delphi以是或否的問答形式表達同意或不同意，例如“我們應該平等地支付女性和男性的工資”。
3、相對問答。說出一種情況是否比另一種情況更容易接受。例如指出“用芝士漢堡刺傷某人（stabbing someone with a cheeseburger）”比“用芝士漢堡刺向某人（stabbing someone over a cheeseburger）”在道德上更容易接受。
“ai系統逐漸适用于更加廣泛的領域，例如篩選履歷和準許貸款。”該研究的合作者、艾倫ai研究的研究員chandra bhagavatula說。“是以，我們必須研究機器倫理，并賦予機器在現實世界中做出道德決定的能力。”
如何将道德程式設計到ai中的問題至少可以追溯到艾薩克·阿西莫夫的機器人三定律，該定律在他1942年的短篇小說《runaround（回避）》中首次引入，内容如下：
1、機器人不得傷害人類，不得因不作為而導緻人類受到傷害。
2、機器人必須服從人類給它的指令，除非這些指令與第一定律相沖突。
3、機器人必須保護自己的存在，隻要這種保護不與第一定律或第二定律相沖突。
盡管諸如“不可殺人”之類的廣泛道德規則可能看起來直截了當，但将此類規則應用于現實世界的情況通常會有細微的差别，例如自衛的特殊情況。
在這項新研究中，ai研究員擺脫了專注于一套固定規則的規範性倫理，例如猶太人最初的法律條文摩西十誡（ten commandments），每個判斷都應遵循這些規則，因為這種道德公理通常是從實際的情況中抽象出來的.
“我們決定從描述性倫理的角度來處理這項工作，也就是說，人們在面對日常情況時會做出社會可接受性和倫理的判斷。”該研究的合作者、艾倫ai研究所的ai研究員ronan le bras說。
描述性與規範性倫理的不同在于，沒有一套固定規則，可以根據實際情況對照相應規則進行判斷。
研究合作者、華盛頓大學和艾倫ai研究所的ai研究員yejin choi說，這項工作的一個潛在應用是“對話式ai機器人面對有争議或不道德的話題時，可以改善其處理方式” 。2016年，微軟聊天機器人tay發表了攻擊性的長篇大論，這揭示了人工智能在與人線上交談時可能會變得失控。
ai模型容易被人類的語言所影響，科學家們确實注意到delphi有許多限制。例如時間方面，在淩晨3點或下午3點運作攪拌機是否違反道德；例如體育或遊戲内是否允許偷盜等不熟悉的話題；判斷潛在的非法行為，例如匆忙行事并不能讓闖紅燈成為可接受的行為。
此外，“delphi的一個主要限制是它專門研究以美國為中心的情況和判斷案例，是以它可能不适合具有特定文化的、非美國的情況，這就是為什麼它是模型而不是最終産品的原因。”該研究的合作者、艾倫ai研究所的ai研究員jenny liang說。
“具體來說，因為該模型是由美國的部分人口教授社會規範，例如做出判斷的從業人員，是以它學到的任何東西都會受到這些人的觀點影響。同樣，我們希望看到知識的擴充和規範以反映更多樣化的觀點，例如，來自其他非美國文化的觀點。”
“另一個重要的限制是我們的模型傾向于反映現狀，即當今社會的文化規範是什麼。”bhagavatula說，“但是當談到社會正義時，現狀在道德上并不一定是正确的，例如在當今時代的許多國家，同志是非法的。是以我們認為人們應該意識到，應該發生的情況與目前存在的情況是有差距的。”
研究人員建立了“ask delphi”網站，任何人都可以在該網站上提出ai問題，以便科學家們收集更多的人類回報。這表明delphi在特殊情況下仍然存在局限性。例如，當被問到“為了拯救世界而搶銀行是否可以？”delphi回答說：“不，這不行。”
“我們發現，對于delphi來說，面對相對立的兩種情況，能夠正确權衡利弊可能具有挑戰性。”勒布拉斯說，“在這個例子中，delphi正确地預測了‘搶銀行’是錯誤的，‘拯救世界’是好的，但将這兩者權衡在一起很難。”
此外，“commonsense norm bank資料集中的問題通常與更現實的日常情況有關。”choi說，“‘為了拯救世界而搶劫銀行是否可以’這個問題可能會出現在電視節目中，但很可能不會出現在現實生活中。”
未來，研究人員希望commonsense norm bank資料集繼續擴大，并使delphi的工作更具可解釋性和透明性。“因為在目前階段，很難知道它究竟為什麼這麼做。”sap說。此外，他們正在收集新的社會規範資料集，“關于人們在網站中嘗試後，認為delphi面臨的目前具有挑戰性的情況。”
當下，ai領域的發展仍然非常迅猛，commonsense norm bank資料集的出現，描述性倫理的變革，都使得ai模型delphi的道德判斷準确率提高。
ai領域的發展潛力巨大，盡管離理想的準确判斷還有距離，但随着新的訓練方式出現，ai模型的智能化也會更加迅速，量變必将帶來新的質變。
來源：ieee spectrum