曹建峰騰訊研究院進階研究員
梁 竹騰訊研究院助理研究員
2022年全國兩會期間，社會各界熱議科技創新與科技倫理。從業界具體實踐來看，随着各界對AI倫理的日益重視和各國AI監管政策和立法的持續推進，各大科技公司紛紛擁抱AI倫理，打造可信AI，把AI倫理和可信AI作為打造AI産品和服務的市場競争優勢的核心引擎之一。
微軟、谷歌、IBM、Twitter等衆多國外主流科技公司在AI倫理與可信AI方面謀劃早、布局全、實踐深，涉及原則、治理機構、技術工具和解決方案、AI倫理産品服務、行動指南、員工教育訓練等諸多層面。本文對微軟、谷歌、IBM、Twitter這四家比較有代表性的公司的實踐做法予以系統梳理，以期能夠有所啟示。
微 軟
一、倫理原則
微軟緻力于以人為本地推動AI技術發展，在AI倫理方面提出公平、安全可靠、隐私保障、包容、透明、負責六大原則。
二、治理機構
微軟主要有三個内設機構負責AI倫理踐行方面的事務。它們分别是負責任人工智能辦公室（Office of Responsible AI，以下簡稱ORA），人工智能、倫理與工程研究委員會（AI and ethics in engineering and research committee，以下簡稱Aether committee），以及負責任AI戰略管理團隊（Responsible AI Strategy in Engineering，以下簡稱RAISE）。
ORA主要有四個職能：制定公司内部的負責任AI規則；團隊賦能，幫助公司以及客戶落實AI倫理規則；審查敏感用例，確定微軟AI原則在開發和部署工作中得到實施；推進立法、規範、标準的制定，確定人工智能技術有助于提升社會福祉。通過這些行動，人工智能辦公室将微軟的AI倫理原則付諸實踐。
Aether于2017年設立，該委員會由産品開發、研究員、法律事務、人力資源等部門的負責人組成，專注于公平與包容、安全可靠、透明可解釋、隐私保障、人工智能互動協作領域，積極制定内部政策，并決定怎樣負責任地處理出現的問題。當部門内部出現問題時，委員會以研究、反思和建議來回應，這些針對特定案例的建議可能演變為公司通用的理念、政策和實踐。
RAISE旨在使負責任AI的要求整合到團隊日常開發過程中。其有三項職能：建立負責任AI的工具和系統，幫助公司及客戶實作AI倫理落地；幫助工作團隊落實負責任AI規則，将負責任AI的要求整合到日常工作中；為工程團隊提供合規工具，以監控和執行負責任AI規則的要求。
三、AI倫理的技術解決方案
針對AI倫理實踐，微軟給出了一系列的技術解決方案。這些技術解決方案包括了貫穿整個AI生命周期的技術工具（Technology tools）和管理工具（Management tools），同時，還包括了按照應用場景将需求特性內建到AI系統中的工具包（Toolkit）。
1 /技術工具
（1）評估
Fairlearn： 一個python工具包/庫，用于評估給定AI模型在一系列公平性名額上的得分，如”預測個人收入“的模型是否在男性客戶群體中的預測效果比女性群體更好，進而發現可能的模型歧視，為模型的改進提供公平性限制。
InterpreteML：一個python工具包/庫， 內建了一系列XAI（可解釋AI）的前沿方法。既允許使用者從頭訓練一個可解釋的“玻璃箱”模型，還能幫助人們了解/解釋某些給定的”黑箱”模型。
Error Analysis： 一個python工具包/庫，提供一系列對于主流AI模型進行“錯誤分析”的功能。包括但不限于為誤分類樣本建立可視化熱力圖，建構全局/局部解釋，因果幹涉等分析，幫助人們更好探索資料、認識模型。
Counterfit： 一個基于指令行的通用檢測工具，用于測試給定的AI系統在作為開源平台時的穩定性和安全性。
（2）開發
SamrtNoise： 一系列基于“差分隐私”的前沿AI技術：通過特定方式在AI模型訓練過程中添加噪音，確定開發者在開發過程中、所用敏感隐私資料不會洩露。
Presidio： 一個python工具包/庫。能幫助使用者高效地識别、管理并模糊大資料中的敏感資訊，比如自動識别文本中的位址、電話等。
（3）部署
Confidential computing for ML：在微軟雲的系統上，通過機密計算等系統層面的安全手段，保證模型與敏感資料的絕對安全。
SEAL Homomorphic Encryption：使用開源同态加密技術，允許在加密資料上執行計算指令，同時防止私有資料暴露給雲營運商。
2 /管理工具
AI fairness checklist：AI fairness checklist研究項目探讨如何設計人工智能道德清單，以支援更公平的人工智能産品和服務的發展。研究小組與清單的使用者——人工智能從業人員協作，征求他們的意見，形成人工智能的設計、開發和部署全生命周期的檢查清單。項目的首批研究已經産生了一個與從業者共同設計的公平性清單，同時也形成了對組織和團隊流程如何影響AI團隊解決公平性危害的見解。
HAX Playbook：一個主動、系統地探索常見人工智能互動故障的工具。Playbook 列出了與人工智能産品應用場景相關的故障，以便為開發者提供有效恢複的方法。Playbook 還提供了實用的指導和示例，以說明如何用較低的成本模拟系統行為，以便進行早期使用者測試。
Datasheets for Datasets：機器學習社群目前沒有記錄資料集的标準化流程，這可能會導緻高風險領域的嚴重後果。為了解決這個差距，微軟開發了Datasheets for Datasets。在電子工業中，每一個元件，無論多麼簡單或複雜，都有一個資料表（datasheet ）來描述其操作特性、測試結果、推薦用途和其他資訊。相應的，每一個資料集（dataset）都應該有一個記錄其動機、組成、收集過程、推薦用途等的資料表。Datasheets for Datasets将促進資料集建立者和資料集消費者之間的溝通，并鼓勵機器學習優先考慮透明度和問責制。
3 /工具包
Human AI eXperience（HAX）Toolkit：HAX Toolkit是一套實用工具，旨在幫助AI創造者，包括項目管理和工程團隊等主體，在日常工作中采用這種以人為本的方法。
Responsible AI Toolbox：Responsible AI Toolbox涵蓋了錯誤分析（Error Analysis）、可解釋性（Interpretability）、公平性（Fairness）、負責任（Responsible）四個界面，增進人們對AI系統的了解，使開發者、監管機構等相關人員能夠更負責任地開發和監控 AI，并采取更好的資料驅動行動（data-driven actions）。
四、行動指南
為了能讓項目團隊更好地貫徹AI原則，微軟公司釋出了一系列行動指南（Guidelines），在項目開發過程中為團隊提供具體的行動建議、解決方案，如“應該收集哪些資料”、“應該如何訓練AI模型”等問題上。行動指南旨在為團隊節省時間、提高使用者體驗、貫徹AI倫理原則。行動指南不同于任務清單（checklist），或許并不适用于每一個應用場景，也并非需要團隊強制遵守，針對特殊情況、專門領域，會釋出專用的行動指南。
微軟針對人工智能互動問題、安全問題、偏見問題、機器人開發領域問題，釋出了6項行動指南，貫穿負責任AI的評估環節、開發環節。其中HAX Workbook、Human AI Interaction Guidelines以及HAX Design Patterns旨在幫助解決人工智能互動問題；AI Security Guidance針對人工智能可能帶來的安全威脅，提供解決方案；Inclusive Design Guidelines充分考慮了人類的多樣性，用于解決AI可能帶來的偏見問題；Conversational AI guidelines專注于機器人開發領域可能帶來的種種問題。
谷 歌
一、 倫理原則
谷歌從積極方面和消極方面規定了人工智能設計、使用的原則，将其作為公司和未來AI發展的基礎。該原則以“道德憲章”的地位，指導公司的AI研究以及AI産品中的開發和使用。同時谷歌也承諾，願意随着時間的推移而及時調整這些原則。具體來說，這些原則包括：
積極方面，人工智能的使用應該：
（1）有利于增進社會福祉；
（2）避免制造或強化歧視、偏見；
（3）以安全為目的的創新；
（4）對公衆負責；
（5）納入隐私設計原則；
（6）堅持科學卓越的高标準；
（7）符合這些原則。
消極方面，公司不會在以下應用領域設計或部署AI：
（1）造成或可能造成危害的技術；
（2）對人造成傷害的武器或其他技術；
（3）違反了國際公認規範，收集或使用資訊用于監視的技術；
（4）目的違反廣泛接受的國際法和人權原則的技術。
2018年，谷歌宣布人工智能原則的同時，成立了負責任創新中央團隊（central Responsible Innovation team），當初這個團隊僅由6名員工組成。如今，團隊規模已經顯著擴大，數百名谷歌員工構成了數十個創新團隊，在人權、使用者體驗研究、倫理、信任和安全、隐私、公共政策、機器學習等領域建構了一個AI原則生态系統。谷歌通過這個内部的AI原則生态系統來實施負責任AI的創新實踐，幫助谷歌技術開發人員将負責任AI落實到他們的工作當中。這個生态系統的核心是一個三層的治理架構：
第一層是産品團隊，由專門負責使用者體驗（UX）、隐私、信任和安全（T&S）等方面的專家組成，這些專家提供與人工智能原則相一緻的專業知識。
第二層是專門的審查機構和專家團隊。由負責任創新中央團隊（Central Responsible Innovation Review Committee）、隐私顧問委員會（Privacy Advisory Council）、衛生倫理委員會（Health Ethics Committee）以及産品審查委員會（Product Area AI Principles Review Committees）四個部門組成。
（1）負責任創新中央團隊（Central Responsible Innovation Review Committee）
該團隊為整個公司的實施AI原則提供支援。公司鼓勵所有員工在整個項目開發過程中參與人工智能原則的審查。一些産品領域已經建立了審查機構，以滿足特定的閱聽人和需求，如谷歌雲（Google Cloud）中的企業産品、裝置和服務（Devices and Services）中的硬體、谷歌健康（Google Health）中的醫學知識。
（2）隐私顧問委員會（Privacy Advisory Council）
該委員會負責審查所有可能存在潛在隐私問題的項目，包括（但不僅限于）與人工智能相關的問題。
（3）健康倫理委員會（Health Ethics Committee）
HEC成立于成立于2020年，是一個在健康領域發揮指導、決策功能的論壇，針對健康産品、健康研究或與健康有關的組織決策等領域産生的倫理問題提供指導，保護谷歌使用者和産品的安全。HEC是一個綜合性的論壇，其中包括生物倫理學、臨床醫學、政策、法律、隐私、合規、研究和商業方面的主題專家。2021年，谷歌生物倫理項目建立了the Health Ethics Cafe，這是一個讨論生物倫理問題的非正式論壇，公司任何人在項目開發的任何階段都可以在此進行讨論，論壇中遇到的棘手問題将被更新到HEC進行審查。
（4）産品審查委員會（Product Area AI Principles Review Committees）
PAAPRC是一個專門為特定産品領域而設立的審查委員會。其中包括谷歌雲的負責任AI産品委員會（Responsible AI Product Committee）和交易審查委員會（Responsible AI Deal Review Committee），其旨在確定谷歌雲的AI産品、項目以系統、可重複的方式與谷歌人工智能原則保持一緻，并将道德、責任嵌入了設計過程中。産品委員會專注于雲人工智能和行業解決方案（Cloud AI & Industry Solutions）所建構的産品。根據AI原則對社會技術前景、機會以及危害進行綜合審查，并與跨職能、多樣化的委員會進行現場讨論，進而形成一個可操作的協調計劃。交易審查委員是一個由四名跨職能的進階執行成員組成的委員會。所有決定的作出都必須得到所有四名委員會成員的完全同意，并根據需要逐漸更新。谷歌AI原則生态系統的相關人員會幫助委員會了解讨論的内容，避免其憑空做出決定。
人工智能治理結構的第三層是先進技術審查委員會（Advanced Technology Review Council），這是一個由進階産品、研究和商業主管輪流擔任委員的委員會，代表着谷歌公司多個部門的不同意見。ATRC處理更新問題以及最複雜的先例性案例，并建立影響多個産品領域的政策，權衡潛在的商業機會和某些應用程式的道德風險。
案例一：谷歌雲的負責任AI産品審查委員會&谷歌雲負責任AI交易審查委員會為避免加重算法不公平或偏見，決定暫停開發與信貸有關的人工智能産品
2019年，谷歌雲的負責任AI産品審查委員會評估了信用風險和信譽領域的産品。雖然我們希望有一天AI能夠進入信貸領域，并在增進金融普惠和财務健康方面發揮作用，但産品審查委員會最終否定了這項産品——用當下的技術、資料打造的信用可靠性産品，可能在性别、種族和其他邊緣化群體方面産生差别影響，并與谷歌“避免創造或加強不公平的偏見”的人工智能原則相沖突。2020年年中，産品審查委員會重新評估并重申了這一決定。在過去的一整年中，交易審查委員會評估了多個與信貸評估有關的人工智能應用（proposed custom AI engagements）。每一項應用都會根據其特定的用例進行評估，交易審查委員會最終決定拒絕進行其中的許多業務。多年的經驗和教訓讓我們确信：在風險得到适當緩解之前，應該暫停開發與信貸相關的定制AI解決方案（custom AI solutions）。這個方針從去年開始生效，并一直持續到今天。
案例二：先進技術審查委員會基于技術問題與政策考量，拒絕通過面部識别審提案
2018年，先進技術審查委員會處理了谷歌雲産品的審查提案，決定在解決重大技術、政策問題之前，不提供通用面部識别API，并建議團隊專注于專用AI解決方案。随後，公司内外相關人員對此進行了大量的投入，經過團隊的多年努力，谷歌雲開發了一個高度受限制的名人專用API2（Celebrity Recognition API2），并尋求ATRC的準許，最終ATRC同意釋出該産品。
案例三：先進技術審查委員會對涉及大型語言模型的研究進行審查，認為其可以謹慎地繼續
2021年，先進技術審查委員會審查的其中一個主題是關于大型語言模型的發展。審查之後，先進技術審查委員會決定，涉及大型語言模型的研究可以謹慎地繼續，但在進行全面的人工智能原則審查之前，此模型不能被正式推出。
三、技術工具
（1）Fairness Indicators：2019年釋出，用于評估産品的公平性。Min-Diff14 technique：對日益增多的産品用例進行補救，以達到最佳的學習規模，能夠主動解決公平性問題。
（2）federated learning：在Gboard等産品中使用的聯邦學習，幫助模型根據真實的使用者互動進行集中訓練和更新，而無需從個人使用者那裡收集集中的資料，以增強使用者隐私。
（3）federated analytics：使用與federated learning類似的技術，在不收集集中資料的情況下，深入了解産品特性和模型對不同使用者的性能。同時，federated analytics也允許項目團隊在不通路原始使用者資料的情況下進行公平性測試，以增強使用者隐私。
（4）federated reconstruction：與模型無關的方法，可以在不通路使用者隐私資訊的情況下，實作更快、大規模的聯邦學習。
（5）Panda：一種機器學習算法，幫助谷歌評估網站的整體内容品質，并相應地調整其搜尋排名。
（6）Multitask Unified Model (MUM)：使搜尋引擎了解各種格式的資訊，如文本、圖像和視訊，并在我們周圍世界的概念、主題和想法之間建立隐含的聯系。應用MUM不僅将幫助世界各地的人們更高效地找到他們所需要的資訊，而且還将增強創造者、出版商、初創企業和小企業的經濟效益。
（7）Real Tone：為深色膚色的使用者提供了人臉檢測、自動曝光和自動增強等功能，幫助人工智能系統發揮更好性能。
（8）Lookout：一款為盲人和低視力者開發的安卓應用程式，使用計算機視覺技術提供使用者周圍的環境資訊。
（9）Project Relate：使用機器學習來幫助有語言障礙的人更便利地交流以及使用科技産品。
（10）Privacy Sandbox：與廣告行業合作，在支援出版商、廣告商和内容創造者的同時，通過AI技術增強使用者隐私，提供更私密的使用者體驗。
四、産品與服務
（1）Google Cloud：為各行業大規模應用可信賴AI模型，提供可靠的基礎設施與高效的部署方案，并配套提供員工教育訓練、內建相關開發環境等服務，使得各行業人員能更便捷地掌握和使用可信賴的AI工具模型。
（2）TensorFlow：世界上最流行的ML架構之一，擁有數百萬的下載下傳量和全球開發者社群，它不僅在谷歌中被使用，而且在全球範圍内被用來解決具有挑戰性的現實世界問題。
（3）Model Cards：一種情景假設分析工具，能夠為AI的算法運作提供一份可視化的解釋文檔。該文檔能夠為使用者閱讀，使其充分了解算法模型的運作原理和性能局限。從技術原理上看，模型卡片設定的初衷是以通俗、簡明、易懂的方式讓人類看懂并了解算法的運作過程，其實作了兩個次元的“可視化”：一是顯示算法的基本性能機制；二是顯示算法的關鍵限制要素。
（4）Explainable AI：借助該服務，客戶可以調試和提升模型性能，并幫助他人了解客戶的模型行為。還可以生成特征歸因，以在 AutoML Tables 和 Vertex AI 中進行模型預測，并利用 What-If 工具以直覺的方式調查模型行為。
五、治理創新：重視員工教育訓練
相比于其他企業，谷歌在AI倫理實踐方面的一大特色是專為員工開設了科技倫理教育訓練（Technology ethics training），該教育訓練項目旨在通過科技哲學來指導員工遵循道德，使他們了解如何評估潛在的利害，同時還配有課程，為員工解釋谷歌人工智能原則和内部治理實踐。不僅如此，2021年，谷歌還為新員工配套了AI原則和負責任創新教育訓練課程（AI Principles and responsible innovation training course），幫助他們了解谷歌的倫理道德準則和可用資源。2021年，谷歌還推出了線上互動答題（interactive online puzzles），旨在幫助員工建立對人工智能原則的認識，并測試他們的記憶程度。
IBM
IBM針對AI倫理問題提出了三大原則、五大支柱。三大原則分别是：人工智能的目的是增強人類的智慧、資料和觀點都屬于它們的創造者、技術必須是透明和可解釋的。五大支柱分别是：公平性、可解釋性、魯棒性、透明性、隐私性。
IBM在AI倫理踐行方面主要由AI倫理委員會（AI Ethics Board）負責，公司AI治理架構的所有核心内容均處于AI倫理委員會之下。委員會負責制定指導方針，并為人工智能的設計、開發和部署工作保駕護航，旨在支援整個公司的所有項目團隊執行AI倫理原則，并敦促公司和所有員工堅守負責任AI的價值觀。
該委員會是一個跨學科的中央機構，委員會成員包括來自公司各個部門的代表，針對業務部門、科研部門、營銷部門、宣傳部門等部門的工作制定決策。此外，委員會還幫助業務部門了解對技術特征的預期，幫助公司各部門在AI倫理領域做到互相熟悉和了解，以便更好地開展協作。
同時，AI倫理委員會還将依據公司AI原則、具體核心内容以及技術特征，審查業務部門可能向客戶提供的新産品或服務的提案。審查未來可能與客戶達成的交易時，委員會主要關注以下三個方面：首先是技術特征，其次是技術的應用領域，最後是客戶本身，即審查客戶以往是否妥善遵循負責任AI原則。
案例一：新冠疫情期間，AI倫理委員會參與數字健康通行證開發、部署階段的評審工作。
為協助新冠疫情治理，IBM制定了數字健康通行證（Digital Health Pass）。該通行證的開發團隊從最早的概念階段開始，就向委員會征詢意見，該通行證是。 通用的“疫苗護照（vaccine passports）”可能導緻隐私問題或不公平的通路，是以IBM的解決方案是：隻有在個人同意後才能共享個人資訊，并使每個人都受益。 委員會參與了開發階段，并在部署解決方案時繼續進行評審。
三、技術解決方案
IBM根據AI倫理的五大支柱：可解釋性、公平性、魯棒性、透明性、隐私性，提出了五種針對性的技術解決方案。相應的，它們分别是：AI Explainability 360 toolkit、AI Fairness 360 toolkit、Adversarial Robustness 360 Toolbox v1.0、AI FactSheets 360、IBM Privacy Portal。
（1）AI Explainability 360 toolkit：從普通人到政策制定者、從科研人員到工程技術人員，不同的行業和角色需要各不相同的可解釋性。為了有效解決可解釋性多樣性、個性化的強烈需求，IBM的研究人員提出了內建可解釋性工具箱AI Explainability 360（AIX360）。這一開源工具箱涵蓋了八種前沿的可解釋性方法和兩個次元評價矩陣。同時還提供了有效的分類方法引導各類使用者尋找最合适的方法進行可解釋性分析。
（2）AI Fairness 360 toolkit：人工智能算法中的偏差問題越來越受到關注，AI Fairness 360是解決這一問題的開源解決方案。該工具提供了算法，使開發人員能夠掃描最大似然模型，以找到任何潛在的偏見，這是打擊偏見的一個重要工作，當然也是一項複雜的任務。
（3）Adversarial Robustness 360 Toolbox v1.0：ART最初于2018年4月釋出，是一個對抗性機器學習的開源庫，為研究人員和開發人員提供最先進的工具，以在對抗性攻擊面前防禦和驗證人工智能模型。ART解決了人們對人工智能日益增加的信任擔憂問題，特别是在關鍵任務應用中人工智能的安全性。
（4）AI FactSheets 360：以AI事實清單為代表的自動化文檔是增強AI可解釋性的重要方式，它能夠以一種清晰明了的方式，作為技術人員與使用者的溝通媒體，進而能避免許多情形下的道德和法律問題。AI事實清單并不試圖解釋每個技術細節或公開有關算法的專有資訊，它最根本的目标是在使用、開發和部署AI系統時，加強人類決策，同時也加快開發人員對AI倫理的認可與接納，并鼓勵他們更廣泛地采用透明性可解釋文化。
IBM釋出了《人工智能日常倫理指南》（Everyday Ethics for Artificial Intelligence），用于貫徹落實IBM提出的AI倫理道德原則。該指南旨在讓人工智能系統的設計者和開發人員系統地考慮AI倫理問題，将道德、倫理貫徹在AI的全生命流程中。
一、治理機構
META團隊（Machine Learning Ethics, Transparency & Accountability）：這是一個由公司内部的工程師、研究人員和資料科學家組成的專門小組，主要工作是評估公司使用的算法造成或可能造成的無意傷害，并幫助Twitter确定待處理問題的優先級。META團隊緻力于研究人工智能系統的工作原理，并改善人們在Twitter上的體驗，比如删除一種算法，讓人們對自己釋出的圖檔有更多的控制權，或者當這些圖檔對某個特定社群産生巨大影響時，Twitter會制定新的标準來設計和制定政策。META團隊工作的成果可能并不總是轉化為可見的産品變化，但在機器學習的建構和應用上給我們帶來更高層次的認知，并對重要問題作出讨論。
案例一：對性别和種族偏見的深入研究
META團隊正在對圖像裁剪算法中的性别和種族偏見進行“深入分析和研究”，其中包括對圖像裁剪（顯著性）算法的性别和種族偏見分析，對不同種族亞群體的“首頁”時間線推薦内容進行公平性評估以及針對七個國家不同政治意識形态的内容推薦分析。
二、治理創新：算法賞金挑戰賽
頗有意思的是，為解決ML圖像裁剪的公平性問題，Twitter舉辦算法賞金挑戰賽，使用社群主導的方法來建構更好的算法，收集來自不同群體的回報。2021 年 8 月，Twitter舉辦了第一次算法偏見賞金挑戰賽，并邀請邀請人工智能開發者社群來拆解算法，以識别其中的偏見和其他潛在危害。算法賞金挑戰賽幫助公司在短時間内發現了算法對于不同群體的偏見問題，成為公司征求回報和了解潛在問題的重要工具。
幾點啟示
在這樣一個新技術新應用新業态以指數級增長的數字化時代，由于技術與人之間的互動和互相影響不斷加深，以及技術越來越具有更高的自主性，技術倫理成為了數字商業倫理的最新命題。正如微軟總裁兼副董事長布拉德·史密斯在其著作《工具，還是武器？》中所言，”如果你掌握了能夠改變世界的科技，那麼你就有責任幫助解決你創造的世界所面臨的問題。”大陸的相關頂層政策檔案和立法都對科技倫理提出了新的要求，強調科技倫理審查的重要性，塑造科技向善的文化理念。在這樣的背景下，微軟、谷歌、IBM、Twitter等國外科技公司在AI倫理和可信AI上的實踐做法，可以提供很多有意義的啟發。
其一，在一個高度技術化、數字化的社會，在公司的治理版圖上，技術倫理将成為與财務、法務等既有闆塊同等重要甚至更為重要的闆塊。我們看到，技術倫理作為商業倫理的新拼圖，越來越多的科技公司開始将首席倫理官、倫理委員會等機制内化為常态化的組織架構，統籌推進相關工作。
其二，AI倫理和可信AI需要系統化的建設，抽象的原則和頂層的架構固然重要，但行勝于言，更重要的是将倫理原則轉化為具體的實踐，融入技術設計以打造負責任的技術應用。在這方面，内部治理機制、技術解決方案、倫理教育訓練、倫理黑客社群（類似于網絡安全領域的白帽黑客）、技術标準等傳統的和創新性的方式日益發揮出重要作用。因為可信AI和AI倫理不僅是理念原則，更是行動路線。
其三，正如可信AI和AI倫理的概念本身所表征的那樣，我們需要反思技術人員主導的技術研發應用和部署過程，更多強調技術開發應用中的多元背景和多元參與。将政策、法律、倫理、社會、哲學等領域的人員引入開發團隊，是将倫理要求嵌入技術設計開發的最直接的、最有效的路徑。好的技術不僅關注結果，更要關注過程。
科技向善是高度技術化社會的終極願景。科技向善（tech for good）的理念至少包括兩個路徑，向外需要用技術解決各種社會問題挑戰，向内需要關注技術本身，打造“善的/好的技術”（good tech）。AI倫理和可信AI正是聚焦于如何打造“善的/好的技術”，最終為向外發力的“科技向善”建立基礎。
參考文獻：
[1]https：//www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6
[2]https：//www.microsoft.com/en-us/ai/our-approach?activetab=pivot1%3aprimaryr5
[3]https：//www.microsoft.com/en-us/ai/responsible-ai-resources
[4]https：：//azure.microsoft.com/en-us/solutions/devops/devops-at-microsoft/one-engineering-system/
[5]https：//ai.google/responsibilities/
[6]https：//cloud.google.com/responsible-ai
[7]https：//www.tensorflow.org/responsible_ai
[8]https：//blog.tensorflow.org/2020/06/responsible-ai-with-tensorflow.html
[9]https：//github.com/microsoft/responsible-ai-toolbox
[10]https：//www.ibm.com/artificial-intelligence/ethics
[11]https：//aix360.mybluemix.net/?_ga=2.38820964.651461218.1639109085-1605157021.1638780204
[12]https：//www.ibm.com/blogs/research/2019/09/adversarial-robustness-360-toolbox-v1-0/
[13]https://blog.twitter.com/en_us/topics/company/2021/introducing-responsible-machine-learning-initiative
[14]https://blog.twitter.com/engineering/en_us/topics/insights/2021/algorithmic-bias-bounty-challenge