關注：灰質，有趣有料的AI技術分享
上次說到好用的智能技術，今天具體說說其中的安全性問題，在自動駕駛等領域，智能技術的安全性已經成為業界的焦點，如何從方法本身或系統整體來保證安全，接下來将成為整個行業集智攻關的方向。總體來說，一個自動駕駛系統的安全包括功能安全（系統設計功能）、預期功能安全（預期使用場景下保證安全）和網絡安全等方面。今天先說說其中比較有特色的一種安全，預期功能安全。
預期功能安全這個詞來自自動駕駛領域，是目前對于智能系統可用性評估比較有意思的方向。通常意義上的安全是指硬體裝置故障、軟體功能報錯等，但是智能技術帶來了一個新問題，如果是系統本身設計研發中就沒有預見到可能出現的問題呢？即所謂的未知情況下的危險。那麼對于這種整體性功能在預期場景下可能出現的未知危險問題如何評估，如何控制，就是預期功能安全嘗試解決的問題。
預期功能安全英文全名是Safety of the Intended Functionality，即SOTIF。自動駕駛領域已經開始制定相關标準，如ISO/PAS 21448. Road Vehicles—Safety of the Intended Functionality 等。其中将自動駕駛車輛面對的場景分為四類，已知安全場景、已知不安全場景、 未知安全場景以及未知不安全場景。SOTIF重點關注的就是未知的危險類場景及問題，核心目的就是找到一種規範化的方法将未知的危險轉換為已知或者叫可知的危險，然後再把可知的危險轉變成安全可控的場景和問題。
解決這個問題主要兩個方面努力，一個是增強自動駕駛等智能系統的傳感器硬體和算法軟體等能力，提高功能适用範圍。另一個是在測試驗證方面加強測試評估體系建設，盡量全面地預見到智能系統的危險情況，給出使用邊界。尤其是測試評估方面，從基礎上要建立真實性、完備性不斷完善的場景庫，從頂層要制定行業共識的标準規範。
今天咱們聊一聊相關的進展。
在安全性分析方面，有人在做關于基于場景的擴充危害性分析與風險評估的研究，指的是從功能安全和預期功能安全角度對整個智能系統的危害性進行分析，對風險進行評估，然後設計場景來模拟測試。危害源通常包括兩部分：功能失效和誤操作。也就是說，從安全的角度，非人為和人為因素都要考慮。基本的思路是周遊所有可能的危害性事件，然後合并為具有安全性風險的場景集合，再利用工具生成場景進行測試。還可以用到的方法包括故障樹分析（FTA）、故障模式與影響分析（FMEA）、危險與可操作性分析（HAZOP）、系統理論過程分析（STPA）等。将一系列經典方法拓展到智能系統的安全性分析之中。
在提升智能技術的預期功能安全方面，主要涉及了感覺、判斷、決策、控制和人機互動。
感覺方面，主要挑戰有極端天氣（雨、雪和大霧）條件下的感覺，不利照明條件下的感覺，傳感器故障和運作狀态監控，以及駕駛人對于自動駕駛系統功能的正确認知。智能感覺系統需要進一步提高準确度和精度，改善感覺系統在不利照明和極端惡劣天氣條件下的感覺能力，未來感覺傳感器會向感覺更加靈敏、精确的方向發展，以增強對複雜情況的處理能力與應對各種不利條件、突發狀況。
判斷方面，主要挑戰有未來意圖的不确定性，且參與者之間的互動作用難以模組化，參與者的行為往往呈現高度非線性。判斷行為意圖的機率分布應與其所采取的政策關聯，且算法還應該能賦予結果相應的置信度，以衡量結果的不确定性。是以，研究判斷模型的不确定性估計方法對于解決意圖判斷的預期功能安全問題至關重要。
決策方面，主要挑戰有現階段基于規則的決策技術面臨因場景狀态次元高、不确定性強等特點導緻決策失效的挑戰。基于人工智能決策方法的可靠性仍然還有很大的不确定性，随着智能決策方法日益複雜，預期功能在某些場景下可能無法達到規範的要求。
控制方面，現有執行控制功能在特定場景下仍然存在預期功能安全問題，可能出現控制性能缺陷問題。
人機互動方面，基于現有的智能技術可以預見，在将來的一段時期内，由智能無人系統和人類共同控制的“半自動”智能系統将占絕大多數。半自動智能系統需要人的幹預，哪一方在何時負責、将是一個很難界定的問題。這需要對人的行為特點進行深入研究，不斷疊代完善對預期行為和非預期行為等情況的處理方式。
預期功能安全的研究還涉及了測試評價體系、虛拟測試平台和外場試驗場地等研究工作。
在場景生成方面，最終的目的還是建構出能夠自動化生成複雜度、覆寫性與真實情況足夠接近的虛拟測試場景，而且最好是虛拟測試通過的智能系統在真實場景中運作的情況是一緻的，至少不會産生安全事故。這方面很多人在研究如何度量場景的複雜性、覆寫性等，尤其是對于未知危險的測量，需要考慮很多邊界條件和極端情況。德國有一個PEGASUS（英文全名巨長，不提也罷）計劃專門在做這方面，目的是開發一套自動駕駛功能的測試流程，以加快自動駕駛功能開發與落地。參與者衆多，奧迪、寶馬、大衆等十多個組織，可以說是非常主流了。這個項目可以多關注一下，從2017年到現在已經形成了很多成果，而且不斷疊代，這也是歐洲汽車工業一貫的合作模式，成功經驗值得借鑒。
虛拟仿真平台和試驗場地也都在迅速推進，涉及到模型在環、硬體在環和全系統在環等測試環節。
總的來說，智能系統的安全性研究才剛剛開始，諸多問題仍待研究，需要持續的積累才能達到足夠的安全與可靠。
一點粗淺認識，班門弄斧，如果覺得還行，請給咱們支援一下吧，點贊、分享、收藏各種走起，在此多謝啦！