摘要：華為雲AI開發平台ModelArts黑科技加持AI研發，讓模型開發更高效、更簡單，降低AI在行業的落地門檻。全面的可視化評估以及智能診斷功能，使得開發者可以直覺了解模型各方面性能，進而進行針對性的調優。
今年，全新釋出的華為雲ModelArts備受關注，創新黑科技成為AI界團寵。
模型建構一直是AI落地行業遇到的挑戰之一，尤其是如何對即将部署上線的模型進行評估和診斷，以確定研發是否滿足業務需求，保證AI産品的品質水準，讓評測結果優秀的模型直接投入生産環境，對差強人意的模型進行調優。
華為雲AI開發平台ModelArts黑科技加持AI研發，讓模型開發更高效、更簡單，降低AI在行業的落地門檻。全面的可視化評估以及智能診斷功能，使得開發者可以直覺了解模型各方面性能，進而進行針對性的調優。
全方位為AI模型體檢，降低AI研發門檻
長期以來，模型調優通常過于依賴資料科學家或算法工程師的個人經驗，這就導緻開發一個最優AI模型門檻高、代價大。另一方面，除了模型精度等常用名額之外，要将模型部署在生産環境，就必須考慮其性能、可解釋性、魯棒性、抗攻scs擊性等其他名額。對于大多數資料科學家或算法工程師而言，這些名額的分析和優化并不是非常直覺。這就導緻AI模型進入生産環境困難重重。
為了解決上述兩方面的問題，華為雲ModelArts通過平台内置的工具幫助使用者自動分析和評估出模型的各項名額，相當于生成模型的“體檢報告”，并給出優化建議，使用者可根據優化建議進一步提升模型效果或者決定是否将其部署到生産環境。
模型評估診斷更智能，調優更具針對性
ModelArts可提供精度、敏感度、計算性能、對抗性等名額的分析和診斷，并輔助熱力圖、抽象特征分布等手段便于了解模型和資料分布情況。
1.可視化呈現樣本預測值和真實值，資料分析更直覺
在精度方面，ModelArts提供了混淆矩陣、ROC等常用名額，将每個樣本的預測值和真實值可視化呈現，便于使用者基于原始資料進行深入分析。例如花卉識别場景，由于花卉種類繁多，同一類别下花卉差異性小，對AI模型的精度要求就會更高。ModelArts對圖像識别模型精度進行精确評估，保證花卉識别的準确性。
基于ModelArts的圖像分類模型預測結果展示
2.切分資料集細化模型敏感度分析，優化建議更聚焦
在敏感度分析方面，ModelArts根據資料集的一些基礎特性（例如圖像的亮度、清晰度等特征，或者文本的長度等特征）将原始資料集切分為不同的子集，然後在不同的子集上評估模型的精度名額，即可分析出該模型對于不同特征的敏感度，進而為模型優化提供方向。當圖像亮度對模型精度影響波動比較大時，需要再重訓練時對亮度進行增強。
基于ModelArts的抽象特征敏感度分析及其診斷建議
3.深入AI底層系統算子優化，具象化模型計算性能分析
在計算性能方面，ModelArts可針對常用架構訓練的模型進行細粒度性能分析，可以分析出算子的推理時長和參數量分布，為算子優化和模型壓縮提供方向。
基于ModelArts的模型計算性能分析
4.内置多種攻sed擊算法，多元度評估模型對抗性
在對抗性評估方面，ModelArts内置了多種攻de擊算法，針對模型進行攻de擊并輸出攻ed擊成功率以及被攻ede擊後的模型的精度名額，如圖4所示。根據診斷建議，可以發現模型在某些類别上更容易受到攻de擊，可以通過進一步的資料增強來優化。對于模型中潛在的容易受到攻de擊的算子，ModelArts也可以自動做出相應的提示。從圖5中，可以看出，被攻de擊後ROC曲線明顯不如被攻ed擊之前。是以，不建議該模型直接部署到生産環境，而需要先根據ModelArts診斷建議進行進一步優化。
圖4. 基于ModelArts的模型對抗性攻ed擊評估和診斷
（a）
（b）
圖5. 模型被攻dds擊前（a）和被攻ddss擊後（b）的ROC曲線
三大場景智能評估和診斷，模型調優有的放矢
目前，模型智能評估與診斷支援三種類型的模型和資料集，“圖像分類”、“物體檢測”和“語義分割”，讓使用者全面了解模型對不同資料特征的适應性，使得模型調優可以做到有的放矢。
假如要對五類食品的圖像進行分類，使用ModelArts市場訂閱的ResNet_V1_50算法訓練，第一次訓練得到的模型在測試集上進行評估，精度為54.8%，在敏感度分析中，可以發現模型對圖像亮度的敏感度非常大，不同亮度區間裡模型精度的方差達到0.249，建議進行亮度方面的資料擴增。
擴增資料後重新訓練模型，使用相同測試集進行模型評估，精度上升到63.4%，不同亮度區間裡模型精度的方差下降到0.217。
在對安全帽的檢測任務中，使用ModelArts市場訂閱的物體檢測-EfficientDet算法訓練，在驗證集上獲得74.8%mAP。
根據建議進行資料擴增，點選二次訓練按鈕，推薦的訓練參數會自動加載到新的訓練任務中。
訓練結束後，檢視評估結果，驗證集mAP有顯著提升。
華為雲ModelArts的黑科技功能不止于自動化模型評估與診斷功能。運用ModelArts，機器狗可以實作工業巡檢，自動識别火情、規劃路徑、關閉火情按鈕；雨林保護組織裡的護林員可以更好地保護蜘蛛猴等瀕危動物；同濟大學的學生們基于ModelArts平台建立了一套濕地數字孿生系統幫助杭州灣的候鳥得到更好的保護和科研……後續将為大家帶來更多ModelArts創新技術揭秘。
華為雲ModelArts通過持續創新，打造最強AI黑科技，使AI可以更好地進入生産生活，加速AI在産業的落地和深入，擴大AI應用的覆寫面，進一步釋放AI技術紅利，讓更多企業可以借力AI進行轉型更新。