實驗設計和結果分析經驗總結

聽了一位實戰派博士的關于實驗設計和結果分析的分享，記錄一下。屬于方法論，具體還得自己去悟，去實踐操作才能真正體會精髓。

一、分析現有方法的結果及缺點

1.1 為什麼要分析現有方法？

• 可以找到最需要解決的問題，發現新方向
• 找到真正的問題，而不是空想的問題
• 用統計資料來佐證問題的嚴重性
• 創新性更強

1.2 如何分析？

人工分析、自動分析、Case study等等

• 關注最為嚴重和實際的問題（抓主要沖突）
• 與先前的分析角度不同（舉例：原先方法的角度是 NMT存在漏翻問題， 現：哪類單詞容易漏翻）
• 抽象出共性的科學問題

二、如何改進

2.1 原因假設和猜測

幾個原則：

• 對現有的方法有較為深刻的了解
• 合情合理
• 盡可能簡單明了

2.2 模型設計

• 具體問題具體分析
• 從易到難（先用最簡單的方法驗證、再試複雜模型）
• 了解基本的解決手段或方法（如多任務學習、強化學習、遷移學習等）
• 對所提方法的創新性和有效性要有預判（即快速驗證想法的有效性）

2.3 實驗設計

• 主要實驗： 公開測試集，公用的名額
• 輔助實驗：模型中不同子產品的影響、超參數的影響、主要修正的錯誤類型、不同資料集的效果