《中國人工智能學會通訊》——12.35 衆包勞工的領域差異性

與簡單的衆包任務（如圖檔标注、實體識别）不同，衆包勞工在知識補全任務中會存在領域差異性。例如，籃球迷擅長回答與 NBA 相關的知識元組，而電影愛好者則更容易答對電影相關的任務。我們通過實驗說明這種領域差異性。圖 2 給出了勞工在不同領域完成任務的準确率（具體資料集描述和衆包任務收集見文獻 [34]），其中每一行表示一個勞工，用匿名的勞工 ID 辨別；每一清單示一個領域，如 Hunting、Philosophy 等；每個格子中柱的長短表示勞工在相應領域的準确率高低，柱旁邊的數字表示準确率數值。

通過圖 2 可以明顯地看到衆包勞工的領域差異性：從行的角度看，同一勞工在不同領域的準确率差别很大。例如，第一個勞工在 Book & Author 領域準确率高達 0.875，而在 FIFA 領域準确率低至0.176。另一方面，從列的角度看，不同領域的“專家”（即準确率最高的勞工）差異性也很大。例如，Hunting 和 FIFA 領域的前 3 名專家有很大不同。

衆包勞工的領域差異性給任務配置設定和衆包答案的聚合帶來了更大的挑戰。現有工作側重研究衆包任務配置設定與衆包結果聚合，先後提出了多數投票政策[35]和衆包勞工準确率估計[36-38] 。然而，領域差異性使單一的準确率不能反映勞工在不同領域不同的準确率，可能帶來以下結果，首先，在某一領域表現出色的勞工，在另一領域可能表現平平，甚至提供很差的結果；其次，傳統衆包品質控制的重要手段考試（Qualification Test）可能不再有效。