一緻性圖：一個簡單的圖形工具，用于調查關鍵比較中的一緻性
描述了一個簡單的圖形顯示，用于調查具有報告的不确定性的實驗室間資料之間的一緻性。該圖由一緻性度量組成——顯着性配對差異檢驗的顯着性水準，針對多重比較進行調整——繪制為圖像，其中顯着性由顔色或強度表示。
這提供了一個易于解釋的圖形表示，其中可以判斷共識的程度并且其中的異常很容易看到。讨論了繪圖的建構，注意在檢查異常時選擇調整資料集的大小。讨論了使用誤差條進行目視檢查的優勢，并介紹了一些計量比較示例。
介紹
許多實驗室間計量學比較，包括 CIPM MRA要求的許多關鍵比較，以報告結果的形式生成資料，并帶有明确的不确定性。評估此類資料的一個關鍵早期步驟是識别異常。這對于在計算任何摘要或性能統計資料之前幫助識别和解決可能的技術問題至關重要。
圖形檢查被廣泛推薦用于初始資料檢查，尤其是因為“資料中可能存在意外”， 然而，最常見的關鍵比較資料圖——熟悉的點條圖——并不能可靠地表明不确定性估計的互相一緻性或有效性。已經提出了其他有用的圖形方法；例如，Duewer 的 Concordance/Apparent Precision 圖和 Naji 和（最近）Naji 2 圖。
然而，這些依賴于合理可靠的參考值。許多此類研究不具備獨立确定的參考值和小不确定性的優勢，使得參考值的選擇有待商榷，并損害了依賴于中心位置的圖形評估。這使得尋找不嚴重依賴可靠參考值的替代圖形工具變得很重要。
一些程式被建議通過恢複成對比較來解決缺乏可靠參考值的問題，并且一些可以提供圖形輸出。例如，中位數比例差異圖可以提供有用的位置/不确定性異常名額，而無需任何一般位置估計。但是，更詳細地了解結果的結構和分組可能很有用，為此目的，更詳細的介紹很有用。
在本文中，在提供可用于快速可靠地視覺識别重要成對差異的成對不一緻的替代圖形訓示器之前，回顧了點線圖作為顯着分歧名額的缺點。
方法
所有統計操作均使用 R 統計程式設計環境，版本 4.1.3。比較圖使用 R 的 metRology 包，版本 0.9-28-1。
對點線圖的批評
顯示原始密鑰比較資料的常用工具是點條形圖（有時——特别是當數量軸是水準的——也稱為“卡特彼勒圖”）。圖1顯示了典型的點條形圖的示例。
該圖由單個結果和相關的不确定性區間組成。圖中通常包含一個中心值，它可能有自己的不确定性（通常用一對額外的線來顯示中心線）。這種類型的圖巧妙地顯示了報告的資料，但作為識别不一緻的工具，它在幾個方面存在不足。
首先，該圖有時是使用誤差條的标準不确定性建構的。雖然标準不确定性的準确視覺呈現，但這并沒有提供任何差異重要性的有用視覺訓示。
其次，繪制的不确定區間的視覺比較通常是模棱兩可的。雖然圖2中的情況 (a) 和 (b)始終可以被視為表明在所選置信水準上缺乏顯着差異，但情況 (c) 和 (d) 則不太清楚。對于兩個觀察，像 (c) 和 (d) 這樣的情況可能表明顯着性介于 84% 和 99.4% 之間。
這些級别分别出現在兩個觀察值剛好在彼此的間隔之外時，以及當間隔剛好接觸時（圖 2 中的情況 (d) ），兩者都具有。識别標明顯着性水準所需的重疊程度也不是直截了當的，因為這取決于兩個不确定性的相對大小。
目視檢查點和條形圖的差異隐含地尋找所有可能的成對比較之間的差異；它隐含地進行了多個同時的假設檢驗。對于有n 個參與者的研究，有不同的成對比較。這是一般統計中的一個衆所周知的問題。D'Errico對計量學背景下的多重比較問題進行了有益的回顧；埃爾斯特和托曼 [ 15n ( n − 1 ) / 2】 在關鍵對比資料評估的背景下提及。簡而言之，多個成對比較大大增加了 1 型錯誤的機率，在這種情況下通常稱為家庭明智的 1 型錯誤率 (FWER)。類型 1 錯誤是對原假設的錯誤拒絕，即“誤報”。在計量學比較上下文中，H0 對應于（真實）平均值沒有差異的假設。
FWER 是基于多個成對測試的“家族”中的一個或多個明顯重要的發現而錯誤拒絕此一般無效假設的機率。未校正的多重成對測試的 FWER 随着實驗室數量的增加而迅速增加。在十個實驗室的研究中，實驗室表現相同，如果所有成對測試都在通常的 95% 水準上進行，則至少可以偶然預期一個明顯的顯着差異。這會導緻錯誤的結論并浪費時間跟進誤報。
