Intraclass Correlation Coefficient (ICC) 與 Cronbach's alpha

學期初思索的問題之一(Questions in Mind)

概述

Intraclass Correlation Coefficient  (ICC) 是一個常被用來估計評估者間一致性的指標之一，主要是使用於以下的研究設計中：


                      評估者1    評估者2   評估者3  ....  評估者K

受試者1             5               4                5         ....        4

受試者 2            3               5                3         ....        2

受試者 3            3               2                1         ....        3

...                        ....             ....              ....       ....        .... 

受試者 J             5               4                 3        ....         5


其中：

1. 評估者可以被題目(ex:智力題目1、智力題目2)、時間點(ex: treatment前、treatment後)、場合等變項替換。因此ICC的測量重點為測驗分數橫跨不同的情況，分數穩定的情形。

2. 評估者的選取可以概分為三種情境 (Shrout & Flesis 1979)：

• Case 1: 對於每一位受試者，隨機選取k位評估者進行評估。每一位受試者接受相同數目(k)的評估者，但評估每一位受試者的評估者組合不同。

• Case 2: 母群中隨機選取k位評估者，對每一位受試者進行評估。每一位受試者都接受相同的一組評估者。

• Case 3: 母群中的k位評估者，對每一位受試者進行評估。

Case 2 與 Case 3的差異在於，Case 2中將評估者視為隨機效果(random effect)，而在Case 3中將評估者視為固定效果(fixed effect)。

 

選擇合適的ICC公式

Shrout & Fleiss (1979) 以及McGraw & Wong (1996)總結出四個選擇ICC公式的原則：

1. One-way or Two-way ANOVA：在Case 1的情況下使用One-way ANOVA；Case 2的情況下使用Two-way ANOVA。
2. Random-effect or Mixed Effect：One-way ANOVA的情境下就是使用random effect；Case 2使用Two-way random effect；Case 3使用Two-way mixed effect (受試者random, 評估者fixed)。
3. Agreement or Consistency：Agreement為想要了解測驗分數真實match的程度；Consistency為想要了解測驗分數的線性關係。
4. Single or Mean measurement：計算ICC時使用的單位是每個評估者對於受試者的單一分數，抑或是評估者整體給予一個受試者的平均分數。

 使用SPSS 20進行計算

資料的排列行式如上面的表格，定義評估者變項為R1, R2,...Rk；受試者變項不需定義。

1. Analyze-->Scale-->Reliability Analysis
2. 將評估者變項丟入items的欄位中，並選擇Statistic進入新的小視窗
3. 勾選Intraclass Correlation Coefficient，並選擇合適的ANOVA(ex:two-way random)以及想要探索的分數關係(ex: agreement)。
4. 選擇Continue，並Run，報表上會自動出現Single以及Mean measurement的結果。

ICC與Cronbach's alpha

若是將評估者變項是為題目變項，則可將R1, R2,..,Rk視為item 1, item2, ..., item k。使用ICC假定為Two-way ANOVA、Consistency以及Mean measurement的結果會等於Cronbach's alpha。因此，可發現到Cronbach's alpha是ICC的一個特例。

參考文獻

Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86, 420-428.

McGraw, K. O., & Wong, S. P. (1996). Forming inferences about some intraclass correlation coefficients. Psychological Methods, 17, 30-46.