Suppressor effect and the implication of structure coefficient

學期初思索的問題之一(Questions in mind)

 

Suppressor Effect

suppressor effect 是在多元迴歸分析中一個可能會發生的特殊現象，其指涉的是某一個獨變項本身與其他獨變項以及依變項之間的相關很低，或是沒有相關(此條件僅針對依變項)；而當我們將這個變項放入迴歸式當中，卻仍然看到多元迴歸係數(Multiple R-square)有大幅度的提升。造成這個現象的讀變項稱之為suppressor。

一個完全的suppress effect，可以從以下兩點進行觀察：當某一獨變項的strucutre coefficient為0，而；

1. Beta 係數不為0；或是
2. 放入此變項後造成多元迴歸係數提升。

上述兩項條件只要滿足其中一項，就可得知另一項條件為真，同時也可知道suppressor effect存在。

 

Structure Coefficient

由於Beta值代表的含意為，在獨變項的變異中，排除掉與其他獨變項之間的相關後，能夠單獨預測依變項的部分(圖例)。因此，某變項的Beta值為零可代表兩種情況；(a) 該變項對於依變項的預測力(predict power)為零；(b) 該變項對於依變項的預測力被其他獨變項取代。許多研究者通常會將觀察到Beta值為零的情況歸因為(a)，忽略(b)存在的可能性，而直接將該獨變項是為沒有預測力，或是沒有用的變項。

為了避免這樣的情況發生，Thompson (2006) 建議在回報迴歸分析的結果時，除了Beta值以外，更需要報告strucutre coefficient。structure coefficient代表的是獨變項與潛在依變項(Y-hat)之間的相關，也就是在所以獨變項可解釋依變項的變異中，某一特定獨變項佔有的比例。藉由觀察structure coefficient，我們可以真正了解到一個獨變項與依變項之間的關係，而非被其他獨變項所影響。

參考文獻

Thompson, B. (2006). Foundations of behavioral statistics: An insight-based approach. New York: Guilford.

Intraclass Correlation Coefficient (ICC) 與 Cronbach's alpha

學期初思索的問題之一(Questions in Mind)

概述

Intraclass Correlation Coefficient  (ICC) 是一個常被用來估計評估者間一致性的指標之一，主要是使用於以下的研究設計中：


                      評估者1    評估者2   評估者3  ....  評估者K

受試者1             5               4                5         ....        4

受試者 2            3               5                3         ....        2

受試者 3            3               2                1         ....        3

...                        ....             ....              ....       ....        .... 

受試者 J             5               4                 3        ....         5


其中：

1. 評估者可以被題目(ex:智力題目1、智力題目2)、時間點(ex: treatment前、treatment後)、場合等變項替換。因此ICC的測量重點為測驗分數橫跨不同的情況，分數穩定的情形。

2. 評估者的選取可以概分為三種情境 (Shrout & Flesis 1979)：

• Case 1: 對於每一位受試者，隨機選取k位評估者進行評估。每一位受試者接受相同數目(k)的評估者，但評估每一位受試者的評估者組合不同。

• Case 2: 母群中隨機選取k位評估者，對每一位受試者進行評估。每一位受試者都接受相同的一組評估者。

• Case 3: 母群中的k位評估者，對每一位受試者進行評估。

Case 2 與 Case 3的差異在於，Case 2中將評估者視為隨機效果(random effect)，而在Case 3中將評估者視為固定效果(fixed effect)。

 

選擇合適的ICC公式

Shrout & Fleiss (1979) 以及McGraw & Wong (1996)總結出四個選擇ICC公式的原則：

1. One-way or Two-way ANOVA：在Case 1的情況下使用One-way ANOVA；Case 2的情況下使用Two-way ANOVA。
2. Random-effect or Mixed Effect：One-way ANOVA的情境下就是使用random effect；Case 2使用Two-way random effect；Case 3使用Two-way mixed effect (受試者random, 評估者fixed)。
3. Agreement or Consistency：Agreement為想要了解測驗分數真實match的程度；Consistency為想要了解測驗分數的線性關係。
4. Single or Mean measurement：計算ICC時使用的單位是每個評估者對於受試者的單一分數，抑或是評估者整體給予一個受試者的平均分數。

 使用SPSS 20進行計算

資料的排列行式如上面的表格，定義評估者變項為R1, R2,...Rk；受試者變項不需定義。

1. Analyze-->Scale-->Reliability Analysis
2. 將評估者變項丟入items的欄位中，並選擇Statistic進入新的小視窗
3. 勾選Intraclass Correlation Coefficient，並選擇合適的ANOVA(ex:two-way random)以及想要探索的分數關係(ex: agreement)。
4. 選擇Continue，並Run，報表上會自動出現Single以及Mean measurement的結果。

ICC與Cronbach's alpha

若是將評估者變項是為題目變項，則可將R1, R2,..,Rk視為item 1, item2, ..., item k。使用ICC假定為Two-way ANOVA、Consistency以及Mean measurement的結果會等於Cronbach's alpha。因此，可發現到Cronbach's alpha是ICC的一個特例。

參考文獻

Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86, 420-428.

McGraw, K. O., & Wong, S. P. (1996). Forming inferences about some intraclass correlation coefficients. Psychological Methods, 17, 30-46.

Partial Correlation, Semi-partial correlation, and beta coefficience

這是學期初開始自己想要思索的問題之一(Questions in mind)

Partial Correlation (淨相關)、Semi-partial correlation (半淨相關)以及Beta 係數(Coefficient)

以下的例子假設使用兩個獨變項(X1, X2)來預測一個依變項(Y)的情況。

  

有關Partial- 與Semi-Partial的數學式，可參考以下連結：

http://luna.cas.usf.edu/~mbrannic/files/regression/Partial.html


Beta的公式計算如下：

Beta 1 = [r (Y,X1) - {r(Y,X2)*r(X1,X2)}] - [1-r(X1,X2)^2]



以下直接以圖例進行說明，由於在Correlation相關數值的討論中，所有變項都經過標準化(除以各自的標準差)，因此，以下所畫的每一個圓餅的面積都為1：


Partial Correlation

 Partial Correlation (X1, Y) = b/a+b

解釋：在Y的變異中，排除掉X2能夠解釋的部分(a+b)後，單獨被X1解釋(b)的比例




Semi-partial Correlation

 Semi-partial Correlation (X1, Y) = b/a+b+c+e = b/1 = b

解釋：在Y的變異(a+b+c+e=1)中，能夠被X1解釋(b)的比例。



Beta Coefficient

Beta (X1, Y) = b/ b+f

解釋：在X1的變異中，排除掉與X2的相關之後，能夠用來解釋Y的部分。


結論：
這三個指標，主要的目標都是放在該變項(ex: X1)能夠單獨解釋依變項(Y)的部分(b)，唯一的不同在於立足的基準不同。

Questions in mind: Basic statistic

1. what are the differences between partial correlation, semi-partial correlation, and beta coefficience in terms of formula, meaning in venn diagram, and implication.
Response


2. the difference between ICC and reliability index.
Response


3. suppresor effect in regression analysis and the implication for structure coefficient.
Response