單因子變異數分析的事前比較

Shares2Facebook Tweet Pin LinkedIn Email

獨立群組的單因子變異數分析的事前比較（a priori comparisons）或事前對比（contrasts）是多重比較的一種，在研究資料蒐集前就依據理論預測群組平均數的差異方向或群組之間的關係，並擬定好研究假設。由於事前比較是在資料蒐集前就決定好群組間如何地不同，所以也稱為計畫性的比較（planned comparisons）或計畫性的對比。

雖然單因子變異數分析的事前比較和事後比較（post hoc comparisons）同樣都是用來比較群組的平均數，且免於受到膨脹的第一類型錯誤之影響，但兩者還是有不同的地方。第一個不同的地方在於事後比較會在單因子變異數分析的Ｆ值達到顯著的時候才去執行，而事前比較不一定要執行單因子變異數分析即可進行。

第二個不同之處在於事後比較會比較所有可能的成對樣本，而事前比較只針對研究人員在資料蒐集前就擬定好的研究假設去做樣本比較，比較的數目通常會少於事後比較的數目（若打算比較所有的成對樣本，直接進行事後比較就好，事前比較已沒有必要）。由於事前比較的數目較少，使得事前比較有較高的統計檢定力。

事前比較採用線性對比（linear contrasts）的方式，比較一個群組或數個群組對一個群組或數個群組的平均數。本篇文章將先解釋事前對比群組的選擇，再介紹對比係數的選擇和假設檢定，最後示範利用SPSS執行事前比較或對比的方法。由於以下內容為單因子變異數分析的延伸，建議您先閱讀單因子變異數分析的假設檢定，將有助於文章內容的銜接和理解。

事前比較或對比群組的選擇
事前比較或對比係數的選擇
事前比較或對比的假設檢定
- 組間變異的完全分割
- Bonferroni t 檢定
運用SPSS執行單因子變異數分析的事前比較

事前比較或對比群組的選擇

單因子變異數分析的事前比較或事前對比（「比較」或「對比」可交替使用）須在研究資料蒐集前就擬定好研究假設，資料蒐集完成後進行分析時，即可檢驗這些研究假設，並不一定要執行單因子變異數分析。基本上，擬定研究假設時，若自變項的群組裡有實驗組和控制組之分，通常會先比較這兩個組別；若實驗組存在不同的類別，則可再做進一步的比較。

單因子變異數分析把總變異劃分為組間變異（between-group variation）和組內變異（within-group variation）兩個部分，前者是因自變項的效果所造成，後者則是隨機誤差所導致。事前比較是將組間變異再分割成不同的區塊，進行區塊和區塊間的比較，實際上的比較會依據您擬定的研究假設而定。

為了使每組對比之間彼此獨立，且讓組間變異能夠被完全地分割（partition），就是達到所謂的正交對比（orthogonal contrasts），選擇對比的群組時可參考下面3點規則（Field, 2013）：

如果實驗情境裡有控制組，通常會拿這個控制組和其他的群組做比較。
當一個群組已經在一組對比裡單獨和其他群組比較之後，這個群組就不能再出現在其他的對比裡。其他合在一起的群組則可再分割，並進行比較。
每一組對比都是在比較兩個區塊的變異。

以單因子變異數分析的假設檢定裡的不同治療方法和輕度憂鬱症治療效果的例子來看，組間變異可分為3個部分：放鬆治療、談話治療和安慰劑控制等3種不同的治療方法。因為這個例子的實驗情境可區分為實驗組（放鬆治療和談話治療）和控制組（安慰劑控制），所以第1個對比可為兩種治療合併和安慰劑控制的比較（第1點）。

再因為安慰劑控制組已經在第1組對比裡單獨和兩種治療比較過，所以安慰劑控制組不能再出現在其他的對比裡（第2點）。放鬆治療和談話治療在第1組對比裡是合在一起與安慰劑控制組做比較，所以可再分割，並進行兩種不同治療方法的比較，即為第2組對比。不論是第1組或第2組對比，都是兩個變異區塊的比較（第3點）。

若依照上面提到的3點規則來選擇對比的群組，則對比的組數會永遠等於自變項的群組組數減1。也就是說，若自變項的群組組數為 $k$ ，正交對比的組數會等於 $k-1$ 。

再舉一個例子來看，假設一個研究設計的自變項有4個群組，2個群組（A、B）為實驗組、2個群組（C、D）為控制組。若要選擇事前對比的群組，且各組對比間彼此獨立，一樣可遵循上面提到的3點規則。因為自變項有實驗組和控制組之分，所以第1組對比為A、B合併和C、D合併的比較。

由於實驗組和控制組都各包含兩個群組，所以可各自再分割，並進行比較。第2組對比為實驗組裡A和B的比較，第3組對比則為控制組裡C和D的比較。經過這兩組對比後，A、B、C、D都已經單獨地和其他群組比較過，所以不能再出現在任何的對比裡。

最後，因為這個研究的自變項有4個群組，所以正交對比的組數為 $4-1=3$ ，確實和我們選擇的對比組數是一樣的。

planned contrasts in a 4-group experiment

不過，上面的3點規則僅是事前對比群組選擇的參考，實際上研究假設裡對比群組的選擇仍舊須依據研究領域、理論和過往研究的發現而決定，即使是非正交對比（nonorthogonal contrasts）也沒關係。由於事前對比的組數愈多，第一類型的錯誤會愈高，所以事前對比的組數最好不要太多，儘量以具有理論基礎和重要性的比較為主。

從上面的兩個例子可以發現，事前對比很常將群組合在一起變成一個區塊後，再與另一個群組或群組合成的區塊做比較。實際上分析時，須使用比較或對比係數（coefficients）來進行，下面來探討這種係數的選擇和分配。

事前比較或對比係數的選擇

單因子變異數分析的事前比較是採用線性對比的方法，能夠用來比較一個群組或群組合併的區塊和另一個群組或群組合併的區塊。線性對比的概念來自於線性組合（linear combination），而平均數的線性組合（用符號 $L$ 代表）可用下面的方程式來呈現：

(1) $\begin{align*}L &= \sum_{j=1}^k a_j \overline X_j \\&= a_1 \overline X_1+a_2 \overline X_2+a_3 \overline X_3+\cdots+a_k \overline X_k\end{align*}$

上面的方程式裡， $\overline X_j$ 指第 $j$ 組的平均數、 $a_j$ 為第 $j$ 組平均數的加權數，整個方程式在描述平均數的線性組合為加權平均數的總和。從這個方程式可看出，若每一個 $a_j$ 都是1，平均數線性組合等於所有平均數的總和；若每一個 $a_j$ 為平均數個數的底數，也就是 $1/k$ ，則平均數線性組合等於所有平均數的平均數。

若在上面的方程式(1)裡加上一個所有加權數總和為0（ $\sum a_j = 0$ ）的限制時，線性組合就變成線性對比。習慣上，線性對比會用希臘符號ψ（讀音為psi）來表示。此外，線性組合的加權數 $a_j$ 即變成線性對比的係數，而透過適當的對比係數，就可比較一個群組的平均數或數個群組的合併平均數和另一個群組的平均數或數個群組的合併平均數。

依據事前擬定好的研究假設，資料分析時決定了相互比較的群組後，就可選擇合適的對比係數。對比係數的選擇可參考下列4點規則：

每組對比都在比較兩個區塊的變異，一個區塊可能只有一個群組或包含數個群組。若一個區塊只有一個群組，分配對比係數1給這個群組；若一個區塊包含 $k$ 個群組，分配對比係數 $1/k$ 給這個區塊裡的每個群組。
分配正數的對比係數給第1個區塊，分配負數的對比係數給第2個區塊。
若一個群組不包含在一組對比裡，分配係數0給這個群組。
每組對比的對比係數總和為0。

以上面不同治療方法和輕度憂鬱症治療效果的例子來看，第1組對比為放鬆治療和談話治療兩個群組的合併區塊與安慰劑控制的單一群組區塊之比較。因為第1個區塊包含兩個群組，所以各分配係數 $1/2$ 給放鬆治療組和談話治療組；第2個區塊只有一個群組，所以分配係數1給安慰劑控制組（第1點）。

contrast coefficients for experimental groups vs. control group

由於安慰劑控制組在第2個區塊，所以在係數1前加上負數的符號（第2點）。最後，將這組對比的所有對比係數相加，係數總和為0（第4點）。

$\frac {1}{2} + \frac {1}{2} + (-1) = 0$

第2組對比為放鬆治療的單一群組區塊和談話治療的單一群組區塊之比較，安慰劑控制組則不包含在這組對比裡。因為兩個區塊皆為單一群組，所以各分配係數1給放鬆治療組和談話治療組（第1點）。由於談話治療組在第2個區塊，所以在這組的係數1前加上負數的符號（第2點）。

contrast coefficients for two experimental groups

安慰劑控制組並不包含在這組對比裡，因此分配係數0給這組。最後，將這組對比的所有對比係數相加， $1+(-1)+0=0$ ，係數總和為0（第4點）。

如果想瞭解這兩組事前對比是否彼此獨立或正交（orthogonal），可透過兩組對比的成對對比係數乘積和是否為0來判斷。如果成對對比係數的乘積和為0，代表兩組對比之間沒有關聯，也就是正交對比。

下表為不同治療方法和輕度憂鬱症治療效果例子的兩組對比係數和對比係數乘積，從該表可發現這兩組對比的成對對比係數乘積和為0，代表這兩組對比之間彼此獨立，為正交對比。

orthogonal contrasts for the one-way ANOVA example

在選擇了合適的對比係數之後，即可進行每組對比的假設檢定。由於每組對比都是在比較兩個區塊的變異，所以可使用單因子變異數分析裡的組間變異和組內變異之比的概念來計算Ｆ值，再判斷是否拒絕虛無假設，下面來說明事前比較或對比的假設檢定。

事前比較或對比的假設檢定

上面事前比較或對比係數的選擇裡提到線性對比的概念來自於線性組合，且加上一個加權數總和為0的限制。將線性對比方程式(1)的符號 $L$ 改成ψ，即為線性對比的方程式：

(2) $\begin{align*}\psi &= \sum_{j=1}^k a_j \overline X_j \\&= a_1 \overline X_1+a_2 \overline X_2+a_3 \overline X_3+\cdots+a_k \overline X_k\end{align*}$

方程式(2)可以轉換成平方和（sum of squares），用來表示自變項可解釋的組間變異裡對比部分的變異。讓對比部分的變異為 $SS_c$ ，若每一群組的個數皆為 $n$ ，則對比部分的平方和公式為：

(3) $\begin{equation*}SS_c = \frac {n \psi^2}{\sum a_j^2} = \frac {n(\sum a_j \overline X_j)^2}{\sum a_j^2}\end{equation*}$

若是各個群組的個數不相等，也就是無法用 $n$ 來代表每一群組的個數，而需要用 $n_j$ 來表示第 $j$ 組的個數時，可改用下面的公式來計算任一對比的平方和：

$SS_c = \frac {\psi^2}{\sum {\dfrac {a_j^2}{n_j}}}$

上面的 $SS_c$ 是組間平方和 $SS_b$ 的其中一部分變異，且因為每組事前對比僅比較兩個區塊的變異，所以自由度 $df_c$ 為1。由於自由度為1，所以這區塊的變異數估計值 $MS_c = SS_c/1$ ，再把 $MS_c$ 除以組內變異數估計值 $MS_w$ 就是每組對比的Ｆ值。

(4) $\begin{equation*}F = \frac {MS_c}{MS_w} = \frac {{n \psi^2}/{\sum a_j^2}}{MS_w} = \frac {{n(\sum a_j \overline X_j)^2}/{\sum a_j^2}}{MS_w}\end{equation*}$

計算得到每組對比的Ｆ值後，查詢Ｆ分配臨界值表，依據分母自由度、分子自由度（事前對比永遠為1）和顯著水準（α水準），決定Ｆ臨界值。比較Ｆ值和Ｆ臨界值，若Ｆ值等於或大於Ｆ臨界值，即可拒絕虛無假設，接受對立假設。

以不同治療方法和輕度憂鬱症治療效果的例子來練習，下表為3種不同治療方法的平均數和參與人數，且這研究的組內自由度 $df_w$ 為12、變異數估計值 $MS_w$ 為1.9。

第1組事前對比為放鬆治療和談話治療兩組合併與安慰劑控制組的比較，先求得這組對比的ψ值、對比係數平方和 $\sum a_j^2$ ，再計算Ｆ值，整個計算過程如下：

$\begin{align*}& \psi = \sum a_j \overline X_j = \left ( \frac {1}{2} \right )(8.0)+\left ( \frac {1}{2} \right )(6.0)+(-1)(9.2)=-2.2 \\\\& \sum a_j^2 = \left ( \frac {1}{2} \right )^2 + \left ( \frac {1}{2} \right )^2 + (-1)^2 = 1.5 \\\\& F = \frac {{n \psi^2}/{\sum a_j^2}}{MS_w} = \frac {5(-2.2)^2 / 1.5}{1.9} \approx 8.491\end{align*}$

第2組事前對比為放鬆治療組和談話治療組的比較，不包含安慰劑控制組，同樣地先求得這組對比的ψ值、對比係數平方和 $\sum a_j^2$ ，再計算Ｆ值，計算過程如下：

$\begin{align*}& \psi = \sum a_j \overline X_j = (1)(8.0)+(-1)(6.0) = 2.0 \\\\& \sum a_j^2 = 1^2 + (-1)^2 = 2 \\\\& F = \frac {{n \psi^2}/{\sum a_j^2}}{MS_w} = \frac {5(2)^2 / 2}{1.9} \approx 5.263\end{align*}$

得到兩組對比的Ｆ值後，查詢Ｆ分配臨界值表。當分子自由度為1、分母（組內）自由度為12且α水準為0.05時，Ｆ臨界值為4.75。

critical value of F with numerator df 1 and denominator df 12

比較兩組對比的Ｆ值和Ｆ臨界值，因為 $8.491>4.75$ 、 $5.263>4.75$ ，兩組對比的Ｆ值皆大於臨界值，所以拒絕虛無假設，接受對立假設。也就是說，放鬆治療和談話治療兩組合併而成的實驗組和安慰劑控制組在輕度憂鬱症治療效果上有顯著的差異；此外，放鬆治療和談話治療兩組在輕度憂鬱症治療上也有顯著的差異。

組間變異的完全分割

在正交對比且對比組數等於組間自由度（ $k-1$ ）的情況下，每組對比的平方和相加後會等於組間平方和 $SS_b$ ，代表組間變異的完全分割。

不同治療方法和輕度憂鬱症治療效果例子的組間平方和 $SS_b$ 為26.133，我們有兩組對比，而且是正交對比。讓第1組對比的平方和為 $SS_{c1}$ 、第2組對比的平方和為 $SS_{c2}$ ，利用上面Ｆ值計算過程裡的數值，這兩組對比的平方和分別為：

$\begin{align*}SS_{c1} &= \frac {n \psi^2}{\sum a_j^2} = \frac {5(-2.2)^2}{1.5} \approx 16.133 \\SS_{c2} &= \frac {n \psi^2}{\sum a_j^2} = \frac {5(2)^2}{2} = 10\end{align*}$

將 $SS_{c1}$ 和 $SS_{c2}$ 這兩組對比平方和相加，總和確實等於組間平方和，表示這兩組對比完全地分割了組間變異。

$\begin{align*}SS_b &= SS_{c1} + SS_{c2} \\26.133 &= 16.133 + 10\end{align*}$

組間平方和等於 $k-1$ 組正交對比平方和之和的這層關係再次顯示這些對比之間彼此獨立，因此解釋研究結果時可以直截了當地指出每組對比的顯著性檢定結果。但若是非正交對比，因為對比之間具有關聯性，檢定統計量和獲得檢定統計量的機率（ $p$ 值）在某種程度上也具有關聯性，所以解釋研究結果時就要格外地謹慎。

Bonferroni t 檢定

當事前比較或對比的組數愈多時，第一類型的錯誤也會愈高。若比較組數不多，有些研究人員可能不太在意而接受分析結果，但也有些人擔心膨脹的第一類型錯誤所帶來的後果。為了降低第一類型錯誤的機率，除了可減少事前對比的組數或選擇較嚴苛的α水準（例如0.01）外，若對比組數不多還可改採用Bonferroni t 檢定。雖然Bonferroni方法由來已久，但一直到Dunn（1961）才將其正式化，所以有時也稱為Dunn檢定。

Bonferroni t 檢定把實驗錯誤率控制在α，若c代表事前對比的組數、 $\alpha^{\prime}$ 為每一組對比的第一類型錯誤機率，則3者之間的關係為：

(5) $\begin{equation*}\alpha^{\prime} = \frac {\alpha}{c}\end{equation*}$

也就是說，當有c組事前對比的時候，每一組對比的顯著水準變成原本選定的α水準除以比較的組數，就是公式(5)的 $\alpha^{\prime}$ 。若是紙筆計算，須用 $\alpha^{\prime}$ 尋找ｔ臨界值，再與ｔ檢定統計量比較；若是利用統計分析軟體，則比較 $\alpha^{\prime}$ 和獲得特定檢定統計量的機率 $p$ 值，判斷是否拒絕虛無假設。

因為大多數的Student´s t 分配臨界值表只有提供α水準為0.05、0.01時的臨界值，而 $\alpha^{\prime}$ 通常不會是0.05或0.01，所以無法查詢到相對應的臨界值。不過，現在幾乎都是運用統計軟體進行分析，而統計軟體會輸出獲得特定檢定統計量的 $p$ 值，因此可藉由 $p$ 值和 $\alpha^{\prime}$ 的比較來決定是否拒絕虛無假設，使得Bonferroni t 檢定的使用變得很容易。

為了區別Bonferroni t 檢定和Student´s t 檢定的檢定統計量，讓Bonferroni t 檢定的檢定統計量符號為 $t_{bon}$ ，在各群組的個數皆為 $n$ 時，可適用在線性對比的公式如下：

(6) $\begin{equation*}t_{bon} = \frac {\psi}{\sqrt {\dfrac {\sum a_j^2 MS_w}{n}}} = \frac {\sum a_j \overline X_j}{\sqrt {\dfrac {\sum a_j^2 MS_w}{n}}}\end{equation*}$

仔細觀察會發現公式(6)為公式(4)的平方根，因為ｔ檢定統計量為Ｆ值的平方根， $t=\sqrt F$ ，所以公式(6)和公式(4)之間的關係並不讓人意外。

利用上面Ｆ值計算過程中所利用的數值，帶入公式(6)裡，計算不同治療方法和輕度憂鬱症治療效果例子裡兩組對比的 $t_{bon}$ 值，過程如下：

$\begin{align*}\text {contrast 1} \Rightarrow t_{bon} &= \frac {\psi}{\sqrt {\dfrac {\sum a_j^2 MS_w}{n}}} = \frac {-2.2}{\sqrt {\dfrac {1.5(1.9)}{5}}} \approx -2.914 \\\text {contrast 2} \Rightarrow t_{bon} &= \frac {\psi}{\sqrt {\dfrac {\sum a_j^2 MS_w}{n}}} = \frac {2.0}{\sqrt {\dfrac {2(1.9)}{5}}} \approx 2.294\end{align*}$

因為一共有兩組對比，所以利用公式(5)，修正後的顯著水準 $\alpha^{\prime}$ 為 $0.05 \div 2 = 0.025$ 。當顯著水準為0.025、雙尾檢定、自由度為12（等於組內自由度 $df_w$ ）時，ｔ臨界值為 $\pm 2.560$ （這裡是利用Excel的T.INV.2T函數取得）。

比較兩組對比的 $t_{bon}$ 檢定統計量絕對值和臨界值絕對值，第1組對比 $|-2.914|>|\pm 2.560|$ ，所以拒絕虛無假設，放鬆治療和談話治療兩組合併而成的實驗組和安慰劑控制組在輕度憂鬱症治療效果上有顯著的差異。第2組對比 $|2.294|<|\pm 2.560|$ ，所以保留虛無假設，放鬆治療組和談話治療組在輕度憂鬱症治療效果上並沒有顯著的差異。

Bonferroni t 檢定的結果顯示兩組對比中只有第1組對比達到統計上顯著，和上面α水準沒有經過修正的結果不太相同。由此可見，Bonferronit t 檢定確實讓事前比較或對比的顯著性檢定變得更嚴苛，也就是更不容易拒絕虛無假設。

另外還有一種類似Bonferroni方法的檢定稱為Dunn-Šidák檢定（Šidák, 1967），使用另一種方式來修正每組對比的顯著水準 $\alpha^{\prime}$ ：

(7) $\begin{equation*}\alpha^{\prime} = 1-(1-\alpha)^{1/c}\end{equation*}$

如果利用公式(7)，在兩組對比且α水準為0.05的情況下， $\alpha^{\prime}=1-(1-0.05)^{1/2} \approx 0.0253$ ，和使用公式(5)的Bonferroni方法所得到的0.025並沒有太大的差異。當顯著水準為0.0253、雙尾檢定、自由度為12時，ｔ臨界值為 $\pm 2.554$ 。將兩組對比的檢定統計量絕對值和這個臨界值的絕對值相比較，仍舊只有第1組對比達到統計上顯著。

因此，不論是Bonferroni t 檢定或Dunn-Šidák檢定，兩者計算ｔ檢定統計量的方法是相同的，唯一的差別在於α水準的不同修正方法。實務上，Bonferroni方法較為人知也較常被使用，不過兩種方法得到的分析結果相去不遠，您可選擇自己覺得合適的方法喔。

運用SPSS執行單因子變異數分析的事前比較

把不同治療方法和輕度憂鬱症治療效果例子的資料輸入至SPSS資料編輯器裡，輸入完成後，點選功能表的分析 » 比較平均數 » 單因數變異數分析，帶出「單因子變異數分析」視窗。

在「單因子變異數分析」視窗裡，將SESSION移至依變數清單(E)方框中、GROUP移至因子(F)長框中後，點選視窗右側的對照(N)，會出現「單因子變異數分析：對照」小視窗。在這個小視窗的係數(O)方格裡，可以輸入對比係數。對比係數的輸入順序會對應自變項群組從小至大的編碼順序，因此輸入係數時須很清楚欲比較的群組位置。

先輸入第1組對比的第1個對比係數，完成後按新增(A)，依照同樣方法輸入第2和第3個對比係數。第1組對比的對比係數輸入完成後，點選下一個(N)，再輸入第2組對比的對比係數。全部輸入完成後，按下小視窗下方的繼續(C)。回到「單因子變異數分析」視窗後，再按下視窗下方的確定。

dialog box of contrasts for one-way ANOVA in spss

經過上述的步驟後，SPSS會輸出3個表格。第1個表格為變異數分析的顯著性檢定結果，關於這個表格內容的相關說明請參考單因子變異數分析的假設檢定。第2個表格為「對照係數」表，就是我們輸入的兩組對比的對比係數。

第3個表格為「對照檢定」表，為兩組對比的顯著性檢定結果。由於這個研究裡各個群組的變異相等，所以看表格裡「採用相等變異數」列的分析結果。SPSS使用ｔ檢定進行假設檢定，兩組對比的ｔ檢定統計量和上面使用公式(6)計算得到的結果相同。在不修正α水準的情況下，也就是每組對比的α水準皆為0.05時，兩組對比的 $p$ 值（表格裡的「顯著性（雙尾）」欄）皆小於0.05，所以可拒絕虛無假設，這結果和上面紙筆計算的結果相同。

spss output of test of significance for contrasts

若使用Bonferroni t 檢定的方法來修正α水準，讓每組對比的顯著水準 $\alpha^{\prime}$ 變成0.025。拿 $\alpha^{\prime}$ 和上面兩組對比的 $p$ 值相比較，只有第1組對比的 $p$ 值小於0.025，代表僅有第1組對比達到統計上顯著，這結果也和上面紙筆計算的結果相同。

若您覺得使用SPSS的圖形化操作介面去執行事前對比的假設檢定很麻煩，也可撰寫SPSS語法，操作上反而更簡單。下圖即為單因子變異數分析事前對比的SPSS語法，把SESSION改成您資料的依變項、GROUP改成您資料的自變項，對比係數可在次指令CONTRAST裡做修正。語法完成後，只要點選功能表的執行 » 全部即可。關於SPSS的語法編輯器，請參考SPSS操作環境和資料輸入。

以上為本篇文章對單因子變異數分析的事前比較的介紹，希望透過本篇文章，您瞭解了事前對比群組的選擇方法、對比係數的選擇和分配與事前對比的假設檢定，也學會了利用SPSS執行事前對比的方法。

若您喜歡本篇文章，請將本網站加入書籤，作為您的學習工具，並持續回訪本網站喔！另外，您也可以在Facebook和Twitter上找到我們喲！

參考資料

Dunn, O. J. (1961). Multiple comparisons among means. Journal of the American Statistical Association, 56(293), 52-64. https://doi.org/10.2307/2282330

Field, A. (2013). Discovering statistics using IBM SPSS statistics (4th ed.). SAGE Publications.

Šidák, Z. (1967). Rectangular confidence regions for the means of multivariate normal distributions. Journal of the American Statistical Association, 62(318), 626-633. https://doi.org/10.2307/2283989