A Primer on Linear Models (chapter 1)

Chapter1 Examples of the General Linear Model

1.0 Contents

1.1 Introduction

1.2 One-Sample Problem

1.3 Simple Linear Regression

1.4 Multiple Regression

1.5 One-Way ANOVA

1.6 First Discussion

1.7 Two-Way Nested Model

1.8 Two-Way Crossed Model

1.9 Analysis of Covariance

1.10 Autoregression

1.11 Discussion

---

1.1 Introduction

$$y=Xb + e$$
$y$ : N x 1 vector of observed reponses
$X$: N x p matrix of fixed constants
$b$: p x 1 vector of fixed, unknown parameters
$e$: N x 1 vector of unobserved errors with zero mean

위 식이 general linear model 의 기본식. 1 장에서는 general linear model의 예를 알아본다.

1.2 One-Sample Problem

$$Xb = 1(\mu)$$
$y_i$ 는 randomly sampled from a population with unknown mean $\mu$ and variance $\sigma^2$

1.3 Simple Linear Regression

원래 식 $$y_i = \beta_0 +\beta_1x_i + e_i$$
general linear model 로 나타낸 식 $$y = \left[\begin{array}{c} y_1\\ y_2 \\ ... \\ y_N \end{array}\right], \quad Xb = \left[\begin{array}{cc} 1 & x_1 \\ 1 & x_2 \\ ... & ... \\ 1 & x_{N-1} \\ 1 & x_N \\ \end{array}     \right]\left[\begin{array}{c} \beta_0 \\ \beta_1 \end{array}\right] , \quad e = \left[\begin{array}{c} e_1\\ e_2 \\ ... \\ e_N \end{array}\right]$$

1.4 Multiple Regression

원래 식 $$y_i = \beta_0 +\beta_1x_{i1} +\beta_2x_{i2} +\beta_kx_{ik} + e_i, \quad i = 1,...,N$$
general linear model 로 나타낸 식 $$y = \left[\begin{array}{c} y_1\\ y_2 \\ ... \\ y_N \end{array}\right], \quad Xb = \left[\begin{array}{cccc} 1 & x_{11} & x_{12} & ... & x_{1k} \\ 1 &  x_{21} & x_{22} & ... & x_{2k} \\ 1 & ... & ... & ... & ... \\  1 & x_{N1} & x_{N2} & ... & x_{Nk} \\ \end{array} \right] \left[\begin{array}{c} \beta_0 \\ \beta_1 \\ \beta_2 \\ ... \\ \beta_k \end{array}\right] , \quad e = \left[\begin{array}{c} e_1\\ e_2 \\ ... \\ e_N \end{array}\right]$$

1.5 One-Way ANOVA

원래 식 $$y_{ij} = \mu + \alpha_i + e_{ij}$$
general linear model 로 나타낸 식 $$y = \left[\begin{array}{c} y_{11}\\ y_{12} \\ ... \\ y_{1n_1} \\ y_{21} \\ y_{22} \\ ... \\ y_{2n_2} \\ y_{a1} \\ y_{an_a}  \end{array}\right], \quad Xb = \left[\begin{array}{ccccc} 1_{n_1} & 1_{n_1} & 0 & ... & 0 \\ 1_{n_2} & 0 & 1_{n_2} & ... & 0 \\ ... & ... & ... & ... & ... \\  1_{n_a} & 0 & 0 & ... & 1_{n_a} \\ \end{array} \right] \left[\begin{array}{c} \mu \\ \alpha_1 \\ \alpha_2 \\ ... \\ \alpha_a \end{array}\right] , \quad e = \left[\begin{array}{c} e_{11}\\ e_{12} \\ ... \\ e_{1n_1} \\ e_{21} \\ e_{22} \\ ... \\ e_{2n_2} \\ ... \\ e_{a1} \\ ... \\ e_{an_a} \\ e_N \end{array}\right]$$

$i = 1,...,a$
$j = 1...,n_i$

1.6 First Discussion

추후 정리 필요

1.7 Two-Way Nested Model

원래 식 $$y_{ijk} = \mu + \alpha_i + \beta_{ij}+  e_{ijk}$$

$i = 1,...,a$
$j = 1,...,b_i$
$k = 1,...,n_{ij}$

$\alpha$ 가 두 가지 F, P, 곧 $\alpha_i = F, P$ 이고 각 $\alpha$ 에 대해 $\beta$ 가 $D, M$ 과 $A,B,E$,  곧 ($\beta_F = {D, M}, \beta_P={A, B, E}$) 일때


general linear model 로 나타낸 식   $$y = \left[\begin{array}{c} y_{F,D,1}\\ ... \\ y_{F,D,n_{11}} \\ y_{F,M,1} \\ ... \\ y_{F,M,n_{12}} \\ y_{P,A,1} /\\ ... \\ y_{P,A,n_{21}} \\ y_{P,B,1} \\ ... \\ y_{P,B,n_{22}} \\ y_{P,E,1} \\ ... \\ y_{P,E,n_{23}}  \end{array}\right], \quad Xb = \left[\begin{array}{cccccccc} 1_{n_{11}} & 1_{n_{11}} & 0 & 1_{n_{11}} & 0 & 0 & 0 & 0 \\ 1_{n_{12}} & 1_{n_{12}} & 0 & 0 & 1_{n_{12}} & 0 & 0 \\  1_{n_{21}} & 0 & 1_{n_{21}} & 0 & 0 &  1_{n_{21}} & 0 & 0 \\ 1_{n_{22}} & 0 & 1_{n_{22}} & 0 &  0 & 0 & 1_{n_{22}} & 0 \\ 1_{n_{23}} & 0 & 1_{n_{23}} & 0 & 0 & 0 & 0 & 1_{n_{23}}  \end{array} \right] \left[\begin{array}{c} \mu \\ \alpha_F \\ \alpha_P \\ \beta_{F, D} \\ \beta_{F, M} \\ \beta_{P, A} \\ \beta_{P, B} \\ \beta_{P, E}  \end{array}\right]$$

1.8 Two-Way Crossed Model

원래 식 $$y_{ijk} = \mu + \alpha_i + \beta_j + \gamma_{ij} + e_{ijk}$$
$i = 1,...,a$
$j = 1,...,b$
$k = 1,...,n_{ij}$

위 식에서 $\beta$ 가 없다면 이는 two-way nested model 이 되고 $\alpha$와 $\beta$ 사이에 interaction이 없다면 $\gamma$ 는 0이 된다.

$\alpha$와 $\beta$ 사이에 interaction이 없고 $n_{ij}$ = 1, (곧 no replication), $i = 1,...,a$, $j = 1,...,b$ 이며 balanced case 라고 한다면 맨 처음 식은
$$y_{ij} = \mu + \alpha_i + \beta_j +  e_{ij}$$

general linear model 로 나타낸 식은 $$y = \left[\begin{array}{c} y_{11}\\ y_{12} \\ ... \\ y_{1b} \\ y_{21} \\ y_{22} \\ ... \\ y_{2b} \\ ... \\ y_{a1} \\ y_{ab}  \end{array}\right], \quad Xb = \left[\begin{array}{cccccc} 1_b & 1_b & 0 & ... & 0 & I_b \\ 1_b & 0 & 1_b & ... & 0 & I_b \\ 1_b & 0 & 0 & ... & 0 & I_b \\ ... & ... & ... & ... & ... & ... \\  1_b & 0 & 0 & ... & 1_b & I_b \\  \end{array} \right] \left[\begin{array}{c} \mu \\ \alpha_1 \\ \alpha_2 \\ ... \\ \alpha_a \\ \beta_1 \\ ... \\ \beta_b \end{array}\right]$$

1.9 Analysis of Covariance

원래 식 $$y_{ij}\ = \mu + \alpha_i + \beta x_{ij} + e_{ij}$$
$i=1,...,a$
$j=1,...,n_i$

general linear model 로 나타낸 식은 $$y = \left[\begin{array}{c} y_{11}\\ y_{12} \\ ... \\ y_{1n_1} \\ y_{21} \\ y_{22} \\ ... \\ y_{2n_2} \\ ... \\ y_{a1} \\ ... \\ y_{an_a}  \end{array}\right], \quad Xb = \left[\begin{array}{cccccc} 1_{n_1} & 1_{n_1} & 0 & ... & 0 & x_1 \\ 1_{n_2} & 0 & 1_{n_2} & ... & 0 & x_2 \\ 1_{n_3} & 0 & 0 & ... & 0 & x_3 \\ ... & ... & ... & ... & ... & ... \\  1_{n_a} & 0 & 0 & ... & 1_{n_a} & x_a \\  \end{array} \right] \left[\begin{array}{c} \mu \\ \alpha_1 \\ \alpha_2 \\ ... \\ \alpha_a \\ \beta \end{array}\right]$$

만약 treatment $\alpha$ 에 따라 covariate 의 slope 이 다르다면 식은 $$y_{ij}\ = \mu + \alpha_i + \beta_i x_{ij} + e_{ij}$$ 가 된다.

* analysis of covariance는 식이 two-way nested model과 비슷하나 error가 $e_{ijk}$ 가 아닌 $e_{ij}$ 이다. 이는 오히려 하나의 factor 에 의해 샘플이 구분되는  one-way ANOVA 와 비슷한데 여기서 같은 그룹내에 각 샘플이 갖는 개별적인 속성(covariate) 의 변수를 넣은 것이라고 이해하면 될 것이다.

1.10 Autoregression

simple linear trend model for data collected over time $$y_i = \beta_0 + \beta_1t + e_t, \quad t = 1,2,...,N$$
$i$대신 $t$를 사용한 이유는 time ordering을 강조하기 위함.
추후 정리 필요

1.11 Discussion

위에서와 같이 다양한 통계 모델은 general linear model의 special case이다.  $e_i$ 가 uncorrelated random variables with zero mean and constant variance $\sigma^2$ 인 경우가 있고 다른 경우는 correlated 한 경우가 있다.
추후 정리 필요