Monday, February 16, 2015

A Primer on Linear Models (chapter 1)

Chapter1 Examples of the General Linear Model

1.0 Contents

1.1 Introduction

1.2 One-Sample Problem

1.3 Simple Linear Regression

1.4 Multiple Regression

1.5 One-Way ANOVA

1.6 First Discussion

1.7 Two-Way Nested Model

1.8 Two-Way Crossed Model

1.9 Analysis of Covariance

1.10 Autoregression

1.11 Discussion


1.1 Introduction

\[y=Xb + e\]
\(y\) : N x 1 vector of observed reponses
\(X\): N x p matrix of fixed constants
\(b\): p x 1 vector of fixed, unknown parameters
\(e\): N x 1 vector of unobserved errors with zero mean

위 식이 general linear model 의 기본식. 1 장에서는 general linear model의 예를 알아본다.

1.2 One-Sample Problem

\[Xb = 1(\mu)\]
\(y_i\) 는 randomly sampled from a population with unknown mean \(\mu\) and variance \(\sigma^2\)

1.3 Simple Linear Regression

원래 식 \[y_i = \beta_0 +\beta_1x_i + e_i\]
general linear model 로 나타낸 식 \[y = \left[\begin{array}{c} y_1\\ y_2 \\ ... \\ y_N \end{array}\right], \quad Xb = \left[\begin{array}{cc} 1 & x_1 \\ 1 & x_2 \\ ... & ... \\ 1 & x_{N-1} \\ 1 & x_N \\ \end{array}     \right]\left[\begin{array}{c} \beta_0 \\ \beta_1 \end{array}\right] , \quad e = \left[\begin{array}{c} e_1\\ e_2 \\ ... \\ e_N \end{array}\right]  \]

1.4 Multiple Regression

원래 식 \[y_i = \beta_0 +\beta_1x_{i1} +\beta_2x_{i2} +\beta_kx_{ik} + e_i, \quad i = 1,...,N\]
general linear model 로 나타낸 식 \[y = \left[\begin{array}{c} y_1\\ y_2 \\ ... \\ y_N \end{array}\right], \quad Xb = \left[\begin{array}{cccc} 1 & x_{11} & x_{12} & ... & x_{1k} \\ 1 &  x_{21} & x_{22} & ... & x_{2k} \\ 1 & ... & ... & ... & ... \\  1 & x_{N1} & x_{N2} & ... & x_{Nk} \\ \end{array} \right] \left[\begin{array}{c} \beta_0 \\ \beta_1 \\ \beta_2 \\ ... \\ \beta_k \end{array}\right] , \quad e = \left[\begin{array}{c} e_1\\ e_2 \\ ... \\ e_N \end{array}\right]  \]

1.5 One-Way ANOVA

원래 식 \[y_{ij} = \mu + \alpha_i + e_{ij}\]
general linear model 로 나타낸 식 \[y = \left[\begin{array}{c} y_{11}\\ y_{12} \\ ... \\ y_{1n_1} \\ y_{21} \\ y_{22} \\ ... \\ y_{2n_2} \\ y_{a1} \\ y_{an_a}  \end{array}\right], \quad Xb = \left[\begin{array}{ccccc} 1_{n_1} & 1_{n_1} & 0 & ... & 0 \\ 1_{n_2} & 0 & 1_{n_2} & ... & 0 \\ ... & ... & ... & ... & ... \\  1_{n_a} & 0 & 0 & ... & 1_{n_a} \\ \end{array} \right] \left[\begin{array}{c} \mu \\ \alpha_1 \\ \alpha_2 \\ ... \\ \alpha_a \end{array}\right] , \quad e = \left[\begin{array}{c} e_{11}\\ e_{12} \\ ... \\ e_{1n_1} \\ e_{21} \\ e_{22} \\ ... \\ e_{2n_2} \\ ... \\ e_{a1} \\ ... \\ e_{an_a} \\ e_N \end{array}\right]  \]

\(i = 1,...,a\)
\(j = 1...,n_i\)

1.6 First Discussion

추후 정리 필요

1.7 Two-Way Nested Model

원래 식\[y_{ijk} = \mu + \alpha_i + \beta_{ij}+  e_{ijk}\]

\(i = 1,...,a\)
\(j = 1,...,b_i\)
\(k = 1,...,n_{ij}\)

\(\alpha \) 가 두 가지 F, P, 곧 \(\alpha_i = F, P\) 이고 각 \(\alpha\) 에 대해 \(\beta\) 가 \(D, M\) 과 \(A,B,E\),  곧 (\(\beta_F = {D, M}, \beta_P={A, B, E} \)) 일때


general linear model 로 나타낸 식  \[y = \left[\begin{array}{c} y_{F,D,1}\\ ... \\ y_{F,D,n_{11}} \\ y_{F,M,1} \\ ... \\ y_{F,M,n_{12}} \\ y_{P,A,1} /\\ ... \\ y_{P,A,n_{21}} \\ y_{P,B,1} \\ ... \\ y_{P,B,n_{22}} \\ y_{P,E,1} \\ ... \\ y_{P,E,n_{23}}  \end{array}\right], \quad Xb = \left[\begin{array}{cccccccc} 1_{n_{11}} & 1_{n_{11}} & 0 & 1_{n_{11}} & 0 & 0 & 0 & 0 \\ 1_{n_{12}} & 1_{n_{12}} & 0 & 0 & 1_{n_{12}} & 0 & 0 \\  1_{n_{21}} & 0 & 1_{n_{21}} & 0 & 0 &  1_{n_{21}} & 0 & 0 \\ 1_{n_{22}} & 0 & 1_{n_{22}} & 0 &  0 & 0 & 1_{n_{22}} & 0 \\ 1_{n_{23}} & 0 & 1_{n_{23}} & 0 & 0 & 0 & 0 & 1_{n_{23}}  \end{array} \right] \left[\begin{array}{c} \mu \\ \alpha_F \\ \alpha_P \\ \beta_{F, D} \\ \beta_{F, M} \\ \beta_{P, A} \\ \beta_{P, B} \\ \beta_{P, E}  \end{array}\right]  \]

1.8 Two-Way Crossed Model

원래 식 \[y_{ijk} = \mu + \alpha_i + \beta_j + \gamma_{ij} + e_{ijk}\]
\(i = 1,...,a\)
\(j = 1,...,b\)
\(k = 1,...,n_{ij}\)

위 식에서 \(\beta\) 가 없다면 이는 two-way nested model 이 되고 \(\alpha\)와 \(\beta\) 사이에 interaction이 없다면 \(\gamma\) 는 0이 된다.

\(\alpha\)와 \(\beta\) 사이에 interaction이 없고 \(n_{ij}\) = 1, (곧 no replication), \(i = 1,...,a\), \(j = 1,...,b\) 이며 balanced case 라고 한다면 맨 처음 식은
\[y_{ij} = \mu + \alpha_i + \beta_j +  e_{ij}\]

general linear model 로 나타낸 식은 \[y = \left[\begin{array}{c} y_{11}\\ y_{12} \\ ... \\ y_{1b} \\ y_{21} \\ y_{22} \\ ... \\ y_{2b} \\ ... \\ y_{a1} \\ y_{ab}  \end{array}\right], \quad Xb = \left[\begin{array}{cccccc} 1_b & 1_b & 0 & ... & 0 & I_b \\ 1_b & 0 & 1_b & ... & 0 & I_b \\ 1_b & 0 & 0 & ... & 0 & I_b \\ ... & ... & ... & ... & ... & ... \\  1_b & 0 & 0 & ... & 1_b & I_b \\  \end{array} \right] \left[\begin{array}{c} \mu \\ \alpha_1 \\ \alpha_2 \\ ... \\ \alpha_a \\ \beta_1 \\ ... \\ \beta_b \end{array}\right] \]

1.9 Analysis of Covariance

원래 식 \[y_{ij}\ = \mu + \alpha_i + \beta x_{ij} + e_{ij}\]
\(i=1,...,a\)
\(j=1,...,n_i\)

general linear model 로 나타낸 식은 \[y = \left[\begin{array}{c} y_{11}\\ y_{12} \\ ... \\ y_{1n_1} \\ y_{21} \\ y_{22} \\ ... \\ y_{2n_2} \\ ... \\ y_{a1} \\ ... \\ y_{an_a}  \end{array}\right], \quad Xb = \left[\begin{array}{cccccc} 1_{n_1} & 1_{n_1} & 0 & ... & 0 & x_1 \\ 1_{n_2} & 0 & 1_{n_2} & ... & 0 & x_2 \\ 1_{n_3} & 0 & 0 & ... & 0 & x_3 \\ ... & ... & ... & ... & ... & ... \\  1_{n_a} & 0 & 0 & ... & 1_{n_a} & x_a \\  \end{array} \right] \left[\begin{array}{c} \mu \\ \alpha_1 \\ \alpha_2 \\ ... \\ \alpha_a \\ \beta \end{array}\right] \]

만약 treatment \(\alpha\) 에 따라 covariate 의 slope 이 다르다면 식은 \[y_{ij}\ = \mu + \alpha_i + \beta_i x_{ij} + e_{ij}\] 가 된다.

* analysis of covariance는 식이 two-way nested model과 비슷하나 error가 \(e_{ijk}\) 가 아닌 \(e_{ij}\) 이다. 이는 오히려 하나의 factor 에 의해 샘플이 구분되는  one-way ANOVA 와 비슷한데 여기서 같은 그룹내에 각 샘플이 갖는 개별적인 속성(covariate) 의 변수를 넣은 것이라고 이해하면 될 것이다.

1.10 Autoregression

simple linear trend model for data collected over time \[y_i = \beta_0 + \beta_1t + e_t, \quad t = 1,2,...,N\]
\(i\)대신 \(t\)를 사용한 이유는 time ordering을 강조하기 위함.
추후 정리 필요


1.11 Discussion

위에서와 같이 다양한 통계 모델은 general linear model의 special case이다.  \(e_i\) 가 uncorrelated random variables with zero mean and constant variance \(\sigma^2\) 인 경우가 있고 다른 경우는 correlated 한 경우가 있다.
추후 정리 필요

No comments:

Post a Comment