- C(A) : column space of A. Linear combination of columns of A
- R(A) : row space of A. Linear combination of rows of A
- N(A) : null space of A. \(N(A) = \{y: Ay = 0 \} \)
- N(A') : null space of A' (다르게 표현하면 \(\textrm{C}(A)\) 의 orthogonal complement). \(\textrm{C}(A) = S\) 일때 \(S^{\perp} = \textrm{N}(A')\)
| vector space | C(A) | R(A) | N(A) | N(A') |
|---|---|---|---|---|
| vector dimension | \(R^m\) | \(R^n\) | \(R^n\) | \(R^m\) |
| space dimension | \(r\) | \(r\) | \(n-r\) | \(m-r\) |
| projection matrix | \(AA^-\) | \(A'A'^-\) | \(I - A^-A\) | \(I - A'A'^-\) |
| - | - | - | - | - |
| - | - | - | - | - |
* \(A'\) : transpose of A
* \(A^-\) : generalized inverse (GI) of a matrix A
* projection matrix : a square matrix \(P\) is a projection matrix that projects onto the vector space \(S\), \(S \subseteq R^n\)
* projection matrix : a square matrix \(P\) is a projection matrix that projects onto the vector space \(S\), \(S \subseteq R^n\)
- \(P\) is idempotene (=> \(PP = P\))
- \(Px \in S \; \forall x \in R^n \)
- \( Pz = z \; \forall z \in S \)
01PreliminaryLinearAlgebra
Fact V1- \(x_1,x_2,...x_n\) 이 LD (linearly dependent) \( \Leftrightarrow \) \( x_j \) 는 \( x_1,x_2,..x_{j-1}\) 의 LC (linear combination)
Fact V2
- vector space \(S\) 의 basis의 갯수가 n개이고 \(S\) 의 LI (linearly independent) 한 k개의 vector가 있다면 k \(\leq\) n
Fact V3
- \({a_1,...,a_n}\) 과 \({b_1,...,b_k}\) 이 각각 vector space S의 basis라고 한다면 \(n=k\).
Fact V4
- \(a_1,...,a_n\) 이 vector space S, S \(\in dim(\mbox{S})=n\) 의 LI vector라면 이는 곧 S의 basis 가 된다.
Fact V5
- \(a_1,...,a_k\) 이 vector space S, S \(\in dim(\mbox{S})=n\) 의 LI vector라면 \(a_1,...,a_k\) 를 포함한 basis가 존재한다.
Fact V6
- \(a_1,...,a_k\)이 \(R^n\)의 LI vectors 라면 \(a_1,...,a_n\) 이 orthornormal LI 가 되는 \(a_{k+1},...,a_n\) 이 존재한다.
Result A.1
- \(rank(AB) \le min(rank(A),rank(B))\)
Result A.2
- \(A=BC\) 이면 \(\textrm{C}(A) \subseteq \textrm{C}(A)\)
- \(\textrm{C}(A)\subseteq \textrm{C}(B) \) 이면 \(A=BC\) 를 만족하는 \(C\)가 존재한다.
Result A.3
- \(rank(A_{mxn})=n \Longleftrightarrow \textrm{N}(A)={0}\)
TheoremA.1
- \(rank(A_{mxn})=r\) 이면 \(dim(\textrm{N}(A))=n-r\) 이고 다르게 표현하면 \(dim(\textrm{N}(A_{mxn}))+dim(\textrm{C}(A_{mxn}))=n\)
02OrthogonalComplements
Result A.4
- vector space \(S \subseteq R^n \) 이 있을 때 모든 \(x \in R^n\) 는 \(s\in S, t \in S^{\perp}\) 에 의해 \(x = s+ t\) 로 나타내어진다. 그리고 이 \(s,t\) 의 decomposition은 unique하다.
Result A.5
- \(A_{mxn}\) 이 있을 때 \(\textrm{C}(A)^{\perp} = \textrm{N}(A')\)
Result A.6
- \(S_1,S_2\) 는 \(R^n\) 안의 vector space 이고 \(S_1 \subset S_2\) 이면 \(S_2^{\perp} \subseteq S_1^{\perp}\) 이다.
04ProjectionMatrices
Result P.1- \(P\) 가 idempotent matrix (=> \(PP=P\)) 이고 vector space \(S\) 의 projection matrix 라면 \(S = \textrm{C}(P)\)
Result A.14
- \(AA^-\) 는 \(\textrm{C}(A)\) 의 projection matrix
Result A.15
- \(I - A^-A\) 는 \(\textrm{N}(A)\) 의 projection matrix
Result A.16
- \(P\) 가 symmetric 이고 idempotent라면 \(P\)는 \(\textrm{C}(P)\) 의 unique symmetric projection matrix 이다. 곧 \(P\) 가 자신의 column space 의 projection matrix가 된다.
Corollary A.4
- \(P\) 가 symmetric idempotent matrix 일때 \(I - P\) 는 \(\textrm{C}(P)^{\perp} = \textrm{N}(P) = \textrm{N}(P') \) 의 sysmmetric projection matrix 이다.
05IntroGLM
asf07PxNormalEquations
Theorem 2.1- \(P_x\) 는 \(\textrm{C}(X)\) 의 orthogonal projection 일 때, \(P_x = X(X'X)^-X'\) 이고 이는 아래와 같은 성질을 갖는다.
- \([X(X'X)^-X'][X(X'X)^-X'] = [X(X'X)^-X'] \)
- \( X(X'X)^-X'y \in \textrm{C}(X) \; \forall y \in R^n \)
- \( X(X'X)^-X'x = x \; \forall x \in \textrm{C}(X)\)
- \(X(X'X)^-X' = [X(X'X)^-X']' \)
- \(X(X'X)^-X'\) 는 \(X'X\)의 \( \forall GI\) 와 같다
Lemma 2.1
- \(\textrm{N}(X'X) = \textrm{N}(X)\)
- \(\textrm{C}(X'X)=textrm{C}(X')\)
- \(Q(b)\)를 최소화 하는 \(\hat\beta\) 값이 \(\textrm{NE}(X'Xb=X'y)\) 의 해이다.
- \(X'XA=X'XB \Longleftrightarrow XA=XB\)
Result 2.5
- \((X'X)^-\) 가 \(X'X\)의 GI 이면 \((X'X)^-X'\) 는 \(X\)의 GI 이다. 곧 \(X(X'X)^-X'X = X\)
Corollary to result 2.5
- \((X'X)^-\) 가 \(X'X\)의 GI 이면 \(X(X'X)^-\) 는 \(X'\)의 GI 이다. 곧 \(X'X(X'X)^-X' = X'\)
Result 2.6
Corollary 2.3
- \(I-P_x = I-X(X'X)^-X'\) 는 \(\textrm{C}m(X)^{\perp}=\textrm{N}(X')\)
- \(\textrm{C}(W) \subseteq \textrm{C}(X)\) 일 때, \(P_x-P_w\)는 \(\textrm{C}((I-P_w)X)\) 의 orthorgonal projection 이다.
Normal Equations (NE)
- \(X'X \hat\beta = X'y\)
- NE의 해는 Result 2.3 과 같이 \(Q(b)\)를 최소화 하는 \(\hat\beta\) 값이 되고 이는 \(X(X'X)^-X'y\) 이다.
- solution of NE \( \Longleftrightarrow \hat\beta \Longleftrightarrow \mbox{b minimized of }Q(b) \Longleftrightarrow X(X'X)^-X'y\)
Corollary 2.1
- NE 는 consistent 하다. 곧 항상 해가 있다.
Corollary 2.2
- \(rank(X'X)=rank(X)\)
- NE의 그 어떤 해 \(\hat\beta\) 의 \(X\hat\beta\) 의 값은 동일하다.
08Reparameterization
\(y = W\alpha+\epsilon\) 과 \(y = X\beta+\epsilon\) 는 동등하다 혹은 reparameterization iff \(\textrm{C}(X)=textrm{C}(W)\)
Result 2.8- \(\textrm{C}(X)=\textrm{C}(W)\) 이면 \(P_x=P_x\).
Corollary 2.4
- \(\textrm{C}(X)=\textrm{C}(W)\) 이면 \(\hat y = P_{x}y = P_wy \) 이고 \(\hat \epsilon = (I-P_x)y = (I-P_w)y = y- \hat y\)
Result 2.9
- \(\textrm{C}(W)=\textrm{C}(X)\) 이고 \(\hat \alpha\) 가 NE \(W'W\alpha=W'y\) 의 해일 때, \(\hat \beta = T \hat \alpha\) 는 NE \(X'X\alpha=X'y\) 의 해이고 \(T \ni W= XT\)
* 위 내용은 http://www.public.iastate.edu/~dnett/S611/lecturenotes.shtml 를 바탕으로 함.
