Linear Algebra

rank가 \(r\) 인 \( A_{m\mbox{x}n}\)  matrix 의 4가지 vector space 의 property 정리.

• C(A) : column space of A. Linear combination of columns of A
• R(A) : row space of A. Linear combination of rows of A
• N(A) : null space of A. \(N(A) = \{y: Ay = 0 \} \)
• N(A') : null space of A' (다르게 표현하면 \(\textrm{C}(A)\) 의 orthogonal complement). \(\textrm{C}(A) = S\) 일때 \(S^{\perp} = \textrm{N}(A')\) 

vector space	C(A)	R(A)	N(A)	N(A')
vector dimension	\(R^m\)	\(R^n\)	\(R^n\)	\(R^m\)
space dimension	\(r\)	\(r\)	\(n-r\)	\(m-r\)
projection matrix	\(AA^-\)	\(A'A'^-\)	\(I - A^-A\)	\(I - A'A'^-\)
-	-	-	-	-
-	-	-	-	-

* \(A'\) : transpose of A

* \(A^-\) : generalized inverse (GI) of a matrix A
* projection matrix : a square matrix \(P\) is a projection matrix that projects onto the vector space \(S\), \(S \subseteq R^n\)

1. \(P\) is idempotene (=> \(PP = P\))
2. \(Px \in S \; \forall x \in R^n \)
3. \( Pz = z \; \forall z \in S \)

---

01PreliminaryLinearAlgebra

Fact V1

• \(x_1,x_2,...x_n\) 이 LD (linearly dependent)  \( \Leftrightarrow \) \( x_j \) 는 \( x_1,x_2,..x_{j-1}\) 의 LC (linear combination)

Fact V2

• vector space \(S\) 의 basis의 갯수가 n개이고 \(S\) 의 LI (linearly independent) 한  k개의 vector가 있다면 k \(\leq\) n

Fact V3

• \({a_1,...,a_n}\) 과 \({b_1,...,b_k}\) 이 각각 vector space S의 basis라고 한다면 \(n=k\).

Fact V4

• \(a_1,...,a_n\) 이 vector space S, S \(\in dim(\mbox{S})=n\) 의 LI vector라면 이는 곧 S의 basis 가 된다.

Fact V5

• \(a_1,...,a_k\) 이 vector space S, S \(\in dim(\mbox{S})=n\) 의 LI vector라면 \(a_1,...,a_k\) 를 포함한 basis가 존재한다.

Fact V6

• \(a_1,...,a_k\)이 \(R^n\)의 LI vectors 라면 \(a_1,...,a_n\) 이 orthornormal LI 가 되는  \(a_{k+1},...,a_n\) 이 존재한다.

Result A.1

• \(rank(AB) \le min(rank(A),rank(B))\)

Result A.2

• \(A=BC\) 이면 \(\textrm{C}(A) \subseteq \textrm{C}(A)\)
• \(\textrm{C}(A)\subseteq \textrm{C}(B)  \) 이면 \(A=BC\) 를 만족하는 \(C\)가 존재한다.

Result A.3

• \(rank(A_{mxn})=n \Longleftrightarrow \textrm{N}(A)={0}\)

TheoremA.1

• \(rank(A_{mxn})=r\) 이면 \(dim(\textrm{N}(A))=n-r\) 이고 다르게 표현하면 \(dim(\textrm{N}(A_{mxn}))+dim(\textrm{C}(A_{mxn}))=n\)

02OrthogonalComplements

Result A.4

• vector space \(S \subseteq R^n \) 이 있을 때 모든 \(x \in R^n\) 는 \(s\in S, t \in S^{\perp}\) 에 의해 \(x = s+ t\)  로 나타내어진다. 그리고 이 \(s,t\) 의 decomposition은  unique하다.

Result A.5

• \(A_{mxn}\) 이 있을 때 \(\textrm{C}(A)^{\perp} = \textrm{N}(A')\)

Result A.6

• \(S_1,S_2\) 는 \(R^n\) 안의 vector space 이고 \(S_1 \subset S_2\) 이면 \(S_2^{\perp} \subseteq S_1^{\perp}\) 이다.

04ProjectionMatrices

Result P.1

• \(P\) 가 idempotent matrix (=> \(PP=P\)) 이고 vector space \(S\) 의 projection matrix 라면 \(S = \textrm{C}(P)\)   

Result A.14 

• \(AA^-\) 는 \(\textrm{C}(A)\) 의 projection matrix

Result A.15

• \(I - A^-A\) 는 \(\textrm{N}(A)\) 의 projection matrix 

Result A.16

• \(P\) 가 symmetric 이고 idempotent라면 \(P\)는 \(\textrm{C}(P)\) 의 unique symmetric projection matrix 이다. 곧 \(P\) 가 자신의 column space 의 projection matrix가 된다.

Corollary A.4

• \(P\) 가 symmetric idempotent matrix 일때 \(I - P\) 는 \(\textrm{C}(P)^{\perp} = \textrm{N}(P) = \textrm{N}(P') \) 의 sysmmetric projection matrix 이다.

05IntroGLM

asf

07PxNormalEquations

Theorem 2.1

• \(P_x\) 는 \(\textrm{C}(X)\) 의 orthogonal projection 일 때, \(P_x = X(X'X)^-X'\) 이고 이는 아래와 같은 성질을 갖는다.

1. \([X(X'X)^-X'][X(X'X)^-X'] = [X(X'X)^-X'] \)
2. \( X(X'X)^-X'y \in \textrm{C}(X) \; \forall y \in R^n \)
3. \( X(X'X)^-X'x = x \;  \forall x \in \textrm{C}(X)\) 
4. \(X(X'X)^-X' = [X(X'X)^-X']' \)
5. \(X(X'X)^-X'\) 는 \(X'X\)의 \( \forall GI\) 와 같다

Lemma 2.1

• \(\textrm{N}(X'X) = \textrm{N}(X)\)

Result 2.1

• \(\textrm{C}(X'X)=textrm{C}(X')\)

Result 2.3

• \(Q(b)\)를 최소화 하는 \(\hat\beta\) 값이 \(\textrm{NE}(X'Xb=X'y)\) 의 해이다. 

Result 2.4

• \(X'XA=X'XB \Longleftrightarrow XA=XB\)

Result 2.5

• \((X'X)^-\) 가 \(X'X\)의 GI 이면 \((X'X)^-X'\) 는 \(X\)의 GI 이다. 곧 \(X(X'X)^-X'X = X\)

Corollary to result 2.5

• \((X'X)^-\) 가 \(X'X\)의 GI 이면 \(X(X'X)^-\) 는 \(X'\)의 GI 이다. 곧 \(X'X(X'X)^-X' = X'\)

Result 2.6

• \(I-P_x = I-X(X'X)^-X'\) 는 \(\textrm{C}m(X)^{\perp}=\textrm{N}(X')\) 

Theorem 2.2

• \(\textrm{C}(W) \subseteq \textrm{C}(X)\) 일 때, \(P_x-P_w\)는 \(\textrm{C}((I-P_w)X)\) 의 orthorgonal projection 이다.

Normal Equations (NE)

• \(X'X \hat\beta = X'y\) 
• NE의 해는 Result 2.3 과 같이 \(Q(b)\)를 최소화 하는 \(\hat\beta\) 값이 되고 이는 \(X(X'X)^-X'y\) 이다.
• solution of NE \( \Longleftrightarrow \hat\beta \Longleftrightarrow \mbox{b minimized of }Q(b) \Longleftrightarrow X(X'X)^-X'y\)

Corollary 2.1

• NE 는 consistent 하다. 곧 항상 해가 있다.

Corollary 2.2

• \(rank(X'X)=rank(X)\)

Corollary 2.3

• NE의 그 어떤 해 \(\hat\beta\) 의 \(X\hat\beta\) 의 값은 동일하다.

08Reparameterization

\(y = W\alpha+\epsilon\) 과 \(y = X\beta+\epsilon\) 는 동등하다 혹은 reparameterization iff \(\textrm{C}(X)=textrm{C}(W)\)

Result 2.8

• \(\textrm{C}(X)=\textrm{C}(W)\) 이면 \(P_x=P_x\).

Corollary 2.4

• \(\textrm{C}(X)=\textrm{C}(W)\) 이면 \(\hat y = P_{x}y = P_wy \) 이고 \(\hat \epsilon = (I-P_x)y = (I-P_w)y = y- \hat y\)

Result 2.9

• \(\textrm{C}(W)=\textrm{C}(X)\) 이고 \(\hat \alpha\) 가 NE \(W'W\alpha=W'y\) 의 해일 때, \(\hat \beta = T \hat \alpha\) 는 NE \(X'X\alpha=X'y\) 의 해이고  \(T \ni W= XT\)

* 위 내용은 http://www.public.iastate.edu/~dnett/S611/lecturenotes.shtml 를 바탕으로 함.