Throw a stone at me: Linear Algebra

rank가 \(r\) 인 \( A_{m\mbox{x}n}\) matrix 의 4가지 vector space 의 property 정리.

C(A) : column space of A. Linear combination of columns of A
R(A) : row space of A. Linear combination of rows of A
N(A) : null space of A. \(N(A) = \{y: Ay = 0 \} \)
N(A') : null space of A' (다르게 표현하면 \(\textrm{C}(A)\) 의 orthogonal complement). \(\textrm{C}(A) = S\) 일때 \(S^{\perp} = \textrm{N}(A')\)

vector space	C(A)	R(A)	N(A)	N(A')
vector dimension	\(R^m\)	\(R^n\)	\(R^n\)	\(R^m\)
space dimension	\(r\)	\(r\)	\(n-r\)	\(m-r\)
projection matrix	\(AA^-\)	\(A'A'^-\)	\(I - A^-A\)	\(I - A'A'^-\)
-	-	-	-	-
-	-	-	-	-

* \(A'\) : transpose of A

* \(A^-\) : generalized inverse (GI) of a matrix A
* projection matrix : a square matrix \(P\) is a projection matrix that projects onto the vector space \(S\), \(S \subseteq R^n\)

\(P\) is idempotene (=> \(PP = P\))
\(Px \in S \; \forall x \in R^n \)
\( Pz = z \; \forall z \in S \)

01PreliminaryLinearAlgebra

Fact V1

\(x_1,x_2,...x_n\) 이 LD (linearly dependent) \( \Leftrightarrow \) \( x_j \) 는 \( x_1,x_2,..x_{j-1}\) 의 LC (linear combination)

Fact V2

vector space \(S\) 의 basis의 갯수가 n개이고 \(S\) 의 LI (linearly independent) 한 k개의 vector가 있다면 k \(\leq\) n

Fact V3

\({a_1,...,a_n}\) 과 \({b_1,...,b_k}\) 이 각각 vector space S의 basis라고 한다면 \(n=k\).

Fact V4

\(a_1,...,a_n\) 이 vector space S, S \(\in dim(\mbox{S})=n\) 의 LI vector라면 이는 곧 S의 basis 가 된다.

Fact V5

\(a_1,...,a_k\) 이 vector space S, S \(\in dim(\mbox{S})=n\) 의 LI vector라면 \(a_1,...,a_k\) 를 포함한 basis가 존재한다.

Fact V6

\(a_1,...,a_k\)이 \(R^n\)의 LI vectors 라면 \(a_1,...,a_n\) 이 orthornormal LI 가 되는 \(a_{k+1},...,a_n\) 이 존재한다.

Result A.1

\(rank(AB) \le min(rank(A),rank(B))\)

Result A.2

\(A=BC\) 이면 \(\textrm{C}(A) \subseteq \textrm{C}(A)\)
\(\textrm{C}(A)\subseteq \textrm{C}(B) \) 이면 \(A=BC\) 를 만족하는 \(C\)가 존재한다.

Result A.3

\(rank(A_{mxn})=n \Longleftrightarrow \textrm{N}(A)={0}\)

TheoremA.1

\(rank(A_{mxn})=r\) 이면 \(dim(\textrm{N}(A))=n-r\) 이고 다르게 표현하면 \(dim(\textrm{N}(A_{mxn}))+dim(\textrm{C}(A_{mxn}))=n\)

02OrthogonalComplements

Result A.4

vector space \(S \subseteq R^n \) 이 있을 때 모든 \(x \in R^n\) 는 \(s\in S, t \in S^{\perp}\) 에 의해 \(x = s+ t\) 로 나타내어진다. 그리고 이 \(s,t\) 의 decomposition은 unique하다.

Result A.5

\(A_{mxn}\) 이 있을 때 \(\textrm{C}(A)^{\perp} = \textrm{N}(A')\)

Result A.6

\(S_1,S_2\) 는 \(R^n\) 안의 vector space 이고 \(S_1 \subset S_2\) 이면 \(S_2^{\perp} \subseteq S_1^{\perp}\) 이다.

04ProjectionMatrices

Result P.1

\(P\) 가 idempotent matrix (=> \(PP=P\)) 이고 vector space \(S\) 의 projection matrix 라면 \(S = \textrm{C}(P)\)

Result A.14

\(AA^-\) 는 \(\textrm{C}(A)\) 의 projection matrix

Result A.15

\(I - A^-A\) 는 \(\textrm{N}(A)\) 의 projection matrix

Result A.16

\(P\) 가 symmetric 이고 idempotent라면 \(P\)는 \(\textrm{C}(P)\) 의 unique symmetric projection matrix 이다. 곧 \(P\) 가 자신의 column space 의 projection matrix가 된다.

Corollary A.4

\(P\) 가 symmetric idempotent matrix 일때 \(I - P\) 는 \(\textrm{C}(P)^{\perp} = \textrm{N}(P) = \textrm{N}(P') \) 의 sysmmetric projection matrix 이다.

05IntroGLM

asf

07PxNormalEquations

Theorem 2.1

\(P_x\) 는 \(\textrm{C}(X)\) 의 orthogonal projection 일 때, \(P_x = X(X'X)^-X'\) 이고 이는 아래와 같은 성질을 갖는다.

\([X(X'X)^-X'][X(X'X)^-X'] = [X(X'X)^-X'] \)
\( X(X'X)^-X'y \in \textrm{C}(X) \; \forall y \in R^n \)
\( X(X'X)^-X'x = x \; \forall x \in \textrm{C}(X)\)
\(X(X'X)^-X' = [X(X'X)^-X']' \)
\(X(X'X)^-X'\) 는 \(X'X\)의 \( \forall GI\) 와 같다

Lemma 2.1

\(\textrm{N}(X'X) = \textrm{N}(X)\)

Result 2.1

\(\textrm{C}(X'X)=textrm{C}(X')\)

Result 2.3

\(Q(b)\)를 최소화 하는 \(\hat\beta\) 값이 \(\textrm{NE}(X'Xb=X'y)\) 의 해이다.

Result 2.4

\(X'XA=X'XB \Longleftrightarrow XA=XB\)

Result 2.5

\((X'X)^-\) 가 \(X'X\)의 GI 이면 \((X'X)^-X'\) 는 \(X\)의 GI 이다. 곧 \(X(X'X)^-X'X = X\)

Corollary to result 2.5

\((X'X)^-\) 가 \(X'X\)의 GI 이면 \(X(X'X)^-\) 는 \(X'\)의 GI 이다. 곧 \(X'X(X'X)^-X' = X'\)

Result 2.6

\(I-P_x = I-X(X'X)^-X'\) 는 \(\textrm{C}m(X)^{\perp}=\textrm{N}(X')\)

Theorem 2.2

\(\textrm{C}(W) \subseteq \textrm{C}(X)\) 일 때, \(P_x-P_w\)는 \(\textrm{C}((I-P_w)X)\) 의 orthorgonal projection 이다.

Normal Equations (NE)

\(X'X \hat\beta = X'y\)
NE의 해는 Result 2.3 과 같이 \(Q(b)\)를 최소화 하는 \(\hat\beta\) 값이 되고 이는 \(X(X'X)^-X'y\) 이다.
solution of NE \( \Longleftrightarrow \hat\beta \Longleftrightarrow \mbox{b minimized of }Q(b) \Longleftrightarrow X(X'X)^-X'y\)

Corollary 2.1

NE 는 consistent 하다. 곧 항상 해가 있다.

Corollary 2.2

\(rank(X'X)=rank(X)\)

Corollary 2.3

NE의 그 어떤 해 \(\hat\beta\) 의 \(X\hat\beta\) 의 값은 동일하다.

08Reparameterization

\(y = W\alpha+\epsilon\) 과 \(y = X\beta+\epsilon\) 는 동등하다 혹은 reparameterization iff \(\textrm{C}(X)=textrm{C}(W)\)

Result 2.8

\(\textrm{C}(X)=\textrm{C}(W)\) 이면 \(P_x=P_x\).

Corollary 2.4

\(\textrm{C}(X)=\textrm{C}(W)\) 이면 \(\hat y = P_{x}y = P_wy \) 이고 \(\hat \epsilon = (I-P_x)y = (I-P_w)y = y- \hat y\)

Result 2.9

\(\textrm{C}(W)=\textrm{C}(X)\) 이고 \(\hat \alpha\) 가 NE \(W'W\alpha=W'y\) 의 해일 때, \(\hat \beta = T \hat \alpha\) 는 NE \(X'X\alpha=X'y\) 의 해이고 \(T \ni W= XT\)

* 위 내용은 http://www.public.iastate.edu/~dnett/S611/lecturenotes.shtml 를 바탕으로 함.

Throw a stone at me

Wednesday, February 4, 2015

Linear Algebra