Wednesday, February 4, 2015

Linear Algebra

rank가 \(r\) 인 \( A_{m\mbox{x}n}\)  matrix 의 4가지 vector space 의 property 정리.

  • C(A) : column space of A. Linear combination of columns of A
  • R(A) : row space of A. Linear combination of rows of A
  • N(A) : null space of A. \(N(A) = \{y: Ay = 0 \} \)
  • N(A') : null space of A' (다르게 표현하면 \(\textrm{C}(A)\) 의 orthogonal complement). \(\textrm{C}(A) = S\) 일때 \(S^{\perp} = \textrm{N}(A')\) 


vector space C(A) R(A) N(A) N(A')
vector dimension \(R^m\) \(R^n\) \(R^n\) \(R^m\)
space dimension \(r\) \(r\) \(n-r\) \(m-r\)
projection matrix \(AA^-\) \(A'A'^-\) \(I - A^-A\) \(I - A'A'^-\)
- - - - -
- - - - -

* \(A'\) : transpose of A
* \(A^-\) : generalized inverse (GI) of a matrix A
* projection matrix : a square matrix \(P\) is a projection matrix that projects onto the vector space \(S\), \(S \subseteq R^n\)

  1. \(P\) is idempotene (=> \(PP = P\))
  2. \(Px \in S \; \forall x \in R^n \)
  3. \( Pz = z \; \forall z \in S \)



01PreliminaryLinearAlgebra

Fact V1
  • \(x_1,x_2,...x_n\) 이 LD (linearly dependent)  \( \Leftrightarrow \) \( x_j \) 는 \( x_1,x_2,..x_{j-1}\) 의 LC (linear combination)
Fact V2
  • vector space \(S\) 의 basis의 갯수가 n개이고 \(S\) 의 LI (linearly independent) 한  k개의 vector가 있다면 k \(\leq\) n
Fact V3
  • \({a_1,...,a_n}\) 과 \({b_1,...,b_k}\) 이 각각 vector space S의 basis라고 한다면 \(n=k\).
Fact V4
  • \(a_1,...,a_n\) 이 vector space S, S \(\in dim(\mbox{S})=n\) 의 LI vector라면 이는 곧 S의 basis 가 된다.
Fact V5
  • \(a_1,...,a_k\) 이 vector space S, S \(\in dim(\mbox{S})=n\) 의 LI vector라면 \(a_1,...,a_k\) 를 포함한 basis가 존재한다.
Fact V6
  • \(a_1,...,a_k\)이 \(R^n\)의 LI vectors 라면 \(a_1,...,a_n\) 이 orthornormal LI 가 되는  \(a_{k+1},...,a_n\) 이 존재한다.
Result A.1
  • \(rank(AB) \le min(rank(A),rank(B))\)
Result A.2
  • \(A=BC\) 이면 \(\textrm{C}(A) \subseteq \textrm{C}(A)\)
  • \(\textrm{C}(A)\subseteq \textrm{C}(B)  \) 이면 \(A=BC\) 를 만족하는 \(C\)가 존재한다.
Result A.3
  • \(rank(A_{mxn})=n \Longleftrightarrow \textrm{N}(A)={0}\)
TheoremA.1
  • \(rank(A_{mxn})=r\) 이면 \(dim(\textrm{N}(A))=n-r\) 이고 다르게 표현하면 \(dim(\textrm{N}(A_{mxn}))+dim(\textrm{C}(A_{mxn}))=n\)

02OrthogonalComplements

Result A.4
  • vector space \(S \subseteq R^n \) 이 있을 때 모든 \(x \in R^n\) 는 \(s\in S, t \in S^{\perp}\) 에 의해 \(x = s+ t\)  로 나타내어진다. 그리고 이 \(s,t\) 의 decomposition은  unique하다.
Result A.5
  • \(A_{mxn}\) 이 있을 때 \(\textrm{C}(A)^{\perp} = \textrm{N}(A')\)
Result A.6
  • \(S_1,S_2\) 는 \(R^n\) 안의 vector space 이고 \(S_1 \subset S_2\) 이면 \(S_2^{\perp} \subseteq S_1^{\perp}\) 이다.

04ProjectionMatrices

Result P.1
  • \(P\) 가 idempotent matrix (=> \(PP=P\)) 이고 vector space \(S\) 의 projection matrix 라면 \(S = \textrm{C}(P)\)   
Result A.14 
  • \(AA^-\) 는 \(\textrm{C}(A)\) 의 projection matrix
Result A.15
  • \(I - A^-A\) 는 \(\textrm{N}(A)\) 의 projection matrix 
Result A.16
  • \(P\) 가 symmetric 이고 idempotent라면 \(P\)는 \(\textrm{C}(P)\) 의 unique symmetric projection matrix 이다. 곧 \(P\) 가 자신의 column space 의 projection matrix가 된다.
Corollary A.4
  • \(P\) 가 symmetric idempotent matrix 일때 \(I - P\) 는 \(\textrm{C}(P)^{\perp} = \textrm{N}(P) = \textrm{N}(P') \) 의 sysmmetric projection matrix 이다.

05IntroGLM

asf

07PxNormalEquations

Theorem 2.1

  • \(P_x\) 는 \(\textrm{C}(X)\) 의 orthogonal projection 일 때, \(P_x = X(X'X)^-X'\) 이고 이는 아래와 같은 성질을 갖는다.
    1. \([X(X'X)^-X'][X(X'X)^-X'] = [X(X'X)^-X'] \)
    2. \( X(X'X)^-X'y \in \textrm{C}(X) \; \forall y \in R^n \)
    3. \( X(X'X)^-X'x = x \;  \forall x \in \textrm{C}(X)\) 
    4. \(X(X'X)^-X' = [X(X'X)^-X']' \)
    5. \(X(X'X)^-X'\) 는 \(X'X\)의 \( \forall GI\) 와 같다
Lemma 2.1
  • \(\textrm{N}(X'X) = \textrm{N}(X)\)
Result 2.1
  • \(\textrm{C}(X'X)=textrm{C}(X')\)
Result 2.3
  • \(Q(b)\)를 최소화 하는 \(\hat\beta\) 값이 \(\textrm{NE}(X'Xb=X'y)\) 의 해이다. 
Result 2.4
  • \(X'XA=X'XB \Longleftrightarrow XA=XB\)
Result 2.5
  • \((X'X)^-\) 가 \(X'X\)의 GI 이면 \((X'X)^-X'\) 는 \(X\)의 GI 이다. 곧 \(X(X'X)^-X'X = X\)
Corollary to result 2.5
  • \((X'X)^-\) 가 \(X'X\)의 GI 이면 \(X(X'X)^-\) 는 \(X'\)의 GI 이다. 곧 \(X'X(X'X)^-X' = X'\)
Result 2.6
  • \(I-P_x = I-X(X'X)^-X'\) 는 \(\textrm{C}m(X)^{\perp}=\textrm{N}(X')\) 
Theorem 2.2
  • \(\textrm{C}(W) \subseteq \textrm{C}(X)\) 일 때, \(P_x-P_w\)는 \(\textrm{C}((I-P_w)X)\) 의 orthorgonal projection 이다.
Normal Equations (NE)
  • \(X'X \hat\beta = X'y\) 
  • NE의 해는 Result 2.3 과 같이 \(Q(b)\)를 최소화 하는 \(\hat\beta\) 값이 되고 이는 \(X(X'X)^-X'y\) 이다.
  • solution of NE \( \Longleftrightarrow \hat\beta \Longleftrightarrow \mbox{b minimized of }Q(b) \Longleftrightarrow X(X'X)^-X'y\)
Corollary 2.1
  • NE 는 consistent 하다. 곧 항상 해가 있다.
Corollary 2.2
  • \(rank(X'X)=rank(X)\)
Corollary 2.3
  • NE의 그 어떤 해 \(\hat\beta\) 의 \(X\hat\beta\) 의 값은 동일하다.

08Reparameterization

\(y = W\alpha+\epsilon\) 과 \(y = X\beta+\epsilon\) 는 동등하다 혹은 reparameterization iff \(\textrm{C}(X)=textrm{C}(W)\)
Result 2.8
  • \(\textrm{C}(X)=\textrm{C}(W)\) 이면 \(P_x=P_x\).
Corollary 2.4
  • \(\textrm{C}(X)=\textrm{C}(W)\) 이면 \(\hat y = P_{x}y = P_wy \) 이고 \(\hat \epsilon = (I-P_x)y = (I-P_w)y = y- \hat y\)
Result 2.9
  • \(\textrm{C}(W)=\textrm{C}(X)\) 이고 \(\hat \alpha\) 가 NE \(W'W\alpha=W'y\) 의 해일 때, \(\hat \beta = T \hat \alpha\) 는 NE \(X'X\alpha=X'y\) 의 해이고  \(T \ni W= XT\)




No comments:

Post a Comment