Throw a stone at me: Linear Algebra

rank가

$r$ 인

$A_{m\mbox{x}n}$ matrix 의 4가지 vector space 의 property 정리.

C(A) : column space of A. Linear combination of columns of A
R(A) : row space of A. Linear combination of rows of A
N(A) : null space of A. $N(A) = \{y: Ay = 0 \}$
N(A') : null space of A' (다르게 표현하면 $\textrm{C}(A)$ 의 orthogonal complement). $\textrm{C}(A) = S$ 일때 $S^{\perp} = \textrm{N}(A')$

vector space	C(A)	R(A)	N(A)	N(A')
vector dimension	$R^m$	$R^n$	$R^n$	$R^m$
space dimension	$r$	$r$	$n-r$	$m-r$
projection matrix	$AA^-$	$A'A'^-$	$I - A^-A$	$I - A'A'^-$
-	-	-	-	-
-	-	-	-	-

$A'$ : transpose of A

$A^-$ : generalized inverse (GI) of a matrix A
* projection matrix : a square matrix

$P$ is a projection matrix that projects onto the vector space

$S$ ,

$S \subseteq R^n$

$P$ is idempotene (=> $PP = P$ )
$Px \in S \; \forall x \in R^n$
$Pz = z \; \forall z \in S$

01PreliminaryLinearAlgebra

Fact V1

$x_1,x_2,...x_n$ 이 LD (linearly dependent) $\Leftrightarrow$ $x_j$ 는 $x_1,x_2,..x_{j-1}$ 의 LC (linear combination)

Fact V2

vector space $S$ 의 basis의 갯수가 n개이고 $S$ 의 LI (linearly independent) 한 k개의 vector가 있다면 k $\leq$ n

Fact V3

${a_1,...,a_n}$ 과 ${b_1,...,b_k}$ 이 각각 vector space S의 basis라고 한다면 $n=k$ .

Fact V4

$a_1,...,a_n$ 이 vector space S, S $\in dim(\mbox{S})=n$ 의 LI vector라면 이는 곧 S의 basis 가 된다.

Fact V5

$a_1,...,a_k$ 이 vector space S, S $\in dim(\mbox{S})=n$ 의 LI vector라면 $a_1,...,a_k$ 를 포함한 basis가 존재한다.

Fact V6

$a_1,...,a_k$ 이 $R^n$ 의 LI vectors 라면 $a_1,...,a_n$ 이 orthornormal LI 가 되는 $a_{k+1},...,a_n$ 이 존재한다.

Result A.1

$rank(AB) \le min(rank(A),rank(B))$

Result A.2

$A=BC$ 이면 $\textrm{C}(A) \subseteq \textrm{C}(A)$
$\textrm{C}(A)\subseteq \textrm{C}(B)$ 이면 $A=BC$ 를 만족하는 $C$ 가 존재한다.

Result A.3

$rank(A_{mxn})=n \Longleftrightarrow \textrm{N}(A)={0}$

TheoremA.1

$rank(A_{mxn})=r$ 이면 $dim(\textrm{N}(A))=n-r$ 이고 다르게 표현하면 $dim(\textrm{N}(A_{mxn}))+dim(\textrm{C}(A_{mxn}))=n$

02OrthogonalComplements

Result A.4

vector space $S \subseteq R^n$ 이 있을 때 모든 $x \in R^n$ 는 $s\in S, t \in S^{\perp}$ 에 의해 $x = s+ t$ 로 나타내어진다. 그리고 이 $s,t$ 의 decomposition은 unique하다.

Result A.5

$A_{mxn}$ 이 있을 때 $\textrm{C}(A)^{\perp} = \textrm{N}(A')$

Result A.6

$S_1,S_2$ 는 $R^n$ 안의 vector space 이고 $S_1 \subset S_2$ 이면 $S_2^{\perp} \subseteq S_1^{\perp}$ 이다.

04ProjectionMatrices

Result P.1

$P$ 가 idempotent matrix (=> $PP=P$ ) 이고 vector space $S$ 의 projection matrix 라면 $S = \textrm{C}(P)$

Result A.14

$AA^-$ 는 $\textrm{C}(A)$ 의 projection matrix

Result A.15

$I - A^-A$ 는 $\textrm{N}(A)$ 의 projection matrix

Result A.16

$P$ 가 symmetric 이고 idempotent라면 $P$ 는 $\textrm{C}(P)$ 의 unique symmetric projection matrix 이다. 곧 $P$ 가 자신의 column space 의 projection matrix가 된다.

Corollary A.4

$P$ 가 symmetric idempotent matrix 일때 $I - P$ 는 $\textrm{C}(P)^{\perp} = \textrm{N}(P) = \textrm{N}(P')$ 의 sysmmetric projection matrix 이다.

05IntroGLM

asf

07PxNormalEquations

Theorem 2.1

$P_x$ 는 $\textrm{C}(X)$ 의 orthogonal projection 일 때, $P_x = X(X'X)^-X'$ 이고 이는 아래와 같은 성질을 갖는다.

$[X(X'X)^-X'][X(X'X)^-X'] = [X(X'X)^-X']$
$X(X'X)^-X'y \in \textrm{C}(X) \; \forall y \in R^n$
$X(X'X)^-X'x = x \; \forall x \in \textrm{C}(X)$
$X(X'X)^-X' = [X(X'X)^-X']'$
$X(X'X)^-X'$ 는 $X'X$ 의 $\forall GI$ 와 같다

Lemma 2.1

$\textrm{N}(X'X) = \textrm{N}(X)$

Result 2.1

$\textrm{C}(X'X)=textrm{C}(X')$

Result 2.3

$Q(b)$ 를 최소화 하는 $\hat\beta$ 값이 $\textrm{NE}(X'Xb=X'y)$ 의 해이다.

Result 2.4

$X'XA=X'XB \Longleftrightarrow XA=XB$

Result 2.5

$(X'X)^-$ 가 $X'X$ 의 GI 이면 $(X'X)^-X'$ 는 $X$ 의 GI 이다. 곧 $X(X'X)^-X'X = X$

Corollary to result 2.5

$(X'X)^-$ 가 $X'X$ 의 GI 이면 $X(X'X)^-$ 는 $X'$ 의 GI 이다. 곧 $X'X(X'X)^-X' = X'$

Result 2.6

$I-P_x = I-X(X'X)^-X'$ 는 $\textrm{C}m(X)^{\perp}=\textrm{N}(X')$

Theorem 2.2

$\textrm{C}(W) \subseteq \textrm{C}(X)$ 일 때, $P_x-P_w$ 는 $\textrm{C}((I-P_w)X)$ 의 orthorgonal projection 이다.

Normal Equations (NE)

$X'X \hat\beta = X'y$
NE의 해는 Result 2.3 과 같이 $Q(b)$ 를 최소화 하는 $\hat\beta$ 값이 되고 이는 $X(X'X)^-X'y$ 이다.
solution of NE $\Longleftrightarrow \hat\beta \Longleftrightarrow \mbox{b minimized of }Q(b) \Longleftrightarrow X(X'X)^-X'y$

Corollary 2.1

NE 는 consistent 하다. 곧 항상 해가 있다.

Corollary 2.2

$rank(X'X)=rank(X)$

Corollary 2.3

NE의 그 어떤 해 $\hat\beta$ 의 $X\hat\beta$ 의 값은 동일하다.

08Reparameterization

$y = W\alpha+\epsilon$ 과

$y = X\beta+\epsilon$ 는 동등하다 혹은 reparameterization iff

$\textrm{C}(X)=textrm{C}(W)$

Result 2.8

$\textrm{C}(X)=\textrm{C}(W)$ 이면 $P_x=P_x$ .

Corollary 2.4

$\textrm{C}(X)=\textrm{C}(W)$ 이면 $\hat y = P_{x}y = P_wy$ 이고 $\hat \epsilon = (I-P_x)y = (I-P_w)y = y- \hat y$

Result 2.9

$\textrm{C}(W)=\textrm{C}(X)$ 이고 $\hat \alpha$ 가 NE $W'W\alpha=W'y$ 의 해일 때, $\hat \beta = T \hat \alpha$ 는 NE $X'X\alpha=X'y$ 의 해이고 $T \ni W= XT$

* 위 내용은 http://www.public.iastate.edu/~dnett/S611/lecturenotes.shtml 를 바탕으로 함.

Throw a stone at me

Wednesday, February 4, 2015

Linear Algebra