Positive Definite Matrix

https://en.wikipedia.org/wiki/Positive-definite_matrix#Negative-definite.2C_semidefinite_and_indefinite_matrices

- Positive definite

M : symmetric n x n real matirx

z : non-zero column vector of n real numbers

을 만족하는 경우.

M : Hermitian matrix : symmetric matrix을 복소수로 확장된 개념.

 <- 예

- Examples of Positive definite matrix

a = b = c = 0 일 때만 =가 성립한다.

- real non-singular matrix A

는 positive definite matrix다.

A가 non-singularity 라는 것은 역행렬이 존재하며 을 의미하기 때문에

이기 때문이다.

- 직관적으로 구분하기

매트릭스의 요소에 음수가있면 positive-definite 할 가능성이 크고 매트릭스에 양수만 있다면  positive-definite 할 가능성이 적다...

- Connection

일반적인 n개의 변수( z1, ... , zn)를 갖는 quadratic real function f(z)은 언제나 

의 형태로 쓰인다. M은 symmetric real matrix.

M이 positive definite하는 것은 f(z)가 유일하게 z=0일때 최소값(0)을 갖는다는 이야기다.

2차 미분가능한 합수 f(z)가 오직하나의 minimum을 갖는다면 이 위치에서 gradient는 0이며

Hessian Matrix는 positive definite하다. 

-Covariance matrix

Covariance matrix는 언제나 Positive semi-definite하며 어느 한 변수가 다른변수들의 linear combination으로 표현되지 않는 한 Positive definite하다. 역으로 Positive semi-definite matrix는 어느 분포의 Covariance matrix로 볼 수 있다.

- Positive definite matrix 성질

1. 모든 Eigen value가 양수다.

2. 

3. Linearly independent vectors로 이루어진 Gram matrix이다.

4.

5. 유일한 Cholesky decomposition을 가진다.

- Quadratic forms

일반적인 이차 방정식을 아래와 같이 쓸 수 있으며 

M이 positive definite하면 위 함수는 convex하며 유일한 Minimum을 갖는다.

- Positive semi-definite

Gram matrix와 positive semi-definite matrix는 필요충분조건이다.

positive definite matrix에서는 vector들이 linearly independent조건있는 반면 여기서는 없어도 된다. 

어떠한 matrix A 의 A*A는 positive semi-definite하며 rank(A) = rank(A*A) 이다.

어떠한 Hermitian positive semi-definite matrix도 LL*의 형태로 쓸수 있으며 positive definite하지 않다면 대각성분 중 일부는 0 이다. 

principal minor( row = col 이고 두 줄을 뺀 나머지 행렬값들의 determinent)

principal minor들의 값이 모두 양일때 Positive semi-definite하다.