[패턴인식] 선형대수와 확률통계 review_part 3

 

이번 글의 내용은 고려대학교 컴퓨터공학과 김승룡 교수님의 강의를 정리 및 참조 하였음을 먼저 밝힙니다.

(다른 참조한 논문과 자료들은 아래에 기재되어 있습니다.) 

 

혹시 제가 잘못 알고 있는 점이나 보완할 점 있다면 댓글로 알려주시면 감사하겠습니다. 

 

---

◎ 항등, 단위행렬 (Identity Matrix)

 

 

- 항등행렬은 행렬안에 1값이 대각선으로 위치해있습니다.

- 항등행렬은 행렬의 크기가 달라져도 사진에 보는 것 처럼 consist하게 1이 대각선으로 나란히 존재합니다. 

 

 

- 행렬 곱셈은 행렬 덧셈을 하는 것보다 계산에 잇어 훨씬 어렵습니다.

- 위의 식에서 행렬의 차원이 올라가면 올라갈수록 좌변을 계산하는 것이 우변보다 더 힘듭니다.  

---

◎ 선형 방정식 (Linear equation)

 

 

- 위와 같은 선형방정식들은 차수가 늘어나면 행렬을 사용하여 문제를 해결하는 것이 더욱 효율적입니다.

 

- 선형방정식을 통하여 답을 도출할 수 있는데 경우에 따라서 해가 존재하지 않거나, 하나 존재하거나, 무한대의 해가

  나올 수도 있습니다.

 

---

◎ 역행렬, 행렬변환 (Matrix inversion)

 

 

- A^-1(A의 역행렬)과  A 행렬을 곱하면 항등행렬이 나오게 됩니다. 

 

- 선형방정식에 대한 task 또한 역행렬을 통하여 풀 수 있습니다.

- 좌변을 자세 살펴보면, 위에서 설명한 것과 같이 A^-1 A를 곱하게 되면 I_n 항등행렬이 나오게 됩니다.

- 선형방정식을 푸는데 있어서 좌변과 우변이 같은 값을 가지게 되는 것을 알 수 있습니다.

 

---

◎ 가역성 (Invertibility)

 

Ax = b

 

- 행렬에서도 역행렬 만드는데 있어서 규칙이 몇가지 있습니다.

 

1) 열이 행보다 많으면 안된다.

2) 행이 열보다 많으면 안된다.

3) 불필요(redundant0한 열/행 존재 [선형적으로 독립 (linearly independent), 행계수 (row rank) 존재]

 

위 3가지 조건에 부합한다면 행렬을 역행렬로 만들 수 없습니다.

 

정방행렬(square matrix)가 선형적으로 독립적인 행을 가질 때는 singular이라고 합니다. 

 

---

◎ Norm

 

- Norm은 선형대수학에서 벡터의 크기, 길이를 측정하는 방법입니다.

- Norm은 벡터가 얼마나 큰지 측정을 할 수 있기도 합니다.

 

- 0에서 벡터에 표시된 포인트 사이의 거리랑 비슷합니다.

(similar to a distance between zero and the point represented by the vector)

 

---

◎ L^p Norm

 

- 머신러닝(ML)에서는 벡터의 길이를 아는 것이 유용한 경우가 많습니다.

- 주로 loss function을 계산하는데 있어서 유용합니다.

- norm은 벡터의 길이를 측정하는데 있어서 매우 중요합니다.

 

---

◎ Norms

- norm도 종류가 있는데, l1, l2, l∞ norm이 있습니다. 

- norm 종류 별의 도형에서 벡터의 길이는 다 같다고 할 수 있습니다.

 

 

긴 글 읽어주셔서 감사합니다.

---

References

 

[1] S. Kim (2020). Graduate Course

 

[2] (2020). Standford computer science lecture, http://cs231n.stanford.edu/

 

[3] (2010). MIT OCW Linear Algebra Lecture,

https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/