[패턴인식] 선형대수와 확률통계 review_part 2

 

이번 글의 내용은 고려대학교 컴퓨터공학과 김승룡 교수님의 강의를 정리 및 참조 하였음을 먼저 밝힙니다.

(다른 참조한 논문과 자료들은 아래에 기재되어 있습니다.) 

 

혹시 제가 잘못 알고 있는 점이나 보완할 점 있다면 댓글로 알려주시면 감사하겠습니다. 

 

---

◎ 합성곱 신경망 (Convolutional Neural Network)

- CNN은 딥러닝에서 fundamental한 요소입니다.

- CNN(합성곱 신경망)은 Tensor들로 이루어져 있습니다.

- CNN 모델 중 유명한 모델은 VGG Net (ICLR 2016)과 Res Net (CVPR 2016, Best paper award)이 있습니다. 

 

A) VGG Net

 

- Image는 tensor로 이루어져 있는데, VGG net은 224*224 차원* 3 channel로 Image를 수치화합니다.

- 그 이후에 convolutional module(합성곱 모듈)은 다른 3차원의 tensor들을 생성합니다.

(224*224*64 → 112*112*128 →56*56*256 →28*28*512 →14*14*512 →...)

 

- VGG net 안에서 3d 텐서는 activation, feature라고 불립니다.

- tensor representation은 딥러닝에서 핵심이라고 아시면 되겠습니다.

 

 

B) Res Net

 

- Res Net은 무려 152개의 layer를 가지고 있습니다.

- 또한 Convolutional parameter로 이루어져 있습니다.

 

---

◎ 행렬 전치 (Matrix Transpose)

 

- 행렬 전치는 위에 사진에 보시는 것과 같이 열(rows)과 행(columns)을 바꾸는 행위를 뜻합니다.

- 이전 행렬(A)이 전치가 된 행렬로 바뀌면 (A^T) 행렬의 사이즈도 바뀌게 됩니다.

(예를 들면 4*2 행렬 → 2*4 행렬로 바뀌는 것입니다)

---

◎ 행렬 전치 특징 (Matrix Transpose properties)

 

 

- 행렬 전치를 하는데도 특성 및 룰이 여러가지 있는데 대표적으로 위 사진처럼 4가지가 있습니다.

 

---

◎ 행렬 곱 (Matrix Multiplication)

 

- 행렬 곱셉은 product(내적)을 한다라고도 말할 수 있습니다.

- 행렬 곱셉은 프로그래밍을 할때 라이브러리에서 왠만하면 기능을 제공하여 굳이 손으로 안 풀어도 됩니다.

 

---

 

◎ 행렬 곱 특성(Matrix Multiplication properties)

 

- 행렬 곱에는 특성 및 룰이 대표적으로 위 사진처럼 3가지가 있습니다. 

- 4번째 룰은 수업에 다루지 않았지만 식을 보면 직관적으로 이해가 가니 생략합니다.

 

 

 

긴 글 읽어주셔서 감사합니다.

---

References

 

[1] S. Kim (2020). Graduate Course

 

[2] https://www.slideshare.net/bertonearnshaw

 

[3] (2020). Standford computer science lecture, http://cs231n.stanford.edu/

 

[4] Res Net. https://bskyvision.com/644