본문

"노아쟝, 딥러닝은 어떻게 학습하는 거야?"


글꼴
-
+
100%



"음 그걸 이해하려면 먼저 퍼셉트론이 어떻게 학습하는지 알아야 해"






-"퍼셉트론? 그게 뭐야?"






"퍼셉트론(Perceptron)은 쉽게 말하면 여러 뉴런이 한줄로 세워진 거라고 보면 돼"


"기본적으로 딥러닝에서 말하는 뉴런은 생물학적 발상에서 차용한 부분이 있긴 하지만 근본적인 작동 원리는 완전히 달라"


"수식으로 퍼셉트론은 하나의 선형적인 함수가 되고, f(x) = wx+b 라고 표현할 수 있어."


"여기서 b(bias)는 일단 지금 무시하고, 사실상 우리가 배우려는 것은 w(weight), 즉 가중치야."






-"가중치를 배워야 한다는 건 알겠어. 그러면 이걸 어떻게 배운다는 거야?"






"배우려면 일단 예측한게 맞는지 틀린지부터 알아야겠지?"


"그래서 예측된 값과 참값 간의 차이를 측정하는 손실 함수(loss function)를 계산하게 돼."


"여기서부터 중요한 부분인데, 우리는 이 손실 함수를 가중치 w에 대해 미분할 거야."






-"미분? 왜 갑자기 어려운 용어를 쓰는거야?"






"자자, 걱정하지 말고."


"함수를 특정한 변수에 대해 미분하면 변수의 변화에 따라 어떻게 함수값이 바뀌는지 알 수 있어"






"간단하게 f(x)=x^2 라는 함수를 생각해 보자구."


"이 함수를 x에 대해 미분하면 f'(x)=2x라는 식으로 바뀌는 것까진 알겠지?"


"그리고 이 미분값은 원래 함수의 접선의 기울기를 나타내기도 해."


"이 미분식을 보면 x가 양수일땐 미분값이 양수, x가 음수일땐 미분값이 음수라는 사실을 알 수 있어."


"따라서, x가 양수일 때의 함수 접선들은 모두 양의 기울기를 가지고, x가 음수일 때의 함수 접선들은 모두 음의 기울기를 가진다고 말할 수 있지."






"그리고 우리는 이런 기울기 정보를 이용해서 f(x)가 최소값으로 수렴하도록 할 수도 있어."


"방법은 간단해. x에 미분값 만큼 빼면 되는 거야."


"이렇게 하면 x가 음수일 땐 x에 양수가 더해지고, x가 양수일 땐 x에 음수를 더해서 결국 0에 수렴하도록 할 수 있지."


"참고로 수식적으로 표현하면 x - μf'(x) 가 된다구."


"μ는 학습율이라고 하는 상수인데, 함수가 수렴할 수 있도록 적당히 작은 값을 넣어주면 돼."







-"아, 그러면 w에 대한 손실함수의 미분값을 이용해서 w를 바꾸는 방향을 알 수 있는 거구나!"






"바로 그거야!"


"이런 식으로 w값을 계속 반복적으로 변화시키다 보면 손실함수 값이 최소화 되는 지점으로 수렴할 수 있어."


"딥러닝도 기본적으로는 이와 같은 방법으로 모델을 학습해."


"다만 퍼셉트론의 경우에는 층이 하나밖에 없는 단순한 구조고, 딥러닝 모델은 이런 퍼셉트론이 겹겹이 쌓여있는 구조야."


"문제는 깊숙한 층에 있는 뉴런들을 학습시키려면 또다른 방법이 필요해."


"그게 바로 연쇄 법칙(chain rule)이야."






-"연쇄법칙? 그건 또 뭐야?"






"연쇄법칙은 미적분학을 배웠다면 알 수 있는 개념이야."


"y를 x에 대해 미분하려고 할 때, 우리가 바로 미분할 수 없는 경우가 간혹 생겨."


"그러데 만약 y를 u에 대해 미분한 식과 u를 x에 대해 미분한 식을 이미 알고 있다면, u를 중간에 엮으면서 결과적으로 y를 x에 대해 미분할 수 있거든."


"딥러닝 모델의 각각의 층을 하나의 변수라고 생각한다면, 마지막 층의 변수에서 첫번째 층까지 연쇄적으로 이 법칙을 이용해 미분할 수 있게 돼."






-"아~ 완벽히 이해했어."






"이 방법을 사람들은 역전파(backpropagation)라고 불러. 가장 마지막 층부터 첫번째 층까지 연쇄적으로 손실함수의 기울기를 전파하는 방법이라고 볼 수 있어."


"딥러닝 분야가 발전하면서 일반적인 퍼셉트론에서 변형된 버전인 컨벌루션 신경망(CNN)이나 순환 신경망(RNN) 같은 것들이 나왔지만, 기본적인 학습 방법은 역전파 방법에서 벗어나지 않아."






-"그렇구나! 노아쨩은 정말 대단해!"






"훗! 이쯤은 문제 없다구!"








삭제
수정
신고



댓글 31
1


BEST
댓글 이미지 입니다.
이미지를 보려면 여기를 눌러주세요.
뺰이 | 121.190.***.*** | 20.09.21 02:55
BEST
시벌 중간에 눈 돌아가는 개구리가 내 지금 심정이다 ㅋㅋㅋㅋ
빵야빵야v | 182.212.***.*** | 20.09.21 02:54
BEST
댓글 이미지 입니다.
이미지를 보려면 여기를 눌러주세요.
HotBull | 175.223.***.*** | 20.09.21 03:41
BEST
댓글 이미지 입니다.
이미지를 보려면 여기를 눌러주세요.
연금3급 매지컬포캉 | 220.120.***.*** | 20.09.21 02:53
BEST
댓글 이미지 입니다.
이미지를 보려면 여기를 눌러주세요.
뭐야... 유익하잖아 다음 화가 기다려진다
척배스 | 1.235.***.*** | 20.09.21 05:11
BEST
댓글 이미지 입니다.
이미지를 보려면 여기를 눌러주세요.

연금3급 매지컬포캉 | 220.120.***.*** | 20.09.21 02:53

음 그렇군

다이도­ | 1.222.***.*** | 20.09.21 02:54

아 완벽하게 이해했어

그냥번호-6285598117 | 117.111.***.*** | 20.09.21 02:54

대충 극한 개념하고 비슷하다고 생각하면 되는건가

INDETERMINATE | 125.132.***.*** | 20.09.21 02:54
BEST

시벌 중간에 눈 돌아가는 개구리가 내 지금 심정이다 ㅋㅋㅋㅋ

빵야빵야v | 182.212.***.*** | 20.09.21 02:54
BEST
댓글 이미지 입니다.
이미지를 보려면 여기를 눌러주세요.

뺰이 | 121.190.***.*** | 20.09.21 02:55
뺰이

아니..

스카라무슈 | 123.111.***.*** | 20.09.21 02:55
댓글 이미지 입니다.
이미지를 보려면 여기를 눌러주세요.

스카라무슈 | 123.111.***.*** | 20.09.21 02:55
댓글 이미지 입니다.
이미지를 보려면 여기를 눌러주세요.

왜서요 | 118.218.***.*** | 20.09.21 02:56

차수가 엄청 낮은 함수들은 이미 공식화 다 되어서 쉽게 가져다 쓸 수 있다구!! 아.. 학부생때 뭣도 모르고 삼각함수로 만든 측정함수 만든다 했다가 개고생하고 결과도 비참했던거 생각나네 ㅠㅠㅠㅠ

루리웹-8722856067 | 59.23.***.*** | 20.09.21 03:01
댓글 이미지 입니다.
이미지를 보려면 여기를 눌러주세요.

하타노 코코로 | 49.170.***.*** | 20.09.21 03:06

나는 무슨 말인지 전혀 모르겠지만, 혹시 누군가는 알아들을지도 모르니 일단 추천.

초록색감귤 | 117.111.***.*** | 20.09.21 03:18

노아쟝이 학부생에서 이제 석박사로 넘어가는거 같아.....

rollrooll | 1.246.***.*** | 20.09.21 03:37

이글에 추천주는 사람들은 글 다읽어는 봤음?

김찬오 | 58.103.***.*** | 20.09.21 03:38

뭔데 한달간 피똥싸면서 배운게 한눈에 바로들어오냐...

나르디엔1 | 39.7.***.*** | 20.09.21 03:39
BEST
댓글 이미지 입니다.
이미지를 보려면 여기를 눌러주세요.

HotBull | 175.223.***.*** | 20.09.21 03:41

생각보다 원리는 간단하네 물론 이 간단한 원리를 넘어 심화로 들어가면 난이도는 안드로메다로 가버리겠지만...

가나안의아나키스트 | 39.7.***.*** | 20.09.21 03:46

시벌 내가 딥러닝 공부하고있는 상태만 아니었어도 안들어오는데...

루리웹-5437961680 | 175.117.***.*** | 20.09.21 03:49
댓글 이미지 입니다.
이미지를 보려면 여기를 눌러주세요.

웃우 | 121.173.***.*** | 20.09.21 03:52

개구리가 나보다 똑똑한걸

사이버장애인 | 1.242.***.*** | 20.09.21 04:06

결국 러닝이란건 모든 정보를 다 쳐먹고 미분선으로 촤저값을 비교해서 그부분까지 대립한다음 그 값을 통해서 y값을 추론시켜 또 미분한단건가

키라 요시카게 | 124.5.***.*** | 20.09.21 04:06
댓글 이미지 입니다.
이미지를 보려면 여기를 눌러주세요.

육식염소 | 222.110.***.*** | 20.09.21 04:06

와 4학년때 배운거다

니똥꼬츄르 | 222.235.***.*** | 20.09.21 04:08
댓글 이미지 입니다.
이미지를 보려면 여기를 눌러주세요.

일하기싫은안즈 | 39.7.***.*** | 20.09.21 04:17

노아짱 시리즈중에 제일 어렵다

묘생묘사 | 112.186.***.*** | 20.09.21 04:34

드디어 이과노아쨩이 베스트에 가는군 참고로 저기서 쓰는 손실함수를 더 알아보려면 시그모이드(sigmoid)를 검색하는게 좋다

Delicious mango | 203.236.***.*** | 20.09.21 04:46
BEST
댓글 이미지 입니다.
이미지를 보려면 여기를 눌러주세요.

뭐야... 유익하잖아 다음 화가 기다려진다

척배스 | 1.235.***.*** | 20.09.21 05:11

www.aistudy.com

아1나3사2기4 | 121.145.***.*** | 20.09.21 07:03

이해는 못했지만 지식글은 ㅊㅊ

공포의_인문학 빌런 | 180.67.***.*** | 20.09.21 08:19

Gan도 설명하면 재밌을듯

루리웹-5216675034 | 219.255.***.*** | 20.09.21 08:51
루리웹-5216675034

덩어리로 해서 경찰과 위조범 모델로 설명하면 될것 같네 님이 좀해주셈

하마곰 | 59.13.***.*** | 20.09.21 09:09


1
댓글은 로그인 후 이용 가능합니다.
목록보기


위로가기
아이고난1아이고난2 | 추천 0 | 조회 22 | 날짜 16:38
Neo Venus | 추천 0 | 조회 15 | 날짜 16:37
불고기 로드 | 추천 0 | 조회 26 | 날짜 16:37
람다리리쮸 | 추천 0 | 조회 96 | 날짜 16:37
카나메마도카 | 추천 0 | 조회 72 | 날짜 16:37
ITYR | 추천 1 | 조회 73 | 날짜 16:37
anma | 추천 0 | 조회 13 | 날짜 16:37
M.O.M | 추천 2 | 조회 43 | 날짜 16:37
죽창! | 추천 1 | 조회 17 | 날짜 16:37
말랑뽀잉 | 추천 1 | 조회 24 | 날짜 16:37
레몬P | 추천 0 | 조회 67 | 날짜 16:37
변태유게이 | 추천 0 | 조회 53 | 날짜 16:37
아우취 | 추천 0 | 조회 28 | 날짜 16:37
덴드로비움[후미카P] | 추천 1 | 조회 54 | 날짜 16:36
모노크롬 메모리 | 추천 0 | 조회 41 | 날짜 16:36
혹성지기 | 추천 1 | 조회 129 | 날짜 16:36
루리웹-0874470816 | 추천 0 | 조회 25 | 날짜 16:36
마나.DLC | 추천 0 | 조회 67 | 날짜 16:36
마린카린 | 추천 0 | 조회 30 | 날짜 16:36
식충과변태는종이한장차이 | 추천 0 | 조회 27 | 날짜 16:36
케네디스 mk2 | 추천 2 | 조회 126 | 날짜 16:36
애송이부랄삭제해라 | 추천 0 | 조회 26 | 날짜 16:36
ump45한테처맞을레! | 추천 0 | 조회 29 | 날짜 16:36
파노키 | 추천 0 | 조회 146 | 날짜 16:36
타자기 성애자 | 추천 4 | 조회 85 | 날짜 16:36
아키로프 | 추천 0 | 조회 54 | 날짜 16:36
꿀라훌따 | 추천 2 | 조회 122 | 날짜 16:36
가난한자취여고생 | 추천 0 | 조회 37 | 날짜 16:35

1 2 3 4 5


글쓰기
유머 BEST
힛갤
오른쪽 BEST