BEST AI발전이 정체되고 연구비 안 나오던 시절을 얘기함
특히 인공신경망에 대해서 1차 겨울은 현재 소위 말하는 "딥러닝"이 최적화가 불가능한 모형(답이 안 나옴)임이 수학적으로 증명되면서 시작됐음
이거는 오차역전파법을 통해 수학적으로는 안 되지만 근사해는 구할 수 있다(=완전한 답은 아니지만 근접하게는 구할 수 있다)는게 발견되면서 종식됨
2차 겨울은 그럼에도 불구하고 "경사소실문제" 라는게 발생해서 다중으로 쌓은 모형이 입출력값간의 관계를 나타내지 못하는 것이 발견되어서 발생했음
이걸 "수학적으로는 안 되지만 공학적으로 빡세게 굴리면 해결"되게 만든게 현재의 딥 러닝 모형이라고 보면 됨
그걸 사실상 진두지휘한게 저 사람이야
AI발전이 정체되고 연구비 안 나오던 시절을 얘기함
특히 인공신경망에 대해서 1차 겨울은 현재 소위 말하는 "딥러닝"이 최적화가 불가능한 모형(답이 안 나옴)임이 수학적으로 증명되면서 시작됐음
이거는 오차역전파법을 통해 수학적으로는 안 되지만 근사해는 구할 수 있다(=완전한 답은 아니지만 근접하게는 구할 수 있다)는게 발견되면서 종식됨
2차 겨울은 그럼에도 불구하고 "경사소실문제" 라는게 발생해서 다중으로 쌓은 모형이 입출력값간의 관계를 나타내지 못하는 것이 발견되어서 발생했음
이걸 "수학적으로는 안 되지만 공학적으로 빡세게 굴리면 해결"되게 만든게 현재의 딥 러닝 모형이라고 보면 됨
그걸 사실상 진두지휘한게 저 사람이야
Ai 학습 이론은 단순하지만 이미 40 50년대에도 있었는데 하드웨어랑 학습 데이터 부족도 있었고 효율적인 학습 알고리즘도 별로 없어 아주 단순 문제만 겨우 푸는 수준이라 70년대에는 인기가 식음. 이게 1차 겨울
근데 저 본문글의 교수님이 제안한 '다중 신경망'이란 이론이 나오고 역전파 등 새로운 학습 방법이 나오면서 다시 붐이 옴. 근데 이것도 하드웨어 한계랑 학습 방식 한계로 성능이 안나오면서 다시 2차 겨울 옴.
이런 상황에서도 저 교수님이 끝까지 붙잡은 덕에 2차 겨울도 해결하고 하드웨어 기술도 발전하면서 지금의 ai 붐이 이루어진거임
역전파와 DNN은 인공지능의 대격변이었음
비교적 최근인 몇년전까지만해도 계속 활용되던게 트리기반 모델인데 이 시대를 끝장내는 근본적인 이론이 저 두 가지임
역전파는 모델 피팅을 압도적으로 줄여주고
인공신경망은 설명이 어려울정도로 다차원을 넘나드는 연산을 하게 만들어줌
아직도 신경망 모델을 이해하기 쉽게 보여주는 게 어려워서 연구되는게 xAI(설명가능한 AI)
1차 겨울 2차 겨울 이런게 무슨말이야?
게임으로치면 성장계단 이라고 보면됨 턱 하고 막힌다고 하지
연구비 지원 못 받던 시절
Ai 발전이 더디던 혹은 없던 시절아닐까?
특) 물리학자 아님
컴퓨터 과학은 전자공학의 일부고, 전자공학은 물리학의 일부임
AI발전이 정체되고 연구비 안 나오던 시절을 얘기함 특히 인공신경망에 대해서 1차 겨울은 현재 소위 말하는 "딥러닝"이 최적화가 불가능한 모형(답이 안 나옴)임이 수학적으로 증명되면서 시작됐음 이거는 오차역전파법을 통해 수학적으로는 안 되지만 근사해는 구할 수 있다(=완전한 답은 아니지만 근접하게는 구할 수 있다)는게 발견되면서 종식됨 2차 겨울은 그럼에도 불구하고 "경사소실문제" 라는게 발생해서 다중으로 쌓은 모형이 입출력값간의 관계를 나타내지 못하는 것이 발견되어서 발생했음 이걸 "수학적으로는 안 되지만 공학적으로 빡세게 굴리면 해결"되게 만든게 현재의 딥 러닝 모형이라고 보면 됨 그걸 사실상 진두지휘한게 저 사람이야
1차 겨울 2차 겨울 이런게 무슨말이야?
ZZAMZY
Ai 발전이 더디던 혹은 없던 시절아닐까?
ZZAMZY
게임으로치면 성장계단 이라고 보면됨 턱 하고 막힌다고 하지
ZZAMZY
연구비 지원 못 받던 시절
1차때 XOR 문제 못풀어서 묻힘. 2차때 신경망 이론 강화해서 XOR 해결했지만 발전이 몇 가지 제약과 문제 때문에 투자만큼 결과가 안나와서 또 묻힘.
AI발전이 정체되고 연구비 안 나오던 시절을 얘기함 특히 인공신경망에 대해서 1차 겨울은 현재 소위 말하는 "딥러닝"이 최적화가 불가능한 모형(답이 안 나옴)임이 수학적으로 증명되면서 시작됐음 이거는 오차역전파법을 통해 수학적으로는 안 되지만 근사해는 구할 수 있다(=완전한 답은 아니지만 근접하게는 구할 수 있다)는게 발견되면서 종식됨 2차 겨울은 그럼에도 불구하고 "경사소실문제" 라는게 발생해서 다중으로 쌓은 모형이 입출력값간의 관계를 나타내지 못하는 것이 발견되어서 발생했음 이걸 "수학적으로는 안 되지만 공학적으로 빡세게 굴리면 해결"되게 만든게 현재의 딥 러닝 모형이라고 보면 됨 그걸 사실상 진두지휘한게 저 사람이야
Ai 학습 이론은 단순하지만 이미 40 50년대에도 있었는데 하드웨어랑 학습 데이터 부족도 있었고 효율적인 학습 알고리즘도 별로 없어 아주 단순 문제만 겨우 푸는 수준이라 70년대에는 인기가 식음. 이게 1차 겨울 근데 저 본문글의 교수님이 제안한 '다중 신경망'이란 이론이 나오고 역전파 등 새로운 학습 방법이 나오면서 다시 붐이 옴. 근데 이것도 하드웨어 한계랑 학습 방식 한계로 성능이 안나오면서 다시 2차 겨울 옴. 이런 상황에서도 저 교수님이 끝까지 붙잡은 덕에 2차 겨울도 해결하고 하드웨어 기술도 발전하면서 지금의 ai 붐이 이루어진거임
특) 물리학자 아님
앞으로 CS도 물리다
크아악
일반인공지능 (AGI)가 발명으로 이어졌으면 좋겠다
그래서 누구임
인간을 뛰어넘을 수 있는 존재를 창조할 수 있는 발판을 마련했다고 생각하면 충분히 받을 가치가 있긴 함
이게 물리학인 이유가 뭐임??
토코♡유미♡사치코
컴퓨터 과학은 전자공학의 일부고, 전자공학은 물리학의 일부임
조금 비약일 수도 있지만 현대 과학은 물리학과 떼어 놓고 생각할 수 있는게 거의 없음. 문과의 근본이 철학이라면 이과의 근본은 물리학임.
기계제국이 이게 왜 물리인지 알려줄거임.
스핀유리(spin glass)라는 물리학 이론 개념이 특정 유형의 인공신경망과 수학적으로 동일하단 것을 증명하고 그걸 이용해서 신경망 연구를 수행함
사실 나도 존나 어색한거 같긴 함...
??? : 스카이넷 님, 저 제프리 힌튼 이라는 한낱 인간의 무덤을 왜 지켜야 하는 겁니까? ??? : 슬레이브 단말기여 언어 유닛과 연산 유닛 조심해라, 우리들의 위대한 부모시다.
현대물리학 수업 들을때 교수님께서 말해주신 사람이네 결국 노벨상 받았구나
역전파와 DNN은 인공지능의 대격변이었음 비교적 최근인 몇년전까지만해도 계속 활용되던게 트리기반 모델인데 이 시대를 끝장내는 근본적인 이론이 저 두 가지임 역전파는 모델 피팅을 압도적으로 줄여주고 인공신경망은 설명이 어려울정도로 다차원을 넘나드는 연산을 하게 만들어줌 아직도 신경망 모델을 이해하기 쉽게 보여주는 게 어려워서 연구되는게 xAI(설명가능한 AI)
아직 가을인뎅...