AI 발전이 진짜 말도안되게 빠르고 무서운 이유(경험)
지금으로부터 10몇년 전에
내가 철학에 언어학에 심리학 공부하고
이걸로 ai 언어모델 만들던 시절임
이때는 한국어 문장 받으명 알아서 분할해서
형태소/문법단위로 잘라서 그걸 통계적으로 분석하고
특정 강제연결 텍스트는 예외처리하고
전체 문장구조가 문법을 지켰는지 체크하고
그런 식으로 한국어 언어모델을 만들고 lstm cnn이라는 방식으로 함
그때는 llm(large language model)이란 건 존재도 안하고 가상의 물건이라고들 했었지
그리고 인코딩은 으레 이렇게 하는 거였고
이때만 해도
언어 문장을 사전해석없이 해석은 절대 불가능하다 이랬음
이때 중간어 이론 같은 게 구글에서 나왔고
당시 네이버에서 이 파파고번역 연구를 ai로 하면서 학계 최선단도 찍었음
이때 한국어 문장 만들면
문법은 맞는데 내용이 엉망이었지
”하늘소의 머리카락이 검푸르게 활활 첨벙첨벙 오르내립니다“ 이럼
그래서 한국어 문장 생성이 아니라 외국어 문장을 형태소 단위로 번역하는 연구가 대부분이었지
근데 시발 내 논문을 냈는데
All you need is attention이라는 미친 논문이 나오고
이걸로 연구해번 결과가 쏟아지는데
새 이론으로 2달 건드려봤는데
채색방식 카피가 됨 엌ㅋㅋㅋㅋ 하는 고려대 발표를 봄
그냥 여기서 깨달았었음
Ai는 그냥 세대가 압도적이구나
그리고 논문이 통과된 이후에 gpt 1이 나왔지
난 학교에서 도망치듯 나와서 게임기업으로 넘어감
근데 도망친 게임업계에서
너 이전에 ai 했었지? 다시 ai해 하면서 던지더라고
핫하
근데 진짜로 ai는 10년 전 학계연구 논문쓰던 사람도
어 시발 그건 죽었다깨나도 안된다니까요? 가
2년 뒤에 싯팔 이게되네 하던 데임