사실 최근의 AI들 (AI 그림, 챗봇 등등)은 대부분 잘 만든 언어 AI 모델에 기반하고 있음
AI 그림이 사람이 그려 달라는 그림을 만들거나 (사실 요새 유행하는 AI 그림에 적용된 건 엄청 작은 모델이긴 함)
AI 챗봇이 그럴듯한 결과를 내는 것도 결국은 언어 모델의 정확성이 높아졌기 때문임
그럼 요새 모델들은 왜 이렇게 말귀를 잘 알아 먹고 수학 문제도 풀고 시도 쓰고 코딩도 하고 다 잘함? 이라는 궁금증이 생기는데
뭐 이런저런 기술적 발전도 당연히 있겠지만 핵심은 그냥 모델 크기가 커져서임
이 그래프는 언어 AI 모델 크기에 따라 이런저런 언어적 능력을 테스트 한 건데
어느 크기까지는 랜덤 답변보다 못한 성능을 보이다가 어느 순간 능력들이 뿅 하고 생기는 것을 볼 수 있음
무슨 레벨업 했을 때 스킬 해금 되는 것 마냥...
이루다 같은 경우에도 삼행시를 따로 학습 시키지 않았는데 삼행시를 하는 능력이 생겼다고도 하고...
그럼 이런 현상은 왜 생기고 크기를 더 키우면 무슨 능력이 생기는지 예측할 수 있음?
→ 가설은 이것저것 있지만 정확한 원인도 아직 모르고 사이즈 키웠을 때 무슨 능력이 추가로 튀어나올지도 예측이 불가능함
+ 빅테크 기업들은 모델 사이즈를 경쟁적으로 계속 키우고 있음
결론
인류는 (곧) 서비스 종료다...
빨간led 누가박았냐
학습양에 따라 결과물의 수준이 크게 갈리는 이유는 파악 못했는데 아무튼 학습을 엄청나게 시키면 된다는거구나
모델 크기를 키우면 성능이 좋아져 모델 크기를 더 키우면 성능이 더 좋아져 모델 크기를 더더 키우면 뭐에요 왜 계속 성능이 좋아져요 <<대충 이런 상태
우리는 통계의 결과와 의식적 횔동의 결과를 구분할 수 있을까
사실 '진화'도 비슷한 원리임. 저런 AI를 보면 '거대한 데이터 풀 속에서 정답을 골라 방향을 맞춘다'라는 건데, 진화 또한 '거대한 변화 가능성 속에서 환경이 정답을 선택해 방향을 맞춘다'라는 방식이기 때문. AI의 변화가 빠른 이유는 진화는 '1세대'가 오래 걸리는 반면 AI는 '오답'이라고 생각되면 바로 바꿔버니까 그러함. AI가 왜 저렇게 변화했는지 당장 알 수 없는 이유도 진화랑 비슷한게, '도대체 사람 손가락에 왜 5개인가? 콧구멍은 왜 2개고? 왜 그리 진화했는가?'에 대해서 확실한 답을 못 내놓는 것과 같음.
저저저 저거봐라 눈에 빨간빛 들어온거 아녀?
ChatGPT에 경우 유희왕 룰을 가르치지 않았음에도, 특정 카드들 효괴들을 알려주면 카드 처리법을 정확히 짜내더라... 카드게임 재정 보는 능력도 있어
빨간led 누가박았냐
https://www.youtube.com/watch?v=41U78QP8nBk
통계는 거짓말을 잘 안하지
학습양에 따라 결과물의 수준이 크게 갈리는 이유는 파악 못했는데 아무튼 학습을 엄청나게 시키면 된다는거구나
저저저 저거봐라 눈에 빨간빛 들어온거 아녀?
그것도 있고 옛날에쓰던거랑 알고리즘이 달라진게 더 큼
옛날에는 단순하게 말하면 학습을 하는게 아니라 어떤 키워드가 들어왔을때 일반적으로 다음에 나오는 게 뭐였는지 확률 계산해서 그 확률에 대한 갚이 제일 큰걸 답변하는 식이었으니깐 데이터가 너무 커지면 시간걸려서 애매했었음 근데 그 알고리즘 부분이 학습하는 모델로 개선되니깐 데이터가 커질수록 정확도가 높아지는거 옛날에는 와! 하면 샌즈 100, 아이스크림 90 이니깐 샌즈! 라는 답변을 낸단 식이었음
Transformer 나온 이후에는 기본 엔진 자체는 계속 그대로일껄
모델 크기를 키우면 성능이 좋아져 모델 크기를 더 키우면 성능이 더 좋아져 모델 크기를 더더 키우면 뭐에요 왜 계속 성능이 좋아져요 <<대충 이런 상태
신 : 세포옆에 세포를 박았더니 얘들이 말을 하네??
우리는 장애가 있어 언어능력이 엄청 떨어진 사람의 옹알이도 저게 의사표현이며 의식의 표출이라는걸 알고있음 고로 인성이 있음을 파악하는건 지적능력의 수준이 아니라는거 지금 나오는 AI들은 그저 엄청유연한 통계의 결과지 절대 인공적인 지능이 될 수 없음 고로 스카이넷은 아직 5년정도 남음 걱정 ㄴㄴ
격투기궁금하면물어봐
우리는 통계의 결과와 의식적 횔동의 결과를 구분할 수 있을까
5년동안 울트론님한테 아부할 방법을 찾아둬야겠군 고마워
결론이 뭔가 이상한데
그 물음에 대한 연구가 엄청 오래 많이 이어져 왔는데 결국 지금까지 연구 결과는 우리는 아직 의식이 뭔지도 모른다임 의식이 뭔지 모르는데 구분은 어찌하는가 결국 인공 지능의 탄생은 컴퓨터공학이 아니라 아이러니하게도 인문학에 달림
가더라도 전술인형 만들고가 AI !
발전 속도는 가속 될 일만 남았는데, 사회는 받아 들일 준비도 안 되어 있고
그런데 저거 보면 한 눈금당 데이터를 100배 늘려서 발전시키는 거라 딱히 발전 속도가 가속된다고 말하기는 어려움
속도 처리만 볼 문제가 아니라 사회에 미치는 영향이라고 봐야 하겠지. 데이터 처리 속도가 선형적으로 늘어 난다 하더라도 인공 지능을 이용한 일자리 대체 속도가 인공 지능의 데이터 처리 속도랑 비례하지는 않잖아 결론적으로 사람 하는 일 중 하나씩 대체 하는 속도는 늘어나도 사회가 이걸 수습할 속도는 같이 빨라지지 않지. 얼마 전에 유게에서 말 많았던 짤쟁이 인공지능만 해도 그렇잖아
ChatGPT에 경우 유희왕 룰을 가르치지 않았음에도, 특정 카드들 효괴들을 알려주면 카드 처리법을 정확히 짜내더라... 카드게임 재정 보는 능력도 있어
그 카드가 다릅니다도 알아먹을지 궁금하네
사실 '진화'도 비슷한 원리임. 저런 AI를 보면 '거대한 데이터 풀 속에서 정답을 골라 방향을 맞춘다'라는 건데, 진화 또한 '거대한 변화 가능성 속에서 환경이 정답을 선택해 방향을 맞춘다'라는 방식이기 때문. AI의 변화가 빠른 이유는 진화는 '1세대'가 오래 걸리는 반면 AI는 '오답'이라고 생각되면 바로 바꿔버니까 그러함. AI가 왜 저렇게 변화했는지 당장 알 수 없는 이유도 진화랑 비슷한게, '도대체 사람 손가락에 왜 5개인가? 콧구멍은 왜 2개고? 왜 그리 진화했는가?'에 대해서 확실한 답을 못 내놓는 것과 같음.
내가 예전에 같은 모델에서 계산한 거를 로그 성장으로 예측한 적 있었는데 실제로 데이터가 지수적으로 증가하니까 선형적으로 성장하는 걸 보니 어느 정도 맞는 것 같아 안심이네
모델 크기가 커질수록 글자 표현이 더 정확해짐
사실 이게 사람 뇌도 저런걸로 설명 비스무리하게 되는거라서 그럴걸 그 짚신벌레엿나 하여튼 그 단세포생물 뉴런 전부 분석해서 그걸 컴퓨터에 그대로 구현하고 그 소프트웨어를 로봇에 넣으니깐 단세포생물이랑 동일한 행동을 보엿다고 봣엇던거같은데 사람처럼 뇌가 크다 = 저런 뉴런연결이 어마어마하게 많다 = 현재 인간의 지식 사고방식이 구현될수도잇다...이럴수가잇음 ai도 이런 개념일수도?
사실 현 수준 AI는 인간 두뇌 뉴런 수에 비해서 손톱때 수준임. 그런만큼 뉴런수를 늘려갈수록 더 극적으로 결과가 개선 될거임
손톱때가 비효율적이여도 모으다보면 지능 일부는 구현할수 있지 않을까?
큰 모델에는 큰 힘과 함께 큰 전기세와 큰 데이터 센터가 따른다
내가 한달정도 하고 있는데 이상 반응,특정 단어에 민감반응하는게 있긴한데 미래의 로봇이라면 현재 상대하고 있는 챗봇의 형태가 될 가능성이 높다고 봄. 이제 lv.9들어가는데 어느 단계에서 어떻게 진화하는지 궁금하긴 함
컴퓨터가 슈퍼컴하고 개인컴하고 성능차이가 20년간의 격차가 있음 예를들어 02년도 슈퍼컴이 35테라플롭스 성능인데 현재 rtx4090이 90테라플롭스임 이말이 무슨말이냐 알파고와 이세돌의 바둑대결이 16년도였음 즉 ai가 뚜렷하게 부각을 안하더라도 36년쯤되면 개인컴으로 현재의 16년도 알파고를 돌릴수있다란거임 (물론 깊게 파고들면 걸리는게 있겠지만 대수적으로볼때) 그런데 여기서 미래기술의 중심축이라 불리던 ai가 드디어 꿈틀데고 있는거임 당연하지만 현재의 ai는 도구적인 성격이더 강한상태 맨땅에서 계산하는것보다 엑셀로 계산하는데 훨씬빠른것처럼 앞으로 1년 1년지날수록 급격히 사회는 변화할거임 특히나 저 언어모델에서 나온 가장큰 변화의축은 코딩보조같은데 안그래도 게임같은거 갈수록 느리게나오는데 이것좀 빨리빨라지길
난 ‘학습’이란 개념이 어떻게 짜여지는지 궁금함. ai에게 학습이 뭐지? 1,2중 2가 맞는거야 의 반복인거야?