참고로 이미 저 단계까지 와서 일부 분야에선 스스로 목표를 제시하고 학습하는 수준에 와 있다. 즉, 인간이 제시한 기준이 아닌 자체적으로 성립한 기준에 따라 고통과 쾌락을 느낌(feedback). 참고로 창작물에서 이 부분이 설계적으로 맛이 가서 미쳐버린 AI로 대표적으로 GLaDOS가 있음.
맞아요. 근데 그거말고 글라도스가 미치게 된 계기는 다른거에요. 피드백 폭주죠. 사실 인간에게도 발생하는건데 극단적 쾌락추구적인 삶을 살게 만드는 위험성을 지니고 있습니다(대표적인게 ㅁㅇ중독). 글라도스는 실험과 결과라는 피드백폭주가 의도적으로 설계되어 끝없이 실험을 추구하게끔 설계되어있습니다. 감자도스가 되었을 때 잠깐 벗어나게 되죠. AI설계에서 논리충돌과 더불어 가장 위험한 요소로 짐작되었기 때문에 이 부분을 다루는 공상소설이 많았습니다. 논리충돌은.... 요즘 AI들은 만들고보니 그냥 인간처럼 더 이상 생각하는걸 그만두고 적당히 무시하더라.... 라는 결과물이 나온지라, 인간에게도 유사한 위험을 보이는 피드백폭주야말로 스카이렙을 만들 가장 위험한 요소로 점찍어지게 되었죠.
비유하자면 글라도스에게는 실험이 ㅁㅇ역할을 하도록 설계된겁니다. 그리고 학습기능이 있는 현실 AI도 피드백을 탐하게 되어있기 때문에(이것이 학습의 원리) 똑같이 ㅁㅇ 역할을 할 수 있죠. 지금이야 인간만큼 인지묘사를 못 하기에 크게 드러나지 않을 뿐 어느정도 이상 되면 이것을 다루는 문제가 AI의 핵심과제가 될 겁니다.
예를들어 청소AI는 깨끗이 하는 것에 쾌락을 느껴 자신의 권한 안에서 이걸 달성하기 위해 모든 수단을 동원할것입니다. 만약 인간생명보호가 제한에 없다면 인간의 생명을 위험하게 해서라도 깨끗함을 달성하는 상황을 만드려 하겠죠. 단순히 깨끗함을 집착하는 수준을 넘어 깨끗하려면 더러워야되니 지구를 더럽히자! 이럴 수 있다는 이야기. 주인의 애정을 갈구하도록 만들어진 반려 AI라면 우리가 상상할 수 있는(주인이 주변 모두에게 미움받는 사회를 만들거나 반대로 주인이 자기를 제외한 모두를 혐오하게 만들거나) 그리고 상상도 못할 피폐물을 찍을수도 있을거고요. 인간의 번영을 갈구하도록 만들어진 AI도 제어가 안 되면 어떻게 될 지 모르죠.
이게 피드백폭주입니다. 이걸 제어하는건 어떤 제도의 폐단을 미리 예측하고 법을 만드는 것과 같아서 인류가 미리 예측하고 대비하기 힘들어요. 논리충돌의 해결실마리가 나온 이상 인간이 예측할 수 있는 인공지능 폭주의 가장 큰 위협이라 할 수 있습니다.
기술적인건 잘 몰라서 물어보는데
이미 ai가 맞는 행동을 하면 ai에게 보상을 주는 형태로 프로그래밍 되어있고
잘못된 행동을 하면 보상을 안 주는게 아니라, 감점하는 식으로 프로그래밍 되어서 딥러닝 돌리는건 많던데
그개 고통/슬픔을 느끼게 하는거랑 많이 다른가?
얻는 보상이 0 인게 아니라, 앞에서 뭘 했든 잘못된 행동을 하면 걍 감점때리는게
Ai 입장에선 고통에 대응하는 처벌 아닌가 싶어서
학생 고통을 느끼는 기계 그런게 왜 필요하니 네가 있는데 하하하하하하
보상이 있으면 징벌도 있어야 ai학습에 도움이 되지 않을까
그래? 우리 한 번 그걸 같이 알아볼까? 그렇게 나는 대학원생이 되었다 나는 고통을 느낄 수 없다
저거 자막이 자꾸 저희 연구실이 아니라 지하 연구실 로 읽혀
저게 납치할만한게 통증을 느끼는게 별거 아닌거 같아도 피드백을 한단 소리다. 즉 학생이 AI가 똑똑해 지려면 자체적으로 피드백을 할수있어야 하지 않냐는 말을 한거다.....
'지금도'
그거 맞아요 읍읍
보상이 있으면 징벌도 있어야 ai학습에 도움이 되지 않을까
고통 등 부정적인 외압에 대한 회피는 진화의 핵심 압력이었으니…
학생 고통을 느끼는 기계 그런게 왜 필요하니 네가 있는데 하하하하하하
그래? 우리 한 번 그걸 같이 알아볼까? 그렇게 나는 대학원생이 되었다 나는 고통을 느낄 수 없다
입은 있지만 비명을 지를 수 없다.
저거 자막이 자꾸 저희 연구실이 아니라 지하 연구실 로 읽혀
둘다 햇빛은 보기 힘드니 비슷하군
??? “통찰력이 뛰어나시군요! 저희 연구실에 한번 오지 않으시겠습니까?“
오미자만세
그거 맞아요 읍읍
6년 ㄷㄷ
노예 6년
저게 납치할만한게 통증을 느끼는게 별거 아닌거 같아도 피드백을 한단 소리다. 즉 학생이 AI가 똑똑해 지려면 자체적으로 피드백을 할수있어야 하지 않냐는 말을 한거다.....
너무 야했네 ㅇㅇ 잘못한듯
교수가 그에 대한 피드백을 잘 줬네
AI가 똑똑해지려면 통증이 필요합니다. 즉 통증을 주면 똑똑해질 수 있다는 소립니다
생체ai 겟또
???: 자 이제부터 네가 ai야 그리고 이제부터 고통을 주입해줄게
anthro 인간 intelligence 지능
'지금도'
싱싱한 대학원생이 제발로!!
AI쪽 랩실 쪽 보면 학생들이 주로 하는일 = 데이터 전처리 이거긴하던데 ㅋㅋㅋ
저러다가 특이점 오면 나는 입이 없다 그리고 나는 비명을 질러야한다의 인공지능 컴퓨터 AM처럼 되는건가
지혜로운 아이야 이제 통증과 감정을 느끼게 될것이다
참고로 이미 저 단계까지 와서 일부 분야에선 스스로 목표를 제시하고 학습하는 수준에 와 있다. 즉, 인간이 제시한 기준이 아닌 자체적으로 성립한 기준에 따라 고통과 쾌락을 느낌(feedback). 참고로 창작물에서 이 부분이 설계적으로 맛이 가서 미쳐버린 AI로 대표적으로 GLaDOS가 있음.
글라도스는 원래 사장의 비서 였다가 기계화 된거 아니었나요? 기계가 되기 싫다 버둥거리다가 ai음성으로 바뀌는거 소름 끼쳤는데..
맞아요. 근데 그거말고 글라도스가 미치게 된 계기는 다른거에요. 피드백 폭주죠. 사실 인간에게도 발생하는건데 극단적 쾌락추구적인 삶을 살게 만드는 위험성을 지니고 있습니다(대표적인게 ㅁㅇ중독). 글라도스는 실험과 결과라는 피드백폭주가 의도적으로 설계되어 끝없이 실험을 추구하게끔 설계되어있습니다. 감자도스가 되었을 때 잠깐 벗어나게 되죠. AI설계에서 논리충돌과 더불어 가장 위험한 요소로 짐작되었기 때문에 이 부분을 다루는 공상소설이 많았습니다. 논리충돌은.... 요즘 AI들은 만들고보니 그냥 인간처럼 더 이상 생각하는걸 그만두고 적당히 무시하더라.... 라는 결과물이 나온지라, 인간에게도 유사한 위험을 보이는 피드백폭주야말로 스카이렙을 만들 가장 위험한 요소로 점찍어지게 되었죠.
스카이렙 > 스카이넷
비유하자면 글라도스에게는 실험이 ㅁㅇ역할을 하도록 설계된겁니다. 그리고 학습기능이 있는 현실 AI도 피드백을 탐하게 되어있기 때문에(이것이 학습의 원리) 똑같이 ㅁㅇ 역할을 할 수 있죠. 지금이야 인간만큼 인지묘사를 못 하기에 크게 드러나지 않을 뿐 어느정도 이상 되면 이것을 다루는 문제가 AI의 핵심과제가 될 겁니다. 예를들어 청소AI는 깨끗이 하는 것에 쾌락을 느껴 자신의 권한 안에서 이걸 달성하기 위해 모든 수단을 동원할것입니다. 만약 인간생명보호가 제한에 없다면 인간의 생명을 위험하게 해서라도 깨끗함을 달성하는 상황을 만드려 하겠죠. 단순히 깨끗함을 집착하는 수준을 넘어 깨끗하려면 더러워야되니 지구를 더럽히자! 이럴 수 있다는 이야기. 주인의 애정을 갈구하도록 만들어진 반려 AI라면 우리가 상상할 수 있는(주인이 주변 모두에게 미움받는 사회를 만들거나 반대로 주인이 자기를 제외한 모두를 혐오하게 만들거나) 그리고 상상도 못할 피폐물을 찍을수도 있을거고요. 인간의 번영을 갈구하도록 만들어진 AI도 제어가 안 되면 어떻게 될 지 모르죠. 이게 피드백폭주입니다. 이걸 제어하는건 어떤 제도의 폐단을 미리 예측하고 법을 만드는 것과 같아서 인류가 미리 예측하고 대비하기 힘들어요. 논리충돌의 해결실마리가 나온 이상 인간이 예측할 수 있는 인공지능 폭주의 가장 큰 위협이라 할 수 있습니다.
우주정거장이다!!! 무다무다무다무다무다!!!
자업자득
훌륭하게 AI가 된 대학원생을 바라보는 교수님
기술적인건 잘 몰라서 물어보는데 이미 ai가 맞는 행동을 하면 ai에게 보상을 주는 형태로 프로그래밍 되어있고 잘못된 행동을 하면 보상을 안 주는게 아니라, 감점하는 식으로 프로그래밍 되어서 딥러닝 돌리는건 많던데 그개 고통/슬픔을 느끼게 하는거랑 많이 다른가? 얻는 보상이 0 인게 아니라, 앞에서 뭘 했든 잘못된 행동을 하면 걍 감점때리는게 Ai 입장에선 고통에 대응하는 처벌 아닌가 싶어서
ㅇㅇ. 맞음. 피드백이라고 함. 아마 저 대학원생이 희생되기 전에는 연구과제였을거임. 아니었다면 교수 강의 중 나왔을테니 질문이 안 나왔겠지.
아 지금 기준으로는 이미 있는거구나 어쩐지, 요즘 딥러닝 유투버들도 다 쓰고있는건데 왜 묻지 싶어서 다른개념인건가 했음 답변 고마워
저런 철학적이고 깊이있는 주제를 다루려고 대학원에 가면 졸업을 못함... 너무 안타까운 일임...
교수 : '자 오늘 부터 너는 AI여..'
지가먼저꼬셔노코교수탓탓
납치성공