[유머] 최근에 자사 AI공개한 애플 AI기술 근황

[라스트리스]

요 몇주 전에 공개된 애플 인텔리전스는 아이폰 아이패드 맥 등에서 온디바이스 AI를 처리하다가 성능 딸릴 것 같으면 애플칩으로만 구성된 서버에서 연산을 처리할 수 있는 방식으로 돌아가는데

이 방식과 동일하게 사용자 개개인이 가진 애플기기들이 동시에 같은 AI연산을 처리하는 클러스터 컴퓨팅 방식의 연산처리 기능을 개인개발자 레벨에서 구현하는 것이 시연됨.

진짜 말 그대로 사과농장 규모 늘릴수록 AI성능이 같이 올라가는 구조가 되는 셈

[루리웹-0231216220]

내가 잘 이해가 안되는데, 그러니까 김씨 이름으로 갖고있는 장비에서 동시에 연산해준다는거임? 별도의 sw없이도?

[라스트리스]

슈퍼컴퓨터라는 게 사실 하나의 존나 고성능 컴퓨터 하나 설치해놓고 쓰는 게 아니라. 고성능 HPC 노드를 수백 대 병렬연결해서 연산을 처리하는 식으로 작동하는데, 어차피 애플기기는 이제 워치부터 맥프로까지 전부 구조가 같은 칩을 공유하다보니 서로 연결된 애플기기끼리 하나의 AI연산을 나눠서 처리하는 구조가 가능한 셈이 됨.

[루리웹-0231216220]

내가 잘 이해가 안되서 그러는데 '서로 연결된 애플기기끼리' 라는게 김씨것만 이야 아니면 남의것도야?

[라스트리스]

"내 애플계정"에 연결되어 있는 주변 애플기기끼리.

[루리웹-0231216220]

오... 내가 영상렌더링할때마다 무척이나 쓰고싶던 기술인데... 곧 영상쪽에서도 자동적으로 해줄수 있겠구나...

[루리웹-7053556539]

그럼 에플스튜디오 안살것같은데
안해줄듯 ㅋㅋ

[00-,.-00]

그리드?

[소서리]

...그리드잖아?

[루리웹-1099037706]

다만 단점은 서버에 정보들이 오가기 때문에 개인정보 보안면에서 온디바이스 보다 취약할수밖에 없음 + 일러스트 생성 같은 저작권 문제도 있음.

[라스트리스]

애플의 경우 서버에 스토리지 자체가 없어서 개인정보 저장될 일이 없음. 말 그대로 연산처리할 데이터만 보내고 연산처리된 결과만 받아오는 식.

[기몐슈]

아니 설명대로면 연산 전/후 데이터 주고받을때 발생하는 통신료는 어쩌는겨..?

[라스트리스]

사용자가 가진 기기끼리 유선연결이나 무선연결로 작동하는거라 인터넷 거칠 일이 없지

[벨엔]

응 그건 너네가내야지~

[기몐슈]

지금 휴대중인 장비에 한해서만 연결하는거면 말이 되긴 하것어

[루리웹-5504711144]

어... 저게 뭐가 혁신이지?

[루리웹-0231216220]

별도의 SW없이도 OS단에서 해준다는게 혁신아닐까?

[순애NTS 조아]

내 눈에는 꽤 신기해보이는데 님이 보기엔 혁신은 아닌가봄?
대체 혁신은 어느 정도로 새로워야 혁신인가

[루리웹-7053556539]

그리드는 있던기술이니깐...

[루리웹-7053556539]

개별 노드들로이루어진 독립연산망?
그냥 채굴이랑같은구조임

[순애NTS 조아]

그리드야 이미 있는 건데 그걸 갖고 있는 휴대 기기들끼리 해대는 건 처음 생각해봐서요

[루리웹-7053556539]

저게 신기해보이면 컴퓨터쪽에 관심이 없으신거

[라스트리스]

다른 회사들은 온디바이스AI들의 성능폭이 기기 하나에 제한되어 있는데, 애플은 그냥 자기가 가지고 있는 다른 애플기기들의 성능을 땡겨와서 온디바이스AI성능을 확장할 수 있게 된 셈이지.

[루리웹-7053556539]

그야 채굴기술을 모르셔서 그런거겠죠

[웅웅우웅]

컴퓨터 쪽에 관심이 있으면서 저게 안 신기해보이면 일 안해본 잼민이인거

[루리웹-7053556539]

ㅋㅋㅋ 그리드 안써보신듯? 써보면 한대쓰는게 좋다고 느낌

[라스트리스]

일단 다른 회사는 저런 구조를 구현하는 것 자체가 많은 힘이 소모됨. 운영체제와 하드웨어를 로우레벨에서부터 혼자 다 만드는 회사가 없는 상황이고, 안드로이드폰에서 가장 많이 쓰이는 퀄컴 스냅드래곤도 NPU에 접근하려면 퀄컴에서 개발한 독자적인 라이브러리를 사용해야하는데 삼성은 이 스냅드래곤하고 엑시노스하고 이젠 디멘시티까지 섞어서 사용함. 이 서로 다른 하드웨어에서 동시에 같은 모델을 처리하기 위해 즉각적으로 리소스 분배하는 시스템을 개발하기가 쉬울지는...

[루리웹-7053556539]

x86에선 이미 많이 쓰고있어서...

[루리웹-7053556539]

그리드써보면 그냥 하이파워 한대굴리는게 좋다는거 계속느끼게되서
컴퓨팅파워가 부족한 애플이 고육지책으로 저런다고 보여질뿐임
안그래도 애플실리콘 gpu파워가 후달리는거
외장 다시 도입할려나했는데 그리드 써버리는게 좀 웃기긴한데

[라스트리스]

온디바이스AI에서 그 하이파워 고점 자체가 명확하게 정해져 있는데... 애초에 본문하고 영상 본 건 맞음?

[루리웹-7053556539]

저걸 온디바이스라고 부르는게 맞냐
온라인인데?

[라스트리스]

기본적으론 기기 내에서 처리되지만, 성능이 부족하면 같은 애플계정으로 묶인 주변의 다른 애플기기들과 연산을 분배해서 처리가 가능함. 그리고 애플실리콘으로 만든 폐쇄형 서버와도 통신해서 처리가 가능하고.

그리고 이게 일반적인 웹 기반의 AI서비스들과 차이가 발생하는 지점임. chatGPT같은 기존의 웹 기반 서비스들의 경우 사용자의 클라이언트 기기는 그냥 서버상에 정보를 올라고 서버상에서 처리된 데이터값만 받아와서 뿌려줄 뿐, 연산의 주체는 클라이언트기기가 아닌 서버에 있고, 사용자들의 정보 또한 서버에 올라가야만 하는 구조임. 그런데 애플AI의 경우엔 정보가 외부로 나가지 않음. 애플AI 서버의 경우 말 그대로 성능만 빌려주는 역할이지, 자체적인 스토리지가 없어서 정보가 저장되지 않음. 즉, AI연산의 주체는 사용자의 눈 앞에 있는 기기라는 소리.

[루리웹-7053556539]

어휴 친구야 그게 채굴풀에 사용된 기술이야

[루리웹-7053556539]

그래 뭐 저걸 온디바이스라고 부르건 어쩌건
성능만 잘나오면 되곘지
나오면 그거나보자고

[라스트리스]

그래 그걸 온디바이스AI 처리에 활용한 게 차이점이지.

[격창맨]

솔직히 말하면 님 생각보다 쉽고 그렇게 많은 힘 소모 안됨. 폰이 발매된 시점에서 어차피 그렇게 로우레벨까지 내려갈 필요가 없음.

[THEHYPE]

별도의 서버 없이 가지고 있는 온디바이스 가지고 AI 연산을 한다>이게 어려우면 애플 서버를 통해 연산을 도와준다는 거
그리고 애플 서버의 연산을 거칠 때는 사용자에게 GPT-4o 사용 여부까지 물어봄
미친 기술이긴 하네 ㄷㄷㄷ

[Raw Meat]

로컬 LM 많이 돌려본 입장에서는 별로... 결국 얼마나 방대한 사이즈의 모델을 돌리느냐가 중요한 거고, 난 그리드 컴퓨팅에 내 리소스 쓰고 싶지 않은데?

[라스트리스]

어차피 네 기기끼리만 돌아가는거.

[Raw Meat]

고급 컴 하나에 몰빵하지 않아도 된다는 점, 그리고 편의성에서 이점이 있겠군

[아일랜드산흑맥주구인네스]

그럼 주변 사람이 인공지능 기능을 쓰면 내 스마트폰 배터리가 빨리 다는거 아닌가??

[라스트리스]

내 기기끼리만.

[아일랜드산흑맥주구인네스]

오 그걸 놓쳤군요.
그럼 맥이나 아이패드가 필수겠군요...

[루리웹-7053556539]

저거 한 4대 연결했다치고 4090이길수있는지 봐야겠는데 ㅋㅋ

[루리웹-6077794039]

애플은 진짜 ai쪽에선 뒤쳐지는구나

[라스트리스]

그렇다기엔 IFEval벤치마크 등 머신러닝모델 평가지표 등에서 고득점이라 ㅋㅋㅋ

[동그라미동동]

그리드네?

[애드가드]

절대유게에서애플칭찬하면안됨

[라스트리스]

일단 제대로 아는 사람이 없으니까.