[아이폰] 애플 인텔리전스 관련한 기술 정보

[hohuhuya]

🤖 모델 관련

- 온디바이스용 모델은 3B 수준의 작은 파운데이션 모델을 만든 뒤, 여덟가지 주요 작업에 대해 파인튜닝

- 어떤 파인튜닝 레이어를 사용할지 어댑터 모델을 사용해 동적으로 결정

- 파운데이션 모델은 16비트로 학습시킨 후 4비트로 양자화하여 사용. 파인튜닝은 LoRA 튜닝으로 2비트와 4비트 양자화를 혼합함

- Whisper, Stable diffusion, Mistral, Llama, Qwen 등의 모델을 개발자에게 기본 제공하며, 애플 실리콘(온디바이스)에서 학습 및 추론 기능을 쉽게 사용할 수 있도록 제공

- 수십가지의 보편적인 AI 모델을 개발자가 쉽게 사용할 수 있는 ML SDK 제공

💁‍♂️서버 관련

- 온디바이스로 어려운 작업은 애플의 자체 클라우드 서버를 사용해서 처리

- 클라우드는 애플 실리콘 기반의 서버를 사용하여 애플이 직접 개발하였으며, 이를 위한 전용 OS도 개발

- 개인 정보 유출을 원천 차단하기 위해 물리적인 스토리지가 아예 없고, 원격 접속도 안됨. 순수하게 모델 추론 기능만 하는 듯

- 디바이스에서 클라우드로 작업을 업로드하고 출력을 받는 모든 과정을 암호화. 애플도 볼 수 없으며 어떤 사용자의 작업이 이루어지는지도 알 수 없음

💁‍♀️ 그 외

- 사용자의 정보를 앱 엔티티로 변환해서 저장하고 RAG를 위해 사용. 개발자가 신경 쓸 필요 없이 개발자의 앱을 Siri와 자동 통합

- Xcode에 코딩 도우미 기능 통합. 이 역시 온디바이스가 기본이며, 필요시에만 애플 서버 사용

출처 : https://x.com/golbin/status/1800415871808287136

[라스트리스]

스토리지가 아예 없는 건 또 신박하네. 진짜 말 그대로 연산만 대신 해주는건가.

[아이폰14프로맥스리퍼]

시리 : 걸음마 떼는 데 10년걸렸다 ㅅㅂ 이제 누구도 나를 막을 수 없으셈

[강미윤]

명칭만 시리고 내부 모델은 다 바뀐 상태일 듯.
원래 시리는 말뭉치 구조가 엉망이라 간단한 업그레이드조차 어렵다고 함

[루리웹-0414598532]

정말 대단하긴 하네요...... 스토리지가 없는 서버라....