Apple이 iOS 18.2에서 Siri의 새로운 ’화면 인식 기능(Onscreen Awareness)’을 위한 API를 개발자들에게 제공하고 있다. 이 기능은 사용자가 화면에 있는 콘텐츠에 대해 질문하거나 액션을 수행할 때, Siri와 Apple Intelligence가 해당 콘텐츠를 인식하고 수행할 수 있도록 지원한다. 예를 들어, 사용자가 특정 웹사이트를 보며 Siri에게 “이 문서가 무엇에 대한 것인지 알려줘”라고 요청하면, Siri가 요약을 제공할 수 있게 된다.
현재 베타 버전에서 Siri와 ChatGPT의 통합으로 사용자는 사진이나 PDF 같은 문서에 대한 정보를 Siri에게 요청할 수 있다. Siri가 스크린샷을 캡처하고 이를 ChatGPT로 전달해 내용을 설명해 주는 방식이다. 다만, 완전한 화면 인식 기능은 2025년 봄 iOS 18.4에서 추가될 가능성이 크며, Apple은 개발자들이 이 기능에 미리 준비할 수 있도록 API를 공개한 것으로 보인다.
아직 한글로 물으면 못 알아듣고 시리한테 what is this photo로 물으면 시리가 이미지를 지피티로 보내서 알려주네
”웅이가 밥을 해주는 이미지입니다“
아직까진 지피티에서 해주는 방식이고 기사 본문은 앞으로는 온디바이스에서 자체 모델로 돌린다는 뜻
오~이게 정말 많이 활용될거 같은 기능이긴 할텐데 아무 앱에서나 다 잘 동작이 되는걸지...매우 궁금....
16시리즈는 확실히 인공지능 베타테스터구만… 17부터 제대로 써먹을 수 있을듯
??? : 으읔 애플 ai는 뒤쳐져야 되어야 하는데 ㅠㅠ
18.0에서도 그림이랑 문자랑 같이오면 에어팟에서 간단히 무슨 내용이라고 말해주는것 같던데 신기하더라고요.
챗지피티는 수학문제도 풀어주던데…