AI 기업들, 로봇 배제 프로토콜 무시하고 웹사이트 스크랩
• AI 기업들이 로봇 배제 프로토콜(robots.txt)을 무시하고 웹사이트를 스크랩해 기술 훈련에 사용되는 콘텐츠를 얻고 있다는 사실이 밝혀졌습니다.
• 로이터는 AI 기업과 짝을 이뤄 라이선스 거래에 도달하는 스타트업 톨비트의 퍼블리셔들에게 보낸 편지를 보고 "(한 기업이 아닌) 여러 소스의 AI 에이전트가 사이트에서 콘텐츠를 검색하기 위해 robots.txt 프로토콜을 우회하기로 선택하고 있다"고 경고했습니다.
• 퍼플렉시티, OpenAI, 앤서픽 등의 AI 기업들이 robots.txt 신호를 우회하고 있다는 사실이 밝혀졌습니다.
• 퍼플렉스의 아라빈드 스리니바스 최고경영자(CEO)는 자신의 회사가 "로봇 배제 프로토콜을 무시한 뒤 거짓말을 하는 것이 아니다"라고 말했지만, 이 회사가 자체적으로 타사 웹 크롤러를 사용하고 있다는 사실이 밝혀졌습니다.
