#크롤링 (2 Posts)
-
애플 인텔리전스 개발에 빨간불 들어왔다 인공지능 시스템을 훈련하기 위해 온라인에 있는 다양한 콘텐츠가 스크래핑된다. 애플에서도 마찬가지다. 애플도 자사 웹 크롤러인 애플봇(AppleBot)을 이용해 온라인 데이터를 수집하고 있다. 이렇게 수집된 데이터는 음성인식 서비스 시리(Siri)와 데스크톱 검색 기능인 스포트라이트(Spotlight)를 개선하는 데 사용됐다. 하지만 시리나 스포트라이트, 사파리 기능을 향상하는 목적으로만 데이터를 수집한다는 애플봇의 당초 목표는 확장됐다. 최근에는 애플의 첫 인공지능(AI) 시스템인 애플 인텔리전스(Apple Intelligence) 훈련에 수집된 데이터를 활용 중이다. 하지만 인터넷에 있는 데이터를 마음대로 스크래핑해 인공지능 학습에 사용하....... -
내용 퍼 가지 말라는데...여전히 '크롤링' 포기 않는 AI 기업들 인공지능(AI) 챗봇에 궁금한 점을 물어보면, 챗봇은 먼저 온라인으로 관련 내용을 검색한다. 검색 결과가 어느 정도 모이면 도움 될 만한 내용을 추출해 정리하고 사용자에게 답변을 돌려준다. 이때 사용되는 대표적인 기술로 '크롤링(Crawling)'이 있다. 웹사이트를 돌아다니며 원하는 내용을 수집하는 기술로 1994년 상용화됐다. 크롤링에 사용하는 소프트웨어를 '크롤러'라고 부르는데, 서버 부담을 줄이고 웹사이트에서 필요한 내용을 얻기 용이해 검색 관련 기술을 제공하는 기업체는 대부분 크롤러를 사용한다. 그러나 모든 웹사이트가 정보를 흔쾌히 내주진 않는다. 유료 콘텐츠를 취급하거나 외부에 알려지기를 꺼리.......
댓글 많은 뉴스