#crawling (1 Posts)
-
내용 퍼 가지 말라는데...여전히 '크롤링' 포기 않는 AI 기업들 인공지능(AI) 챗봇에 궁금한 점을 물어보면, 챗봇은 먼저 온라인으로 관련 내용을 검색한다. 검색 결과가 어느 정도 모이면 도움 될 만한 내용을 추출해 정리하고 사용자에게 답변을 돌려준다. 이때 사용되는 대표적인 기술로 '크롤링(Crawling)'이 있다. 웹사이트를 돌아다니며 원하는 내용을 수집하는 기술로 1994년 상용화됐다. 크롤링에 사용하는 소프트웨어를 '크롤러'라고 부르는데, 서버 부담을 줄이고 웹사이트에서 필요한 내용을 얻기 용이해 검색 관련 기술을 제공하는 기업체는 대부분 크롤러를 사용한다. 그러나 모든 웹사이트가 정보를 흔쾌히 내주진 않는다. 유료 콘텐츠를 취급하거나 외부에 알려지기를 꺼리.......
댓글 많은 뉴스