크롤링 질문.

크롤링좀 만들어볼려고하는데

궁굼한점이 있읍니다.

가령 네이버, 구글 등 웹사이트 수집해달라고 직접 요청을 해야 하는데

이 경우 사측에서 수집요청온 각 사이트를 개별적으로 분석 후에 수집(튜닝이라 해야하나)하는건가요?
아님 알아서 잘~ 되게 잘~ 만든건가요? -_-;;;

웹이란게 너무 중구난방해서...

그냥 생각나는대로 만들어보려 하는데
음...

검색엔진 관련된 지식이 전무한 상태라 막히는게 많네요

질문 | 1338명이 읽었어요. 18.191.181.231

비공개 손님 … 2015-06-19 03:21:16

각 검색엔진마다 크롤링을 하는 봇들이 있어서 걔들이 주기적으로 수집하는거죠..

비공개 손님 … 2015-06-19 03:22:00

어떤목적으로 만드시는건데요?

비공개 손님 … 2015-06-19 10:22:55

수집 주체가 본인이신가요, 아니면 각 사이트 입장을 상정하신건가요?

비공개 손님 … 2015-06-19 11:15:13

각 검색엔진마다 툴이 있습니다
웹마스터 도구 같은거

비공개 손님 … 2015-06-19 19:52:07

1 // 그건 아는데, 자기 사이트 수집해달라고 등록해 온 사이트들 웹규칙이 다 다르더라구요
2 // 심심해서 만들어보는거
3 // 옙 수집 주체가 본인입니다.
4 // 툴들 말고 직접 구현해보려구용

댓글을 작성하실 수 없습니다.
(권한이 없는 회원레벨)

목록으로

△ 이전글: 혹시 웹사이트 구축하시는 분들 중에 개인정보처리 관련 메일 받아보신분 있으신가요? [5]

▽ 다음글: 하 광탈이네요... [5]

TOP arrow_upward