프로그래밍
첫 페이지 랜덤 글 회원가입 로그인
비공개 손님 2022-09-26 13:23:51
파이썬 scrapy css selector 사용해서 div class 파싱 하면 빈 배열 나타나는 현상...

의류 사이트에서 티셔츠 가격을 python scrapy shell 을 사용해서 좀 긁어내려는데요 (예시 링크: https://www.adidas.com/us/search?q=tshirt)

예를 들면 위 예시 링크에 아래와 같은 div class 가 있다면

<div class="gl-price-item gl-price-item--sale notranslate">$36</div>

가격 $36 을 긁어 오고 싶은데요.

scrapy shell 상에서

>>> fetch('https://www.adidas.com/us/search?q=tshirt')
2022-09-25 23:50:11 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.adidas.com/us/search?q=tshirt> (referer: None)
>>> response.css('div.gl-price-item.gl-price-item--sale.notranslate')
[]

하면 '[]' -> 이렇게 빈 배열이 리턴되는데 이거 왜 그런건가요?

scrapy 말고 다른 툴 써야 하나요?

잡담 | 808명이 읽었어요. 44.200.101.84

0
1 비공개 손님 2022-09-26 13:50:40
scrapy 는 js 후처리를 하지 않습니다
요즘 거의 모든 웹사이트가 단순 html + css 조합이 아니라, 로딩 후에 js 로 동적 생성하기 때문에
selenium 같은걸로 써서 동적 사이트 js 후처리를 한 뒤에 scrapy 나 beautifl soup 으로 원하는 정보를 찾아야합니다

featch -> selenium -> scrapy 순서가 되겠습니다
2 비공개 손님 2022-09-26 14:02:57
아... 감사합니다..
3 비공개 손님 2022-09-28 13:53:49
예시사이트 같은 경우는 div 파싱 하지 마시고

개발자 도구 켜놓고 메시지 내역 보시면 정제된 데이터 통신 내역이 쭉 뜨니까

흐름 따라서 가면 쉽고 빠르게 데이터를 받을 수 있을 것 같습니다
댓글을 작성하실 수 없습니다.
(권한이 없는 회원레벨)
목록으로
△ 이전글: 혹시 sap 써본 분 계신가요? [6]
▽ 다음글: 돈주고 코딩배우는데 주특기 정하라는데 머고르죠? [12]
이용약관 | 광고/제휴 | 개인정보취급방침 | 문의/신고 | 모바일 TE31 | 서버 부하 : 15.75%
실시간 Issue 커뮤니티 TE31 [알지롱] ⓒ 2002-2023
TOP arrow_upward