파이썬scrapycssselector사용해서divclass파싱하면빈배열나타나는현상
비공개 (손님)
2022.09.26 13:23:51
파이썬 scrapy css selector 사용해서 div class 파싱 하면 빈 배열 나타나는 현상...
의류 사이트에서 티셔츠 가격을 python scrapy shell 을 사용해서 좀 긁어내려는데요 (예시 링크: https://www.adidas.com/us/search?q=tshirt)

예를 들면 위 예시 링크에 아래와 같은 div class 가 있다면

<div class="gl-price-item gl-price-item--sale notranslate">$36</div>

가격 $36 을 긁어 오고 싶은데요.

scrapy shell 상에서

>>> fetch('https://www.adidas.com/us/search?q=tshirt')
2022-09-25 23:50:11 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.adidas.com/us/search?q=tshirt> (referer: None)
>>> response.css('div.gl-price-item.gl-price-item--sale.notranslate')
[]

하면 '[]' -> 이렇게 빈 배열이 리턴되는데 이거 왜 그런건가요?

scrapy 말고 다른 툴 써야 하나요?

잡담 | 2,156명이 읽었어요.

레어·유머·자작 인기글
1 타진요 에픽하이 비하인드 11시간 전
2 현재 ㅈ됐다는 캘리포니아 주민들 근황 11시간 전
3 미사 중에 "지X발광" 외친 신부님 16시간 전
3개의 댓글
1 비공개
scrapy 는 js 후처리를 하지 않습니다
요즘 거의 모든 웹사이트가 단순 html + css 조합이 아니라, 로딩 후에 js 로 동적 생성하기 때문에
selenium 같은걸로 써서 동적 사이트 js 후처리를 한 뒤에 scrapy 나 beautifl soup 으로 원하는 정보를 찾아야합니다

featch -> selenium -> scrapy 순서가 되겠습니다
2022/09/26 13:50
2 비공개
아... 감사합니다..
2022/09/26 14:02
3 비공개
예시사이트 같은 경우는 div 파싱 하지 마시고

개발자 도구 켜놓고 메시지 내역 보시면 정제된 데이터 통신 내역이 쭉 뜨니까

흐름 따라서 가면 쉽고 빠르게 데이터를 받을 수 있을 것 같습니다
2022/09/28 13:53
게시판 목록으로 돌아가기