파이썬scrapycssselector사용해서divclass파싱하면빈배열나타나는현상
비공개
(손님)
2022.09.26 13:23:51
파이썬 scrapy css selector 사용해서 div class 파싱 하면 빈 배열 나타나는 현상...
의류 사이트에서 티셔츠 가격을 python scrapy shell 을 사용해서 좀 긁어내려는데요 (예시 링크: https://www.adidas.com/us/search?q=tshirt)

예를 들면 위 예시 링크에 아래와 같은 div class 가 있다면

<div class="gl-price-item gl-price-item--sale notranslate">$36</div>

가격 $36 을 긁어 오고 싶은데요.

scrapy shell 상에서

>>> fetch('https://www.adidas.com/us/search?q=tshirt')
2022-09-25 23:50:11 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.adidas.com/us/search?q=tshirt> (referer: None)
>>> response.css('div.gl-price-item.gl-price-item--sale.notranslate')
[]

하면 '[]' -> 이렇게 빈 배열이 리턴되는데 이거 왜 그런건가요?

scrapy 말고 다른 툴 써야 하나요? 44.222.218.145 |

잡담 | 1,236명이 읽었어요. 44.222.218.145 | | 10

레어·유머·자작 인기글
1 전 삼백 밖에 못 버는 의사입니다. 20시간 전
2 남의 노력을 깎아내리지는 마세요 15시간 전
3 우리나라가 의료 접근성이 좋다? 14시간 전
4 수능 1타 강사시점의 의사집단 행동 19시간 전
5 한국에서 의사 된 외국인 2명 12시간 전
댓글 3
1 비공개
scrapy 는 js 후처리를 하지 않습니다
요즘 거의 모든 웹사이트가 단순 html + css 조합이 아니라, 로딩 후에 js 로 동적 생성하기 때문에
selenium 같은걸로 써서 동적 사이트 js 후처리를 한 뒤에 scrapy 나 beautifl soup 으로 원하는 정보를 찾아야합니다

featch -> selenium -> scrapy 순서가 되겠습니다
2022/09/26 13:50
2 비공개
아... 감사합니다..
2022/09/26 14:02
3 비공개
예시사이트 같은 경우는 div 파싱 하지 마시고

개발자 도구 켜놓고 메시지 내역 보시면 정제된 데이터 통신 내역이 쭉 뜨니까

흐름 따라서 가면 쉽고 빠르게 데이터를 받을 수 있을 것 같습니다
2022/09/28 13:53
메뉴 목록 맨위로 로그인
TE31.COM ⓒ 2002-2024
서버 부하 12%