의류 사이트에서 티셔츠 가격을 python scrapy shell 을 사용해서 좀 긁어내려는데요 (예시 링크: https://www.adidas.com/us/search?q=tshirt)

예를 들면 위 예시 링크에 아래와 같은 div class 가 있다면

<div class="gl-price-item gl-price-item--sale notranslate">$36</div>

가격 $36 을 긁어 오고 싶은데요.

scrapy shell 상에서

>>> fetch('https://www.adidas.com/us/search?q=tshirt')
2022-09-25 23:50:11 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.adidas.com/us/search?q=tshirt> (referer: None)
>>> response.css('div.gl-price-item.gl-price-item--sale.notranslate')
[]

하면 '[]' -> 이렇게 빈 배열이 리턴되는데 이거 왜 그런건가요?

scrapy 말고 다른 툴 써야 하나요?

잡담 | 2318명이 읽었어요. 18.97.9.172

 0