urllib2 모듈로 https 페이지 크롤하면 ssl 관련 오류가 계속 뜨네요 ㅜㅜ
http 페이지는 크롤이 잘되는데.. 고수님들 조언 부탁드림다..
----------------------------------------------------
ssl 오류가 나는 사이트에서 크롤링은 안하고 다른 사이트에서 하려고 합니다..!
먼저 제가 만들고자 하는 웹 크롤링의 목적은 바이러스 토탈과 같은 악성코드 샘플을 취급하는 사이트에서 악성코드들의 API 리스트들을 수집하는 것 입니다. 나중에 이런 API들을 연관분석해서 API 별 위험도를 측정해보려구요..
제가 처음에 테스트한 소스는 이렇습니다.
from urllib2 import urlopen
from bs4 import BeautifulSoup
html = urlopen( https://www.virustotal.com/ko/file/3d004ad0c8e84d60fd4a0be31d88238475d10959de44d1ce918d8c44b51e34f2/analysis/" ) #virus total open
bsObject = BeautifulSoup( html)
documentBox =bsObject.findAll("div", {"class":"expand-canvas"})
for box in documentBox:
title = box.findAll("div",{"class":"enum"})
for item in title:
print item.get_text().strip()
urllib2와 BeautifulSoup만 이용하였는데요.
일단 크롤할 대상인 바이러스 토탈 페이지 내의 태그 부분을 보면 다음과 같습니다.
<div class="expand-canvas">
<div class="enum"><a class="expand-data" href="">[+] ADVAPI32.dll</a></div>
<div class="hide">
<div class="enum">RegOpenKeyA</div>
</div>
</div>
<div class="expand-canvas">
<div class="enum"><a class="expand-data" href="">[+] KERNEL32.dll</a></div>
<div class="hide">
<div class="enum">VirtualProtect</div>
<div class="enum">LoadLibraryA</div>
<div class="enum">ExitProcess</div>
<div class="enum">GetProcAddress</div>
</div>
</div>
여기서 div 태그로 시작하는 expand-canvas를 모두 리스트 형태로 저장하기 위해서 findAll을 이용하였구요 canvas 태그안에서 enum 요소에 접근하기위해서 for문 안에서도 findAll을 이용하였습니다.
제 생각대로 프로그래밍을 했는데 왜 결과값은 안나올까요?ㅜㅜ 어디서 구문오류가 났는지 궁금하네요..
파이썬을 알게된지 얼마안되서 아직 초보입니다..ㅜ.ㅜ 조언 부탁드립니다..
질문 | 1522명이 읽었어요. 13.58.39.23
