1	비공개 손님 … 2014-10-28 11:39:37
	웹 크롤링 하는걸 말하는거라면 로그인 후 세션 유지하면서 쭉 돌면서 갖고 오면 되겠네요.

2	비공개 손님 … 2014-10-28 13:25:32
	방법은 여러가지가 있겠지만 대부분 이런짓은 일회성이므로... http://2thet0p.tistory.com/42 파이썬으로 대충 만들어서 돌리고 치우는게 간편함

3	비공개 손님 … 2014-10-28 14:09:52
	여러가지 해 보고 있는데 다 막아놨는지 잘 안되네요 유료 금융정보데이터베이스 사이트라서 아마 막아놨을 듯... S&P Capital IQ라는 사이트 입니당... SSL 도 적용되어 있고 viewstate 요구하길래 그것도 저장해서 보내보고 했는데 잘 안되네요.

4	비공개 손님 … 2014-10-28 14:29:13
	http://www.mayukhbose.com/python/IEC/ 그런 경우엔 IE를 직접 컨트롤하는게 답이죠

5	비공개 손님 … 2014-10-28 14:31:49
	4/ 헐 이게 진짜 되나요?.. 시스템자원을 무지 먹겠지만 된다면야 -ㅁ-;;;

6	비공개 손님 … 2014-10-28 14:32:33
	들어가려고 하는 페이지에 보면 폼 메쏘드는 post고 사용자 아이디는 myLogin$myUsername에 비번은 myLogin$myPassword에 넣게 되어있습니다. 좀 이상한게 로그 인 버튼에 물려 있는 폼인데 name 필드는 myLogin$myLoginButton 로그인하려면 여기다 무슨 값을 넣어야 하는지 잘 모르겠습니다...보통 이 항목 자체가 필요 없는 거 같은데... 그리고 이 사이트는 IIS 7 돌리고 asp 로 만들어진 거 같습니다. 쿠키는 제대로 처리한 거 같은데 잘 안되서 저 버튼에 물려 있는 name이 걸립니다..value는 없고... 이걸 무시해도 되는 건지 아니면 이걸 무시해서 안되는 건지.. 4/ 일단 해보겠습니다 혹시 뭔가 아시는 게 있으면 좀 더 부탁드립니다 ㅎㅎ

7	비공개 손님 … 2014-10-28 14:33:30
	되긴 잘 되는데 IE특성상 신뢰도가 개판이라.. 일정시간이상 안되면 죽이고 재시도하고, 제대로 긁어왔나 확인하고 이런 부분에 신경좀 써주시는게 좋습니다.

8	비공개 손님 … 2014-10-28 14:41:43
	아 이거 불편한데 -ㅁ- 외국 사이트 (statexchange ) 이런데서 찾아보니까 비슷한 경우 있던데 다 쥐쥐쳤다던데... ㅁㄴㅇㄻㄴㅇㄹ

9	비공개 손님 … 2014-10-28 14:43:10
	ㅋㅋㅋ화이팅

10	비공개 손님 … 2014-10-28 14:44:18
	... 사람이 16,000 페이지를 긁는 것보다는 빠르겠져 ㅁㅇㄴㄹ

11	비공개 손님 … 2014-10-28 14:44:51
	아 시발 파이썬 문법 그지같네 (죄송합니다).. ..ㅁㄴㅇㄴㄴㅁㅇㅁㅇㄴㄹ 깔끔하면 뭐해 불편한데 ㅁㄴㅇㄹㄴ

12	비공개 손님 … 2014-10-28 14:46:05
	요런건 C#으로 해도 편한데. 비베나..

13	비공개 손님 … 2014-10-28 15:04:18
	아하 excel VBA로 하는 거나 이거나 똑같겠네요... 엑셀로하면 데이터 정리도 편하니 더 좋겠네.

14	비공개 손님 … 2014-10-28 16:43:48
	아 vba에서는 자동으로 저장하는 기능에 문제가 있어 파이썬으로 해결했습니다. 후 감사합니다! 두 분 저 잘되면 피자쏠게요 -_-;;ㅋㅋㅋㅋ

15	비공개 손님 … 2014-10-28 17:42:15
	저라면 로그인 처이브분에서 왔다갔다하는.데아터를 본다음에 쿠키기반으로 로그인하는 사이트라면 걍 쿠키.넣어서 간단하게 해결볼것같아요 쿠키말고 세션으로 로그인관리하는 대인배 사이트라면 뭐... 세션id같은 값만 얻어낼수있다면 더 쉬울것같은데

16	비공개 손님 … 2014-10-28 18:01:44
	음 뭔가 코드멍키님 ...... 말씀대로 하면 될 거 같지만 어떻게 하는지 잘 모르겠습니당..

17	비공개 손님 … 2014-10-28 19:10:15
	그리고 이 게시판이 프로그래밍 게시판임에도 불구하고 소스코드를 올릴 수 없는 거 같네여;;;

18	비공개 손님 … 2014-10-28 19:53:04
	어차피 브라우저도 HTTP 클라이언트에 불과한거니깐 HTTP 통신을 할 수 있는 거라면 뭐든 다 가능하죠. TCP/IP 80포트로 통신하는 클라를 직접 만드셔도 되고요. HTTP 통신이란건 결국 80번 포트로 약속된 대량의 텍스트를 순서대로 보내는거에 지나지 않으니까... 그리고 HTTP 프로토콜은 상태 저장이 되지 않는 통신 방식이기 때문에 로그인 같은 상태를 저장하려면 세션을 쓰건 쿠키를 쓰건 아무튼 서버와 클라이언트간에 특정된 어떤 값의 교환이 반드시 필요합니다. 알지롱같은경우는 심지어 아래처럼 아디/비번을 암호화없이 평문으로 서버에 POST 방식으로 쏘고 있고요. Request URL:http://te31.net/rgr/login_check.php Request Headers Provisional headers are shown Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8 Content-Type:application/x-www-form-urlencoded Origin:http://te31.net Referer:http://te31.net/m/main_login.php User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.104 Safari/537.36 X-DevTools-Emulate-Network-Conditions-Client-Id:79E4EEA4-C5F9-0105-B69D-0BA2A0FA52C3 Form Data s_url:%2Fm%2Fmain_login.php user_id: password: auto_login:1 x:37 y:8 group_no:1

19	비공개 손님 … 2014-10-28 19:55:09
	(댓글넘길어져서다시씀) 로그인 이후에는 Cookie:PHPSESSID=204e02d6e0c4c122f5eda8403ae8b425; __utma=188485549.1015858268.1414418839.1414418839.1414493092.2; __utmb=188485549.12.10.1414493092; __utmc=188485549; __utmz=188485549.1414418839.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); ZBSESSIONID=8e9b120d38525fd9f76ab3fc8e055e93 이런 식으로 서버에서 헤더를 주니까요, 최초 로그인할때 위와같이 통신 시도하면 서버에서 쿠키 줄테니 그거 써서 계속 통신하면 서버입장에선 이사람이 마치 로그인 한것과 다름없이 통신하는걸로 보이겠죠. HTTP 프로토콜의 원리를 알면 그다지 어려울것도 없는 내용입니다.

20	비공개 손님 … 2014-10-28 19:57:16
	저라면 해당사이트 로그인/로그아웃시 오가는 http 헤더 내용을 본다음에, wget + 쉘 스크립트로 간단하게 해결할것 같습니다.

21	비공개 손님 … 2014-10-28 23:36:07
	저라면 직접 로그인하고 ie에다가 bho 밖아서 dom 파일로 떨궈버림 iwebrowser2 쓰세여

22	비공개 손님 … 2014-10-29 02:21:02
	형님들, 이거 네2버에 좀 적용 시켜줘봐요. 블로그나 카페에 올라온 자료 좀 받게...ㅜ.ㅜ 네2버에 wget+쉘스크립트로 도전해봤는데, 쿠키가 제대로 저장 안되서 포기하고 있었는데...

23	비공개 손님 … 2014-10-29 03:18:49
	여러분 장장 18시간 투자한 덕에 Python 도 배우고 -_- COM 으로 IE 직접 콘트롤 하는 걸로 해결했습니다. 좀 신기한게 페이지에 들어간 담에 특정 링크를 눌러야 데이터가 뜨는데 이게 또 자바스크립트로 로딩 되는 거라 걍 원시적으로 5초 기다리게 한 담에 html 저장하고, 그걸 또 모은 담에 파싱해서 테이블 만드는 걸로 일단 원하는 데이터 테이블은 만들었습니다. S&P에서 알면 싫어하겠지만, 이것은 합법적인 것이니.... 쿠쿠 감사합니다. 이로써 10,000 페이지를 저장하는데 25~30시간 정도가 걸린다능.....(-_-..........프로게이머를 고용하면 더 빨리 되겠지만 비쌀테니까 ㅋㅋㅋ) 코드멍키님이 잘 설명해 주신 부분이 보통 사람들이 많이 쓰는 방법인데, 뭔가.. 이상하게 그걸 어렵게 하는 꼼수가 있는 거 같습니다. 특정 사이트만 다른 사이트에서 다 잘 되는 방법들이 안되는 경우가 많습니다. 보통 로그인 자체가 안됨... 최초 접속시 받은 헤더를 잘 유지하는 거 같은데 뭔가 안되네요. 물론 제대로 http를 다 이해한다면야 가능하겠지만, 혹시나 https 랑 그냥 http랑 다른가 싶기도 하구요. 다음 타겟은 Thomson Reuters 입니다....ㅁㄴㅇㄴㄹ 이 개새끼들 ㅁㅇㄴㅀ 지들이 만든 프로그램이excel 에서 돌아가는 COM plugin인데 부족한 기능이 있다고 해도 안 고쳐줌 전화만 상냥하게 받으면 뭐하냐 안 고쳐주는데 내가 직접 다운받겠다 이새끼들아!

24	비공개 손님 … 2014-10-29 03:19:46
	가만히 생각해보니까 wget 이면 데이터 오고가는 거 다 볼 테니까 무조건 되야하는데 -ㅁ-ㅁㄴㅇㄹㅇㅁㄴㅇㅇㄹ 안 된다는 사람이 있네 뭐지 ㅁㄴㅇㄹ?ㅁㄴㅇ?ㄹ?

25	비공개 손님 … 2014-10-29 11:09:31
	24 // 몰라, 잘 할 줄 몰라서 실패했음. 근데 이 게시물 졸 훈훈하다..

26	비공개 손님 … 2014-10-29 21:08:50
	25/ 아이디 비번 가르쳐주고 코드멍키님한테 한 번 해 보라고 해보고 싶네요. ㅋㅋㅋㅋ 왠지 잘 안되면 눈에 불을 켜고 무슨짓을 해서라도 하실 듯 ㅁㄴㅇㄹ

27	비공개 손님 … 2014-10-29 21:21:15
	26// 뭐, 코드멍키님이 못하시진 않을겁니다. 코드멍키님 말씀대로 원론적으로 따지자면 공부해서 간단한 웹브라우저 하나 만들면 되는거니까.. 그거 하는게 시간도 걸리고 해서 누가 해놓은거 있으면 좀 쉽게 쉽게 살자는 거죠 뭐...

28	비공개 손님 … 2014-10-30 15:45:45
	25/ 과제 날로 먹으려는 새퀴들 때문에 까칠한거지 원래 공돌이들 착함 IT노예들 비슷한 처지끼리 돕고 살아야져

29	비공개 손님 … 2014-10-30 21:36:25
	23 // 단순히 로딩 때문에 5초동안 기다리는 거면 이벤트로 통지 받을 수 있어여 그러면 25~30시간보다 더 빨리 받을 수 있을듯 그리고 여러개 띄우면 더 빨리 될듯해여

30	비공개 손님 … 2014-10-31 23:43:06
	http랑 https는 다르죠. https는 일단 인증서 교환부터 먼저 해야됩니다...

31	비공개 손님 … 2014-11-01 02:51:39
	아오... IEC 저거 보고 오예~ 하면서 파이썬 익히고 라이브러리 사용법 익히고 나서 블로그 자료 긁을라고 만반의 준비를 다했는데, 블로그 운영자가 자료 닫았음, 흐미,,

32	비공개 손님 … 2014-11-01 02:52:04
	29/ 아이디어 감사합니다. 짧은 지식으로 바로 구현하기는 힘들겠네여; 페이지 이동했을 때 이벤트 받는 거는 알겠는데 링크를 누른 다음에 페이지 주소가 안 바뀌면서 화면에 뿌려지는 내용만 업데이트되는 이벤트는 어떻게 통지 받는지 잘 모르겠네요. .. 여러분 이런 경우 저는 주 업무용 컴퓨터로는 다른 작업 (글쓰기/데이터)를 하고 오래된 노트북 두 대 정도로 돌려 -_-... 물리적으로 병렬처리를 합니다.. 머리 굴리는 것보다 그게 빨라서.. 아니면 시간 날 때 코드를 미리 짜 놓고 컴퓨터 랩실에 있는 수많은 -_- 컴퓨터 아이피도 다 다르겠다 12대 정도 한번에 돌려버림... 가장 신뢰성 있습니다요 -_-;;; 30/ 그렇군요.. 인증서....허허허 어렵겠네 패스 제 알지롱 인생 게시물 중에 가장 실익이 있는 것 같은데요. 오늘 대충 공부하다가 이런 것도 발견했습니다. 웹크롤링을 하면 안되는 법적인 이유를요. 싸이트에 robot.txt 열어보면 이런 내용이 나옵니다. 다 크롤링 하지 말라는 얘기인 거 같은데 저처럼 IE 직접 콘트롤 하는 방법을 쓰면 위법이 아닐 거 같고 코드멍키님처럼 너무 잘 하시면 잡혀가실 듯 ㅎㅎㅎㅎ #Default Web Spider UserAgent: * Disallow: /CapitalIQ Disallow: /CapitalIQ/dealtrack Disallow: /CapitalIQ/error Disallow: /CapitalIQ/citivision Disallow: /CapitalIQ/mp Disallow: /CapitalIQ/sclipts Disallow: /trainingondemand Disallow: /CIQDotNet/ Disallow: /aspnet_client/ Disallow: /bin/ Disallow: /config/ Disallow: /css/ Disallow: /data/ Disallow: /sclipts/ Disallow: /umbraco/ Disallow: /umbraco_client/ Disallow: /usercontrols/ Disallow: /xslt/ Disallow: /help/ Disallow: /mainnew.aspx Disallow: /MainNew/ Disallow: /HelpSideSearch-Test1.aspx Disallow: /Test.aspx Disallow: /Results.aspx Disallow: /search.aspx Disallow: /Search/ Disallow: /runway-homepage.aspx Disallow: /Runway Homepage/ Disallow: /template-search-test.aspx Disallow: /testdir.aspx Disallow: /TestDir/ Disallow: /support.aspx Disallow: /Support/

33	비공개 손님 … 2014-11-02 07:23:36
	근데 IEC 이거 물건이네...