그중 DB가 가장 부족한 과목이거든요. SQL 언어가 너무 못생겨서..
딥러닝하려고 열심히 크롤링하고, DB에 넣고 이제 빼내서 가공해서 트레이닝시키는데
2가지 문제가 좀 걸리더라구요. 아주 기초적인건데요.
1. MongoDB READ 너무 너무 느린거같다 (사실 동량의 rows를 RDBMS(e.g., mysql)에 넣어서 테스트해본적은 없음 ㅋ 그냥 넘느려서..)
2. Python 메모리 진짜 너무 많이 먹는다.
위 문제에 대한 후로그래머, 아 아니 교촌치킨 체인점 사장님들의 조언을 구합니ㄷr,,
=========================
1. MONGODB READ ISSUE
=========================
SUMMARY
-------------------------
READ는 초당 1천개미만, 심지어 100rows/sec 미만일때도..
WRITE는 초당 2천개 언저리.
현시대 DB의 한계인가, MongoDB config 문제인가!
=========================
140만개정도 rows 이구요. 하나당 int나 string 짧은거들로 아마 중첩된구조 몇개해서 총 attribute가 아마 150개는 될거에요.
140만개해서 아마 4GB였나... 400MB였나 그렇게 엄청 무겁진않았어요.
그런데 이걸 전체 READ하니까 몇분이걸려버리더라구요?
python코드로 matches = [m for m in db.matches.find({})] 한거거든요
물론 index도 막 몇가지 더 걸어주고.. _id는 당연히 애초에 걸려있구..
reindex도 해주고했는데..
cursor가 batch_size만큼 가져오고 또 그다음 skip해서 가져오고 뭐 이런 느낌의 방식으로
작업을 하는데... 이게 index가 뒤로가면 갈수록... 한번가져오는데 1s 가까이 걸리더라구요?
batch_size를 늘려서 해결될문제가 아닐거같아서..
HDD에다가 data위치를 두었는데요, 작업관리자(윈도우환경이었음) 보니까
초당 3m/s 였나 정도 가져오던데, 이게 SSD로 바꿔도 크게 높아지진 않아요.
초당 3m/s도 HDD문제가아니고 mongod가 그렇게 일하는거같아요.
WRITE할때는 초당 2천개정도씩 잘 넣더라구요.
제가 궁금한건, 이게 제가 DB, 특히 MongoDB를 다루는데 미숙해서 그런 건가요? configuration으로 극복가능한가요?
혹은 원래 DB자체가 WRITE는초당 2천개 READ는 초당 1천개 미만속도인게 정상인건가요?
=========================
2. python memory
=========================
SUMMARY
-------------------------
python variables' metadata are too much 시바 ㄹ 투머치투머치
4GB -> 12GB가 되는 MAGIC. (MongoDB서 load한 data)
lazy load 방식말고.. 다른 방안있나?
혹 단순 python의 한계인가..
=========================
python은 모든게 객체다보니까 단순히 int같은거나 list저장해도 metadata가 있잖아요?
근데 이게 씨-발 mongodb에서 find로 다읽어오니까
element하나하나에.. attribute라고해야하나, documentation의 모든 attr에 하나하나에
meta data가 있어서.. 씨발 용량이.. 4GB (혹 400mb) 정도 하던게 12GB까지 뻥튀기 되더라구요?
sys.getsizeof 를 써서 구했던건데요,
arr = [x for x in db.data.find({})]
sys.getsizeof(arr)
이지랄해도안나오고
sys.getsizeof(arr) + sys.getsizeof(arr[0]) + sys.getsizeof(arr[0]['attr1'])
이런식으로 다 뒤져서 해줘야함요.. 그래야지 실제 python process가 점유하고있는 memory하고 같은 수치가 나오더라구요
이거보고 든 생각이
아씨발 진짜 파이썬 개 좆같은새끼라는 말이 튀어나오더라구요
Java처럼 원시형있었음좋겟다는 생각도 들고.
그래서 저는 저만의 workaround로
일단 metadata없을수있도록 다시 pre process 해서 좀 가볍게 옮겨놨어요
여기서 궁금한게,
python만 이런건가요? 다른언어할시간이 없네요 (군인이라 ㅠㅠ)
python으로 이런 큰 데이터 다루시는분들은 메모리관리어떻게하시나요?
그때그때 필요한 batch만 db에서 긁어와서 하기에는 애초에 그게 그시간이라서.
필요할때 긁어오고 글겅온건 cache하는 스마트한 cursor가 지원되면 좋겠지만 그렇진않나보더라구요. mongod 자체의 LRU 캐시밖에업슨듯
저에게 조언해주실 팁같은거 있으신가요 .. 파이썬버릴까요 딥러닝은왜 다 파이썬에서하는거야 정말..
긴글읽어주셔서감사합니다. 부족한 환경속에서도 최선을다해 공부하고 있으니 가엾게봐주셔서 좋은 답변 부탁드리겟읍니다 꾸-벅
잡담 | 1682명이 읽었어요. 3.142.198.129
