대용량 파일처리 질문좀.

대충 700만라인에 35개의 구분자를 갖고있는 파일ㅇ ㅣ있음. 대략 사이즈는 2기가.
이중에 키값은 2개고
이 2개를 이용해서 중복제거를 한 후에 정합을 해야하는데

어떻게 해야 효율적일까여?

파일 자체를 로드시키자니 씨발 너무 리소스먹는게 비효율적이고.
(짐 구조 자체가 한 라인이 대충 2천바이트 * 700만 ㄷㄷ)

이 씨발새끼들은 디비있는거 안쓰고 왜 이렇게 하려는지 도통 이해가 안가네
쿼리까지 싹 다 만들어줫구만

질문 | 1312명이 읽었어요. 3.144.252.140

비공개 손님 … 2015-09-20 03:42:24

무슨 데이터가 700만 라인씩이나 있는겨...ㅡ.ㅡ 실무는 꽤 무서운 곳이네요.
걍 초보 답변 드리자면 값이 중복 값이 거의 없을 거 같은 열 하나 따로 뽑아 저장해서 얘네만 먼저 비교해서 중복되는게 있으면 해당 라인의 다른 열을 비교하는 거 어떤가요? (일단 "중복"이라는게 모든 열이 같은 값을 가지는 라인 2개라도 해석한 겁니다만.)

비공개 손님 … 2015-09-20 12:53:30

계속 써야하는거면 B Tree를 이용해서 구현하면 될거고...
단발성으로 마이그레이션만 하는거면 그냥 DB에 쑤셔박았다가 다시 꺼내면 될듯

비공개 손님 … 2015-09-20 12:56:14

파일 구조를 바꿀수 없는 상황이라면, 키에 해당하는 필드랑 인덱스를 해시맵에 올리고 쓰면 됩니다.

비공개 손님 … 2015-09-20 22:02:10

저도 답2랑 비슷한 생각인데 키값 조합의 길이 보고 인덱스 갯수 정한 뒤에
(심플하게는 알파벳 순서인 26개, 뭐 좀더 복잡해진다면 그 이상일수도..)

qsort 한번 한다음 같은 index 영역에 속한 자료들끼리 비교하면서 중복 걸러낼것같아요

비공개 손님 … 2015-09-20 22:08:35

아이 부끄러워....~(/-.ㅡ///) 이 나으 무식함이라닝..

2,4/ 무슨 말씀들 하시는 건지 좀 더 자세한 설명 좀 부탁드립니다.

비공개 손님 … 2015-09-20 22:54:46

5
2: B Tree 이용하면 이진트리처럼 구성하면서도 윗대가리 바꿔가니까 좀 더 효율적인데
구현 자체가 귀찮으니 요번에만 쓸거면 그냥 DB에 넣었다 빼면 DB느님이 알아서 할 거란 뜻

4: 키 자체가 두개라고 했으니, A 10자리, B 5자리면 도합 15자리
학교서 배우는 퀵소트는 숫자값 비교해서 앞뒤정렬하는데,
얘는 앞에서부터 15자리를 비교해야하니 인덱스 자체를 다시 15개로 나누면
각각의 인덱스에 대해서 쓰는 퀵소트는 배운거랑 똑같으니까 ㅇㅅㅇ

키 자체가 두 개고, 그 외의 조건이 없으면 뭐
같은 키 또 나오면 중복되는건 버리는 꼼수도 가능할듯(...)

는 제 설명이 맞는지는 모르겠읍니다 헤헤헤헿(도망)

비공개 손님 … 2015-09-20 23:28:05

B트리 위키: https://ko.wikipedia.org/wiki/B_%ED%8A%B8%EB%A6%AC

리프끼리도 일렬로 쭉 연결하는 변태같은 방식도 있음

비공개 손님 … 2015-09-20 23:58:15

좆같은새끼들은 디비에 잇는걸 왜 파일로 떨궈서 이지랄하려는지 통 이해가 안가네
고견들 감사합니다...

비공개 손님 … 2015-09-21 20:04:50

db에 넣고 돌리는 게 제일 편해여 툴도 있긴 한데 툴 설치하고 배우는 게 시간이 더 걸릴 듯

댓글을 작성하실 수 없습니다.
(권한이 없는 회원레벨)

목록으로

TOP arrow_upward