c# 고수분들에게 여쭈어봅니다.

C#에 한정적인거는 아닌거 같은데 일단 질문을...

엑셀에 있는 데이터들을 프로그램에 받아서 원하는 데이터로 가공하는 부분을 만들고있습니다.
(다른 제약회사에서 만든 바코드를 지금있는 회사에서 사용할 수 있는 형식으로 가공)
일단 개발은 끝난 상태인데
38200의 데이터를 엑셀로 가상테이블에 받아서
또 다른 가상테이블에 넣는시간만 1시간정도가 걸리는데
이걸 속도를 줄일 수 있는 방법이 있을까요?

프로그램말고 sql에서 돌릴려고 해도 일단 38200개의 데이터를 db에 넣어야 하고
sql 에서 반복문을 돌려야해서 시간차이가 많이날지도 의문이네요..

아 물론 저는 제약회사 직원이 아닌 소프트웨어 납품업체입니다 헤헤

잡담 | 1270명이 읽었어요. 3.138.135.80

비공개 손님 … 2015-05-11 10:31:00

로직을 개선하면 되겠죠... (더울때 에어컨을 틀면 시원하다는 투로)

비공개 손님 … 2015-05-11 10:33:59

최근에 겪은 문제네요.
c#의 가상머신 때문인 지는 몰라도, VB랑 동일한 방식으로 해도 느리더라구요.
방법으로, excel에서 데이터 가져오는 횟수를 줄이시면 됩니다.
range.cell[]로 하나하나 접근해 가져오지 마시고
range를 행, 열 넓게 잡아서 38200행, n열을 통째로 받으세요.
그리고 Array로 변환해서 쓰시면 됩니다.

비공개 손님 … 2015-05-11 10:37:43

데이터는 엑셀에서 한번에 가져오는데
그 이후 한줄씩 원하는 데이터로 가공을 해야되서 for문을 38200번을 타야되서 오래걸리는거 같아요.
가공이 오래걸려서... 후쉣...

비공개 손님 … 2015-05-11 10:41:04

트랜잭션단위를 레코드 한개로 잡아서 느린거아닐지

비공개 손님 … 2015-05-11 11:23:44

데이터량이 얼만진 몰라도 요즘 컴터 스펙이면 메모리에 통째로 올리는것도 가능할거같은데

비공개 손님 … 2015-05-11 11:26:39

단순 인서트 문이면 38000건이라도 금방 올라갈 텐데요...
sql loader 툴 확인해 보고 이용해 보세요

비공개 손님 … 2015-05-11 12:04:06

일단 어느부분에서 느린지 측정하는게 첫번째입니다.

엑셀에서 가져오는게 느린건지 프로세싱 하는게 느린건지 sql에 인서트하는게 느린건지
셋다 느린건지 뭘 알아야 고칠거 아녜요?

비공개 손님 … 2015-05-11 12:04:46

엑셀인줄 알고 막 최적화했더니 '이산이 아닌가벼' 하실거 아니면
로그 달든 뭘 하든 해서 측정부터 하세요.

비공개 손님 … 2015-05-11 13:42:03

1.가상테이블이 db의 뷰 같은 건가요, c#의 dataset같은 건가요?
2. 프로그램과 db의 연결 환경은요?
3. 데이터 처리 순서가 어떻게 되시나요?

비공개 손님 … 2015-05-11 13:52:05

어디에서 느린지는 정확히 인지는 하고있습니다(아는데 못고치는 병신,...)
엑셀에서 받은 데이터를 38200건을 원하는식으로 가공하는데는 느린거네요
(가공 : 받는데이터는 컬럼2개 이 2개로 만들어야 하는 컬럼 18개)....

9>
1. 네 dataset입니다.
2. mssql입니다(insert는 느리지 않습니다)
3. 엑셀에서 데이터 꺼내오고 그걸 한줄씩 원하는 데이터로 가공 -> 한줄씩 데이터셋에 쌓아두다가
for문 다돌리면 insert 한번에

가공부분이 오래걸려서 프로그램상에서 안돌리고 sql에서 돌려볼까합니다
(어차피 같은짓? 프로그램에서 for문 sql에서 커서돌려서 while문...)

비공개 손님 … 2015-05-11 15:43:41

db에서 가공하는 게 더 빠를 겁니다 병렬 처리가 가능하니까여

비공개 손님 … 2015-05-11 15:48:38

그렇군요 저거 질문 올리고 하루종일 유지보수만 하고 이제야 작업을 시작하겟네요..
db에서 while문돌려아지 룰루난나

비공개 손님 … 2015-05-11 17:18:10

조금 이해가 안되는데요
데이터가 38200 밖에 안되는데 1시간 가까이 걸리는건 이상한거 같아요
단순히 db에서 처리하느냐 마느냐가 아닌거 같아요

1. 엑셀 시트의 값은 단순한 값인가요? 수식인가요?
2. 데이터 가공이 매우 복잡하거나 데이터간에 피드백이 존재하나요?

비공개 손님 … 2015-05-11 18:05:45

13 값은 단순합니다
대신 가공이 좀 복잡하네요...
예를 들면
1503130A01000048 (01)28806560007611(21)1503131500100002
들어오는 값이 이 2개인데
앞에 값이 일련번호인데 일련번호 값을 db에 넣을때는 앞에 db에서 가져오는 값을 4개를 더해서 총 길이가 40정도 되는거로 가공하고
뒤에있는 데이터는 (21) 전후로 나누고 (21) 바로앞 값인 1의 값도 따로 저장해야 되고 (21)로 나눈 값을 2개의 컬럼에 따로 넣어줘야 하는게 1차작업이고
(2개의 컬럼으로 16개의 컬럼을 만들어줘야 하는데 저거 말고 db에서 받아온값을을 10개정도 더 넣어줍니다)

그리고 이제 (01)28806560007611(21)1503131500100002
이게 부모바코드라고 하는데 이걸 또 앞의 작업처럼 해줘야 됩니다
이걸 4번 연속하다보니 오래걸리는거 같아요

비공개 손님 … 2015-05-11 18:16:16

그정도 스트링 파싱 32800개면 요즘 PC로 5초 이상 걸리면 잘못 짠거 같으네요 ...

비공개 손님 … 2015-05-11 18:18:18

답을 알고 계시네요
엑셀로 받은 값을 파싱하는 부분을 개선햬야겠네요

비공개 손님 … 2015-05-11 18:25:21

횡단 관점으로 루프돌면서 처리를 하고 계시는데요
38천건 파싱부터 하신다든지
엑셍에서 데이터부터 다 불러온다든지 등등
종단 관점으로 관점변경시에 개선할 부분이 있는지 체크해보시기 바랍니다

이리저리 다 뜯어고쳐야 겠지만 원인을 발견해서 문데를 해결하게 되면 효과는 확실합니다

비공개 손님 … 2015-05-11 18:38:23

원인은 데이터 가공부분이 10000000000% 맞긴한데
지금 일단 db에서 while 돌리게 수정중에 있긴 합니다.
근데 38200건의 2개의 컬럼중 하나의 컬럼은 32800개 만큼있고 뒤에꺼는 40개씩 나눠서 957개있는데 이걸 가공하는데 5초라니... 죽고싶다...
닭튀기는게 정답인가요...

비공개 손님 … 2015-05-12 12:45:59

스트링 파싱에서 시간이 오래 걸리는거라면, 파싱할때 문자 하나 하나를 스트링 객체로 만들고 그걸 다시 합쳐서 문자열로 만들고 있는게 아닌지 의심되네요.
위 같은 포맷은 정규표현식 캡쳐로 처리하면 초당 몇만건씩 처리됩니다.

비공개 손님 … 2015-05-12 14:06:07

http://dametensi.net/temp/parse.cs

C# 하는 사람이 아니라서 코드는 개판입니다만...
i5-4200U에서 50만건에 3000ms정도 나오네요.
물론 실제 하는 작업은 저것보다 훨씬 많긴 하겠지만, 스트링 파싱에 오래걸린다면 객체를 잘못 이용하고 있을 가능성이 높습니다.

비공개 손님 … 2015-05-12 14:21:09

한건에 대해서 하는것은 오래걸리지 않는데
1컬럼 2컬럼 3컬럼 4컬럼

1컬럼으로는 4개의 데이터를 생성해주고 2컬럼이 있을경우 몇개의 더 데이터를 생성하고
2컬럼을 가지고 또 따로 데이터를 생성해주고
3컬럼도 1,2컬럼과 동일 4컬럼도 동일 한 작업을 합니다
박스의 개념이죠
1이 단품 2가 작은박은 3이 중박스 4가 대박스
1과 매칭과 2의 작은박스가 있으면 데이터를 생성해주고
2와 매칭된 3의 중박스가 있으면 생성하고
이렇게 하느라 오래걸리는거 같습니다.

비공개 손님 … 2015-05-12 17:10:02

자답
insert 한줄씩 가공하면서 38280 건을 하는짓은 미친짓이었고
받은 엑셀 db에 바로넣고 update로 가공하니 20초정도 걸리네요 헤헤

비공개 손님 … 2015-05-12 17:32:06

DB에서 while로 20초 걸린다면 C#으로 가공하는 시간은 그것보다 적게 걸려야 정상입니다.
MSSQL은 안드로메다에서 연산하는게 아니라 CPU에서 연산을 하는거기 때문에, 결국 가공하는 로직이 잘못 되어있는겁니다.

비공개 손님 … 2015-05-12 17:58:33

pc에서 하는 것도 충분히 빨라야 정상인데...음...

파싱하는 코드가 어떤 식인 지 확인할 필요가 있겠네요.

댓글을 작성하실 수 없습니다.
(권한이 없는 회원레벨)

목록으로

△ 이전글: 웹페이지 템플릿 만들어서 [3]

▽ 다음글: 우왕 알지롱에도 이런게 있었네여 [3]

TOP arrow_upward