현재 서버의 로그 데이터를 넣을 DB를 만들어야 하는데,
서버가 약 80여대 정도 있습니다. 각각의 서버에서는 한개의 로그가 나옵니다.
이 로그를 모아서 각 서버에 이상패턴이 나오는지를 실시간으로 분석 하려고 합니다.
하나의 스키마에 80여개의 테이블을 만들어서 저장해야 하나요?
4~5개씩 그룹으로 되어있는 서버도 있는데, 이 서버들의 데이터를 하나로 묶어야 하나요?
현재는 그룹으로 되어있는 로그는 사진에서 보이는 바와 같이 묶었는데,
데이터 분석하려고 할 때, 뭔가 불편하더라구요...
그리고 추가로 로그파일이 실시간으로 폴더에 쌓이는데, 이걸 DB에 실시간으로 저장할 수 있나요?
질문이 정신없는데, 혹시 아시는 분 계시면 답변 달아주시면 감사하겠습니다!
|
2020.04.28 20:36:32 |
| 혹시 DB설계에 대해서 잘 아시는 분 계신가요? |
| 첨부 이미지 1개 unfold_more |
 |
질문 | 3,738명이 읽었어요.
|
|
| 15개의 댓글 |
|
|
| column 을 서버 ip | 로그 값 .. 으로 하면 되지 않ㅇ르까 싶네요 | |
|
2020/04/28 21:23
|
|
|
|
| 로그양이 초당 얼마인지, 어떤 디비를 쓰시는 지 그리고 로그 사이즈가 어느 정도인지는 잘 모르겠지만, 그걸 알면 답변받는게 좀 더 쉽지 않을까 싶네요 | |
|
2020/04/28 21:24
|
|
|
|
| elk (ElasticSearch + LogStash + Kibana) 구성 알아보세요 | |
|
2020/04/28 22:28
|
|
|
|
|
RDB 로도 될것같긴 한데 뭘 분석하시려는지 정확히 알수없고 실시간이라 하시니
저도 일단은 elk 추천합니다 만약 elk 싫으시면 (mongdb or RDB) + (solr or elasticsearch) 조합도 괜찮을듯 하구요 |
|
|
2020/04/29 00:01
|
|
|
|
|
2/ 로그양은 5분에 파일 txt파일 하나씩 들어옵니다. 로그 사이즈는 몇십kb정도 될 것 같구요.
3,4/ 제가 elk를 쓸 실력이...ㅠㅠ 한 2~3일만에 배울 수 있을까요..? 그리고 elk 돈주고 써야 하는거 아닌가요? 현재구성된 내용은 서버에서 로그를 보내줌 -> DB에 입력함 -> 파이썬에서 DB를 읽어서 만들어진 모델에 넣고 분석 이 내용입니다. 서버의 트래픽을 분석하려고 합니다. |
|
|
2020/04/29 06:52
|
|
|
|
| 5// 그럼 전 몽고 디비 추천드립니더 | |
|
2020/04/29 07:05
|
|
|
|
| 5/ 설계는 어떻게 해야 하나요? 데이터 테이블 80개를 따로 만들어야 하나요? 아니면 그룹으로 묶어야 하나요? | |
|
2020/04/29 07:08
|
|
|
|
|
이런..
mongodb는 기존의 postgresql, mysql이랑 다르네요..ㅠㅠ |
|
|
2020/04/29 07:11
|
|
|
|
|
5/ elk 쉽습니다 새로 공부하시더라도 들어가는 노력에 비해 많은걸 도출할 수 있습니다
저는 데이터분석 / 마이닝 / AI 전공으로 데이터 보고 분석하고 결과내서 근거 가지고 남들 설득하는게 일인데 기술적 측면에서 elk, mongodb 도움을 많이 보고 있습니다 7/ 80개 테이블을 따로 만들던지 하나의 테이블에 몰아넣고 80개에 대한 식별 컬럼을 따로 둬서 해당 컬럼을 색인할지는 님 마음이죠 편하기는 테이블 하나에 넣는게 편해요 일단 시작부터 해 보시고 잘 안되거나 느리면 방법을 바꾸세요 그런게 좋은 경험이 되고 자신만의 노하우가 돼서 다음에 비슷한 일을 하게 될때 삽질을 줄여 줍니다 제 경험상 레코드가 짧건 길건 테이블 하나에 실시간으로 들어가는 레코드 수가 많을 수록, 누적 저장되는 레코드가 많을 수록 RDB 보다는 mongodb 가 훨씬 빨랐던(특히 입력 시) 기억이 나서 추천드린 겁니다 어찌보면 당연한 거겠죠 애초에 실시간 입출력 처리를 빠르게 하려고 나온 비정형 DB 거든요 만약 쓰시려는 테이블 간 조인을 자주 하거나, 컬럼 간 릴레이션을 맺는게 많다면 RDB를 써야겠죠 근데 그런류의 데이터는 실시간으로 많이 입력되는 경우가 거의 없습니다 8/ 쿼리가 자바스크립트라 길이가 길어지면 좀 괴랄하지만 님이 하려는 분석이 뭔지 정확히는 몰라도 인덱싱이 복잡하게 세팅될것 같진 않아서 쿼리도 짧을것 같고 조인도 안할것 같고 릴레이션도 안맺어질거라 괜찮을것 같네요 쿼리는 짧게 가고 프로그램 로직에서 처리하셔도 돼요 |
|
|
2020/04/29 08:22
|
|
|
|
| 답5에서 설명하신 하려는 일만 보면 elk로 한방에 끝나실듯 | |
|
2020/04/29 08:26
|
|
|
|
| elk 공부좀 하면 돈 안들이고 혼자서도 가능 | |
|
2020/04/29 09:02
|
|
|
|
|
아니면 이거쓰세요
https://cloud.google.com/logging/docs |
|
|
2020/04/29 12:33
|
|
|
|
| 답변 주셔서 너무 감사합니다. ㅠㅠ 시간이 얼마 없지만 열심히 해보겠습니다! | |
|
2020/04/29 12:53
|
|
|
|
| 해보시고 결과 알려주심 감사하겠습니다 궁금하네요 | |
|
2020/04/29 20:07
|
|
|
|
과연...이 글의 운명은... |
|
|
2020/05/01 23:41
|
|