(주)데이터엔지니어스랩
Blog

StreamSets 이용하여 빅데이터 Pipeline 실시간으로 처리하기.

by 젤리즈 posted Feb 18, 2020
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄

부제: Working with Pipeline with StreamSets.

 

안녕하세요.

디랩 기술본부 입니다.

오늘은 현재 빅데이터 세상에서 많이들 사용하는 데이터 파이프라인(Pipeline) S/W 에 대해  소개하고,

회사에서 관련 기술을 어떻게 활용하고 있는지 포스팅 합니다.

 

파이프 라인(Pipeline) 이 뭐죠?”

 

데이터 관련 프로젝트를 진행 하다 보면 간혹 위와 같은 질문을 받곤 합니다.

분명 알고 있긴 한데……어떻게 설명하는 게 좋을까?

어떤 식으로 이야길 해야 쉽게 이해가 될까..

 

항상 많은 고민을 하게 됩니다.

 

그럴 때 마다 도달하게 되는 결론은 가능한 쉽게 이야기하는 것이 서로간에 좋다는 겁니다.

 

우선 아래 그림을 한번 볼까요?

 

pipeline01

 

현실 세계의 Pipeline 들은 위 그림처럼 주로 핵심 원료의 주 이동수단으로 많이들 쓰입니다.

 

데이터 세상에서 Pipeline 은 집 에서 흔히 사용하는 수돗물 인프라 와 비슷한 시스템이라고 보시면 될 것 같습니다.

 

우리가 집에서 수돗물을 사용하기 위해서는 아래처럼,

  1. 물이 있는 수원지(Origin)가 존재해야 하고,
  2. 수원지에서 물을 끌어온 후 정수(Process)과정을 거쳐,
  3. 최종 사용자인 집(Destination)에서 사용 하듯이,

데이터도 마찬가지로

  1. 원 데이터가 있는 소스(Origin)가 있으며,
  2. 데이터 가공(Process)과정을 거쳐,
  3. 최종 사용자인 도메인 저장소(Destination)에 적재 됩니다.

 

위의 것들을 관리하는 Tool 을 통틀어 Data Pipeline 이라고도 합니다.

 

위 그림의 예처럼 간단하게 만들어진 1차원적인 Pipeline 이 있는 반면,

 

pipeline02

 

위처럼 복잡한 Pipeline 도 있을 수 있습니다.

 

Pipeline 소프트웨어는 현재 전세계에 있는 많은 데이터 과학자(Scientists) 들과 아키텍트(Architects), 그리고 엔지니어(Data Engineer) 들에게 있어 선택이 아닌 필수가 되어 가고 있죠.

 

그 중 상용 솔루션도 쓸만한 게 있긴 하지만(…정말?)  대부분 고가 이고, 특정 기능과 도메인에 최적화 되어있어서 범용적으로 사용하기엔 무리가 있는 게 사실입니다.

 

특히 빅데이터 시장에서는 오픈소스인 Hadoop 이 전세계 Data 시장을 바꿔놓은 것처럼 상용 S/W 회사들이 하루가 다르게 쏟아져 나오는 오픈 소스의 Volume 과 트렌드를 따라잡기 쉽지 않은 것이 현실입니다.

 

Pipeline 은 또한, 수많은 데이터의 정제/가공 과정을 거쳐 유의미한 데이터를 추출해 내고, (Extract)

그것을 분석 하고 변환하여 각자의 도메인에 맞게 출력 하거나(Transform),

또 다른 데이터의 입력으로 사용(Load) 하는데도 많이 쓰입니다.

 

이런 복잡한 데이터 작업을 지속적으로 하다 보면 전문적인 관리 Tool 이 필요하게 마련입니다.

바로 Pipeline 이 필요한 이유죠.

 

Open Sources
 

아시는 분은 잘 아시겠지만, 현재 오픈 소스로 되어있는 Pipeline S/W 중 가장 많이 사용하는 것은 아래처럼,

 

  • Apache NiFi
  • StreamSets

 

2개의 S/W 가 전세계 오픈 소스 시장을 양분하고 있습니다. (2018년 8월, 사용자 기준)

 

각각의 솔루션들은 저마다의 장/단점이 있으며, 둘 다 Java 로 만들어졌고, Apache license 를 통해 무료로 사용 가능합니다.

 

제가 여러분들에게 소개하고자 하는 것은 StreamSets 입니다.

 

NiFi 보다 늦게 세상에 나왔지만, 강력한 Pipeline 관리 기능과 편리한 GUI, 손쉬운 트러블 슈팅 등으로 전세계 Data 관련 종사자들에게 사랑을 듬뿍 받고 있는 솔루션이죠.

 

 

자. 서론이 길었으니, 본론으로 들어가도록 해봅시다..

 

 

StreamSets 을 이용하여 데이터엔지니어스랩에서 분산처리 하여 적재하고 있는 수많은 크롤링 데이터를 Pipe-lining 하여 Hive Streaming 과 연동 시켜보겠습니다.

 

pipeline03

 

 

전체보기를 하려면 여기 를 클릭하세요~


  1. StreamSets 이용하여 빅데이터 Pipeline 실시간으로 처리하기.

    부제: Working with Pipeline with StreamSets. 안녕하세요. 디랩 기술본부 입니다. 오늘은 현재 빅데이터 세상에서 많이들 사용하는 데이터 파이프라인(Pipeline) S/W 에 대해 소개하고, 회사에서 관련 기술을 어떻게 활용하고 있는지 포스팅 합니다. “...
    Date2020.02.18
    Read More
  2. 택시와 카풀, 공존할 수 있을까?!

    [출처 : 한국 소비자 TV] 최근 전국 택시업계에서 10월 18일 오전 4시부터 24시간 동안 택시 운행을 중단하는 대규모 파업이 진행되었습니다. 이번 파업은 카카오 카풀 서비스 도입에 반대하는 택시업계의 반발에 의해 일어났는데요. 이야기에 앞서, 카풀에 ...
    Date2020.02.18
    Read More
  3. 디즈니 실사판 영화 열풍!!

    안녕하세요. 디랩입니다.^^ 오랜만에 소식 전하네요. ^^ 그동안 다들 잘 지내셨죠? 한동안 바쁜 일정탓에 업데이트를 못했더니 주변에서 어찌나 성화던지… 그래서 간만에 준비해봤습니다. “재미있는 빅데이터 이야기” 오늘의 주제는 요즘 열풍인 디즈니 실사판...
    Date2020.02.18
    Read More
  4. 부자가 되는 ‘크리에이터’ 정말일까?

    크리에이터(Creator)란? 창시자, 창작자라는 사전적인 의미를 뜻하는 크리에이터는 현재 유튜브(YOUTUBE)라는 대표적인 플랫폼을 기반으로 컨텐츠를 제작하는 사람의 의미로 통하고 있습니다. [출처 : 호남대신문] 크리에이터 그렇다면 현재와 과거의 크리에이...
    Date2020.02.18
    Read More
  5. 미세먼지에 대한 관심도 변화 분석

    [출처:서울경제] [수명 갉아먹는 초미세먼지] 잿빛 공포…약물중독보다 더 무섭다 2020년 새해가 밝았습니다. 년초부터 미세먼지가 기승을 부리고 있습니다. 미세먼지가 사시사철 기승을 부리는 것이 새삼스럽지 않은 일이 되었습니다. 서울의 상황을 보면, 미...
    Date2020.02.18
    Read More
  6. 로드업 “검색&비교 분석” 기능 추가

    안녕하세요. 디랩입니다 ^^ 오늘은 디랩의 텍스트 분석 플랫폼 “로드업”의 새로운 기능에 대해 소개해드릴까해요. 지금까지 해왔던 분석과는 조금 다른 기능인데요. 새로운 물건을 구매하기전 몇몇 제품을 놓고 비교를 한다던지?? 또는 기업별 선호도를 비교한...
    Date2020.02.18
    Read More
  7. 배달 서비스 유료화 어떻게 생각하세요?

    1인가구가 많아지고 대부분이 맞벌이인 요즘시대 오랜시간과 정성을 쏟는 집밥보다는 간편식이나 배달음식을 선호하게 되는게 현실인데 오늘은 이러한 배달음식의 배달 서비스 유료화에 대해 얘기해보려고 합니다. 시장조사전문기업 엠브레인 트렌드모니터가 ...
    Date2020.02.18
    Read More
  8. 잊을만하면 다시 ‘갑질 논란’

    우리 사회를 병들게 하는 적폐 중 하나 ‘갑질’ 외신에서도 ‘Gapjil’ 이라고 소개될 정도로 유명한 대한민국의 ‘갑질’ 특히 여러 기업에서 일어나는 비상식적인 갑질 행동을 통해 많은 국민들이 매서운 눈초리로 이를 바라보고 있습니다. 갑질(甲ㅡ) : 사회적으...
    Date2020.02.18
    Read More
  9. 메르스가 돌아왔다

    2015년 전국에서 1만 6000여명이 격리되고, 감염자 186명 가운데 38명이 숨진 ‘메르스’가 2018년 9월, 3년만에 다시 발생했습니다. 메르스는 중동 호흡기 증후군(Middle East Respiratory Syndrome)의 줄임말으로, 명확한 감염원과 감염경로는 확인되지 않았으...
    Date2020.02.18
    Read More
  10. 말 많은 ‘노인 지하철 무임승차’

    [사진: 연합뉴스] 오늘은 최근 몇 년간 꾸준히 논란이 되고 있는 지하철 무임승차에 대해 이야기 해보겠습니다. 최근 지하철 운영사들은 더 이상 노인 무료 승차에 대해 유지하기 힘들다는 주장을 하며 국토교통부에 신고서를 제출하였습니다. 과연 무엇 때문...
    Date2020.02.18
    Read More
  11. 2018년 상반기 이슈 총정리

    1월 이대목동병원 신생아 사망 논란, 연예인 특례입학 지난 1월 12일 서울 지방경찰청 광역수사대가 질병관리본부의 역학조사와 국립과학수사연구원의 부검결과를 종합한 결과, 이대목동병원 신생아 4명은 지질영양주사제 취급 과정에서 시트로박터 프룬디균 ...
    Date2020.02.18
    Read More
  12. 제주 예멘 난민

    지난 12일 청와대 국민청원 게시판에 ‘제주도 난민 수용 거부해 주세요’라는 제목의 게시글이 올라왔습니다. 약 18만명이 서명했는데 지난 16일 게시판에서 돌연 사라져 의문을 낳고 있는데요. 내용은 즉슨, 지난 11일 법무부 산하 제주출입국·외국인청이 예...
    Date2020.02.18
    Read More
  13. 주 52시간 근무제

    이번에 준비한 이야기는 “주 52시간 근무제” 입니다. 7월 1일부터 시행된 “주 52시간 근무제”가 이제 한달이 다 되어가는데요. 위 기사의 헤드라인에서도 볼 수 있듯이 아직까지는 많이 정착되지 않은 모습입니다. 주 52시간 근무제, 다들 많이 들어보셨겠지...
    Date2020.02.18
    Read More
  14. 폭염과 온라인쇼핑의 관계

    연일 계속되는 폭염에 올해((‘18.5.20~’18.07.22) 발생한 온열 질환자는 1,193명, 사망자 11명으로 계속 증가하고 있습니다. 기상청에 따르면 앞으로 이 더위가 한달이상 지속될꺼라고 하는데 정말 큰일이네요.ㅜ.ㅠ 아래 그래프를 봐도 작년 2017년도 이맘때...
    Date2020.02.18
    Read More
  15. 먹방 가이드라인, 규제일까?

    안녕하세요 이번에 준비한 이야기는 ‘먹방‘ 입니다. (사진 제공 ? MBC) 요새 먹방(먹는 방송)이 굉장히 핫하죠. 최근에 ‘나 혼자 산다’에 출연한 화사씨가 곱창을 먹고난 후 전국적인 곱창 대란이 발생했고, 관련 업계에 따르면 화사씨가 김부각을 먹는 장면이...
    Date2020.02.18
    Read More
  16. #METOO #WITHYOU

    안녕하세요. 디랩입니다. 오늘은 만물이 겨울잠에서 깨어나는 경칩입니다. 푸르고 희망에 가득찬 봄은 성큼 다가왔지만 조금은 무거운 소재로 이야기를 해볼까해요. 요즘 매일매일이 화제인 #미투운동 입니다. 평범한 일상속에 누군가에게는 큰 용기가 되고 상...
    Date2020.02.18
    Read More
  17. 나 혼자 간다.!! 혼행해봤니?

    안녕하세요. 디랩입니다.^^ 아직까진 좀 쌀쌀한 꽃샘추위에 겨울옷을 완전히 다 넣어두진 못했지만 그래도 3월말이 되니 슬슬 꽃구경도 가고싶고 엉덩이가 들썩들썩 낮에 햇살좋을때는 어디 놀러가고 싶은 마음이 굴뚝 같아요. 여러분은 안그러신가요? 저만 그...
    Date2020.02.18
    Read More
  18. 2018 소비 트렌드 ‘워라벨, 소확행, 케렌시아’

    요즘 인터넷기사를 보다보면 “가격인상”이란 타이틀을 많이 보게되는것 같아요. 위의 이미지에서도 보이듯 치킨, 생리대, 영화, 과자 등등 흔히 접했던 장보기나 외식, 평범한 문화생활조차도 이제는 조금 망설이게 되지않을까 싶네요. 그래서인지 저의 경우...
    Date2020.02.18
    Read More
  19. 촉법소년, 이대로 괜찮은가?

    최근 인기리에 방영되고 있는 몇몇 드라마를 보면 중복된 소재가 있습니다. 그만큼 이슈가 되고 있다는 뜻이기도 한데요. 그 소재는 바로 촉법소년 입니다. ‘촉법소년’ 이란 소년법상의 용어로 만 10세 이상에서 만 14세 미만의 형사미성년자로 형벌을 받을 ...
    Date2020.02.18
    Read More
  20. 재활용 쓰레기 대란

    지난 4월 1일부로 수도권 아파트들에 폐비닐, 스티로폼 등 재활용 쓰레기가 산더미를 이루기 시작했습니다. 아파트 공고문에는 이들 재활용 쓰레기를 분리수거함에 넣지말고 종량제 봉투에 버리라는 내용만 있을뿐 어떠한 기준도 원인도 모른채 주민들의 혼란...
    Date2020.02.18
    Read More
Board Pagination Prev 1 2 3 4 Next
/ 4