Solution
데이터를 활용한 비즈니스 솔루션
데이터를 활용하여 비즈니스를 연결하는 방법이 궁금하신가요?
(주)데이터엔지니어스랩은 자사가 보유한 기술을 이용하여 다양한 솔루션을 마련하였습니다.
로드업 (LoadUp)
뉴스, 블로그, 카페, 트위터 등 소셜 미디어 및 기타 빅데이터의 수집과 분석, 시각화에 특화된 개발 분야로서 혁신적인 빅데이터 분석 프레임워크를 제시합니다.
정보 수집 모듈
웹크로울러, 스크래핑, Open API, 로그파일 등 다양한 소스를 이용하여 데이터를 수집하여 검색엔진에 저장하는 모듈.
텍스트 분석 모듈
수집된 정보를 형태소분석, 색인 작업 등을 통해 문서 안의 텍스트를 분석 가능한 형태로 만들어 검색엔진에 저장하는 모듈.
고급 분석 모듈 (Advanced Analytics)
클러스터 추출, 네트워크 분석, 연관 키워드 분석 등 대량/고성능의 계 산을 수행해야 하는 고급 분석 모듈.
시각화
텍스트분석과 고급 분석을 통해 정형화된 정보를 쉽고 일관된 사용자 UI로 화면에 표현해 내는 기술.
DBAP (DLab BigData Analytics Platform)
DBAP은 내/외부에서 수집한 데이터 및 사용자정의 데이터를 기반으로 사용자가 데이터에서 Intelligence를 얻을 수 있도록 지원하는 BigData Discovery 서비스 구축을 목표로 합니다.
- SaaS 모델, 구축형 모델을 모두 지원할 수 있는 구조로 설계.
- 실시간, 배치, On Demand 데이터 분석을 모두 지원.
- 전문 데이터분석가가 아니어도 데이터 분석을 할 수 있도록 편리한 UI를 제공하며 SQL 처리, Machine Learning 기능을 제공.
- Hadoop → ETL → RDB → BI tool의 단계를 거치지 않고 Hadoop의 데이터를 바로 분석할 수 있는 서비스 제공.
DCrawler (DLab Crawler)
크롬기반의 웹크롤러이며 현존하는 모든 분류의 웹사이트를 크롤링할 수 있습니다. Scrapy, Nutch, Open API 등 기존 크롤러의 단점을 보완하였고 SSL/TLS를 지원합니다.
- 수집대상별로 정의된 Action순서에 따라 WebDriver를 제어하여, 수집을 원하는 웹페이지로 접근, 필요한 동작을 수행 함.
- WebDriver를 통해 사용자가 웹브라우저를 통하여 보는 것과 똑같은 HTML문서에서 데이터를 추출.
- TXT, CSV, Excel, 검색엔진, mySQL의 다양한 형태의 Output을 지원.
