(주)데이터엔지니어스랩
Blog
조회 수 132 추천 수 0 댓글 0
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄
%ec%88%98%eb%aa%85%ea%b0%89%ec%95%84%eb%a8%b9%eb%8a%94%ec%b4%88%eb%af%b8%ec%84%b8%eb%a8%bc%ec%a7%80
[출처:서울경제] [수명 갉아먹는 초미세먼지] 잿빛 공포…약물중독보다 더 무섭다


2020년 새해가 밝았습니다. 년초부터 미세먼지가 기승을 부리고 있습니다. 

미세먼지가 사시사철 기승을 부리는 것이 새삼스럽지 않은 일이 되었습니다.

서울의 상황을 보면, 미세먼지가 다른 나라 주요도시들보다 2배 이상 높은 수준을 나타내고 있습니다.

국외에서 초미세먼지가 지속 유입되고 있는데다가 국내에서 발생된 오염물질이 대기 정체로 인해

확산되고 있지 않아 고농도 현상이 지속적으로 나타나고 있는 상황입니다.


%ec%b4%88%eb%af%b8%ec%84%b8%eb%a8%bc%ec%a7%80-%ec%82%ac%ec%83%81-%ec%b5%9c%ec%95%85%e2%80%a6

[출처:YTN] [날씨] 초미세먼지 사상 최악…


지난해는 공기 좋기로 유명한 제주도가 미세, 초 미세먼지 최다기록을 갱신했습니다.

청정제주도도 옛말이라며 관광객들도 실망하는 경우가 적잖고, 작년 미세먼지 주의보가 7회로

역대 최다를 기록했다고 합니다.

발령 지속 시간도 지난해가 197시간을 기록해 가장 길었습니다.

%ea%b3%b5%ea%b8%b0-%ec%a2%8b%ec%9d%80-%ec%a0%9c%ec%a3%bc-%ed%95%98%eb%8a%98%ec%9d%98-%eb%b0%b0%ec%8b%a0

[출처: 중앙일보] 공기 좋은 제주 하늘의 배신???작년 미세?초미세먼지 최다였다


미세먼지가 사시사철 점점 더 기승을 부리는 가운데 미세먼지에 대한 관심은 급증하고 있는데요,

이를 실제 데이터로 확인하기 위해 네이버 뉴스를 기간별로 크롤링하여 Load Up 을 활용,

기간별로 미세먼지에 관한 기사들에서 언급하고 있는 주요 관련 단어들을 분석해 보았습니다.

먼저 파이썬 BeautifulSoup을 활용해 네이버 뉴스를 기간별로 검색하여 txt 파일로 저장하는 코드입니다.

%ed%8c%8c%ec%9d%b4%ec%8d%ac%ec%bd%94%eb%93%9c

<그림1> Python Crawling Code

load-up-%ed%85%8d%ec%8a%a4%ed%8a%b8-%eb%b6%84%ec%84%9d-%eb%a9%94%eb%89%b4

<그림2> Load Up 텍스트 분석 메뉴


위의 그림에서 오른쪽에 표시한 DirectoryCrawler를 다운 받아서

저장한 txt 파일을 형태에 맞는 csv 파일로 변경해줍니다.

directory-crawler%eb%a1%9c-%ed%8c%8c%ec%9d%bc-%eb%b3%80%ed%99%98%ed%95%98%ea%b8%b0

<그림3> Directory Crawler로 파일 변환하기

load-up-%ed%85%8d%ec%8a%a4%ed%8a%b8-%eb%b6%84%ec%84%9d

<그림4> Load Up 텍스트 분석

load-up-%ed%85%8d%ec%8a%a4%ed%8a%b8-%eb%b6%84%ec%84%9d-%ea%b2%b0%ea%b3%bc-%eb%b3%b4%ea%b8%b0

<그림5> Load Up 텍스트 분석 결과 보기

load-up-%ed%85%8d%ec%8a%a4%ed%8a%b8-%eb%b6%84%ec%84%9d%ec%9c%bc%eb%a1%9c-%ec%b6%94%ec%b6%9c%ed%95%9c-%ec%97%b0%eb%8f%84%eb%b3%84-word-cloud

<그림6> Load Up 텍스트 분석으로 추출한 연도별 Word Cloud


90년대에는 미세먼지라는 단어보다 대기 오염이라는 단어에 더 익숙했고

2000년도 들어서면서 미세먼지에 대한 인식이 생기기 시작했습니다.

이에 따라 기질이나 농도에 대한 언급양도 늘었고, 친환경 측정이란 단어도 눈에 띄기 시작했습니다.


2013년 이후 작년까지는 초미세먼지에 대한 인식이 생기기 시작했으며,

관리제 대책 저감이란 단어도 눈에 보이기 시작합니다.

이는 정부 차원의 정책 도입의 국민들의 관심이 급증하고 있다는 것을 나타냅니다.


또 하나 눈에 띄는 것이 마스크라는 단어입니다.

미세먼지의 영향으로 마스크 시장이 급격하게 활성화 된 것 입니다.


따로 크롤링 한 파일 말고도 Load Up에 실시간으로 적재하고 있는 데이터를 활용하여

텍스트 마이닝을 할 수 있습니다.


아래는 Load Up 데이터를 활용해 미세먼지에 대해 검색 후 분석한 Network Chart 입니다.

load-up-%ea%b2%80%ec%83%89%eb%b6%84%ec%84%9d%ec%9d%84-%ed%99%9c%ec%9a%a9%ed%95%9c-network-chart

<그림7> Load Up 검색&분석을 활용한 Network Chart


이번에는 미세먼지에 대한 관심 변화를 구글 트렌드와 네이버 트렌드로 파악해 보았습니다.


아래는 구글 트렌드에서 미세먼지에 대한 관심도 변화를 본 것 입니다.


2013년부터 점차적으로 늘더니 2019년 3월 최고치를 보입니다.

%ea%b5%ac%ea%b8%80-%ed%8a%b8%eb%a0%8c%eb%93%9c%ec%97%90%ec%84%9c-%ea%b2%80%ec%83%89%ed%95%9c-%eb%af%b8%ec%84%b8%eb%a8%bc%ec%a7%80

<그림8> 구글 트렌드에서 검색한 미세먼지


그 외 관련 단어들도 추출해 보았습니다.

미세먼지 원인, 초미세먼지, 미세먼지 저감, 탄소배출의 결과는 아래와 같습니다.


2009년도에 이미 탄소배출에 대한 관심이 있었으며,

미세먼지대책이 나오면서 감소하던 2012년까지 잠잠해 지는 것이 보입니다.


그러나 2012년 이후 미세먼지 감소가 멈추고 점차 늘어나는 시점에 관심이 점점 늘어나며

초미세먼지에 관심이 급증하는 패턴을 보입니다.


관련 단어들에 대한 관심이 미세먼지와 마찬가지로 2019년 3월에 최고치를 보이고 있습니다.

%ea%b5%ac%ea%b8%80-%ed%8a%b8%eb%a0%8c%eb%93%9c%ec%97%90%ec%84%9c-%ea%b2%80%ec%83%89%ed%95%9c-%eb%af%b8%ec%84%b8%eb%a8%bc%ec%a7%80-%ea%b4%80%eb%a0%a8-%ec%9a%a9%ec%96%b4%eb%93%a4

<그림9> 구글 트렌드에서 검색한 미세먼지 관련 용어들


네이버 검색어 트렌드를 통해 분석해 보았을 때는 조금 다른 형태를 보입니다.

오히려 2017년 5월 가장 많은 관심이 보였습니다.


이는 2017년 대선의 영향으로 보이며, 다음으로 2016년 5월과 2017년 9월이 많은 것을 볼 수 있습니다.

초미세먼지에 대한 검색은 2018년 4월 가장 많은 것을 볼 수 있습니다.


계절을 타지 않고 봄, 가을, 겨울 전반적으로 미세먼지에 대한 검색이

수시로 발생하는 것을 확인 할 수 있습니다.

%eb%84%a4%ec%9d%b4%eb%b2%84-%ea%b2%80%ec%83%89%ec%96%b4-%ed%8a%b8%eb%a0%8c%eb%93%9c

<그림10> 네이버 검색어 트렌드에서 검색한 미세먼지와 초미세먼지

%ea%b1%b4%ea%b0%95%ed%95%9c%eb%8c%80%ec%b1%85

[출처: https://blog.naver.com/nature4772/221407078420]


이와 같이 미세먼지에 대한 트랜드 변화를 분석해 보았습니다.

미세먼지의 대책과 관리제 등 개선하고자 하는 키워드에 관심이 늘어나고 있는 추세 입니다.


2020년 현재 정부는 ‘미세먼지 걱정 없는 쾌적한 대기환경 조성’을

100대 국정과제 중 하나로 추진하고 있습니다.


친환경정책 실천과 관련해 경유차 대신 친환경 수소전?기차를 적극 보급하는 계획을 밝혔고,

종이플?라스틱비?닐 등 1회 용품 사용을 최소한으로 감축할 수 있는 사인들을

발굴, 실천함으로써 친환경 생활화 추진에 힘쓰고 있습니다.


최근 대한의사협회에서 미세먼지 대처 대국민 행동 요령 발표를 하고 환경부에서

미세먼지 줄이기 실천약속 등을 발표하며 미세먼지 대처에 힘쓰고 있습니다.

%eb%8c%80%ed%95%9c%ec%9d%98%ec%82%ac%ed%98%91%ed%9a%8c

[출처: 대한의사협회]

%ea%b3%a0%eb%86%8d%eb%8f%84-%eb%af%b8%ec%84%b8%eb%a8%bc%ec%a7%80-%eb%b9%84%ec%83%81%ec%a0%80%ea%b0%90%ec%a1%b0%ec%b9%98-%ec%8b%9c%ed%96%89-%ec%a7%80%ec%b9%a8

[출처: 고농도 미세먼지 비상저감조치 시행 지침]


국가적으로 미세먼지 저감정책도 중요하지만 개인적으로도

 

생활습관 실천이 미세먼지 저감에 도움이 된다고 합니다.

다같이 맑은 공기에서 숨쉬기를 기원하며 조금씩 실천해 보는 것이 어떨까요?

지금까지 데이터를 기반으로 미세먼지에 대한 관심도 변화를 살펴 보았습니다.

감사합니다.



  1. StreamSets 이용하여 빅데이터 Pipeline 실시간으로 처리하기.

    부제: Working with Pipeline with StreamSets. 안녕하세요. 디랩 기술본부 입니다. 오늘은 현재 빅데이터 세상에서 많이들 사용하는 데이터 파이프라인(Pipeline) S/W 에 대해 소개하고, 회사에서 관련 기술을 어떻게 활용하고 있는지 포스팅 합니다. “파이프...
    Date2020.02.18
    Read More
  2. 택시와 카풀, 공존할 수 있을까?!

    [출처 : 한국 소비자 TV] 최근 전국 택시업계에서 10월 18일 오전 4시부터 24시간 동안 택시 운행을 중단하는 대규모 파업이 진행되었습니다. 이번 파업은 카카오 카풀 서비스 도입에 반대하는 택시업계의 반발에 의해 일어났는데요. 이야기에 앞서, 카풀에 ...
    Date2020.02.18
    Read More
  3. 디즈니 실사판 영화 열풍!!

    안녕하세요. 디랩입니다.^^ 오랜만에 소식 전하네요. ^^ 그동안 다들 잘 지내셨죠? 한동안 바쁜 일정탓에 업데이트를 못했더니 주변에서 어찌나 성화던지… 그래서 간만에 준비해봤습니다. “재미있는 빅데이터 이야기” 오늘의 주제는 요즘 열풍인 디즈니 실사판...
    Date2020.02.18
    Read More
  4. 부자가 되는 ‘크리에이터’ 정말일까?

    크리에이터(Creator)란? 창시자, 창작자라는 사전적인 의미를 뜻하는 크리에이터는 현재 유튜브(YOUTUBE)라는 대표적인 플랫폼을 기반으로 컨텐츠를 제작하는 사람의 의미로 통하고 있습니다. [출처 : 호남대신문] 크리에이터 그렇다면 현재와 과거의 크리에이...
    Date2020.02.18
    Read More
  5. 미세먼지에 대한 관심도 변화 분석

    [출처:서울경제] [수명 갉아먹는 초미세먼지] 잿빛 공포…약물중독보다 더 무섭다 2020년 새해가 밝았습니다. 년초부터 미세먼지가 기승을 부리고 있습니다. 미세먼지가 사시사철 기승을 부리는 것이 새삼스럽지 않은 일이 되었습니다. 서울의 상황을 보면, 미...
    Date2020.02.18
    Read More
  6. 로드업 “검색&비교 분석” 기능 추가

    안녕하세요. 디랩입니다 ^^ 오늘은 디랩의 텍스트 분석 플랫폼 “로드업”의 새로운 기능에 대해 소개해드릴까해요. 지금까지 해왔던 분석과는 조금 다른 기능인데요. 새로운 물건을 구매하기전 몇몇 제품을 놓고 비교를 한다던지?? 또는 기업별 선호도를 비교한...
    Date2020.02.18
    Read More
  7. 배달 서비스 유료화 어떻게 생각하세요?

    1인가구가 많아지고 대부분이 맞벌이인 요즘시대 오랜시간과 정성을 쏟는 집밥보다는 간편식이나 배달음식을 선호하게 되는게 현실인데 오늘은 이러한 배달음식의 배달 서비스 유료화에 대해 얘기해보려고 합니다. 시장조사전문기업 엠브레인 트렌드모니터가 ...
    Date2020.02.18
    Read More
  8. 잊을만하면 다시 ‘갑질 논란’

    우리 사회를 병들게 하는 적폐 중 하나 ‘갑질’ 외신에서도 ‘Gapjil’ 이라고 소개될 정도로 유명한 대한민국의 ‘갑질’ 특히 여러 기업에서 일어나는 비상식적인 갑질 행동을 통해 많은 국민들이 매서운 눈초리로 이를 바라보고 있습니다. 갑질(甲ㅡ) : 사회적으...
    Date2020.02.18
    Read More
  9. 메르스가 돌아왔다

    2015년 전국에서 1만 6000여명이 격리되고, 감염자 186명 가운데 38명이 숨진 ‘메르스’가 2018년 9월, 3년만에 다시 발생했습니다. 메르스는 중동 호흡기 증후군(Middle East Respiratory Syndrome)의 줄임말으로, 명확한 감염원과 감염경로는 확인되지 않았으...
    Date2020.02.18
    Read More
  10. 말 많은 ‘노인 지하철 무임승차’

    [사진: 연합뉴스] 오늘은 최근 몇 년간 꾸준히 논란이 되고 있는 지하철 무임승차에 대해 이야기 해보겠습니다. 최근 지하철 운영사들은 더 이상 노인 무료 승차에 대해 유지하기 힘들다는 주장을 하며 국토교통부에 신고서를 제출하였습니다. 과연 무엇 때문...
    Date2020.02.18
    Read More
  11. 2018년 상반기 이슈 총정리

    1월 이대목동병원 신생아 사망 논란, 연예인 특례입학 지난 1월 12일 서울 지방경찰청 광역수사대가 질병관리본부의 역학조사와 국립과학수사연구원의 부검결과를 종합한 결과, 이대목동병원 신생아 4명은 지질영양주사제 취급 과정에서 시트로박터 프룬디균 ...
    Date2020.02.18
    Read More
  12. 제주 예멘 난민

    지난 12일 청와대 국민청원 게시판에 ‘제주도 난민 수용 거부해 주세요’라는 제목의 게시글이 올라왔습니다. 약 18만명이 서명했는데 지난 16일 게시판에서 돌연 사라져 의문을 낳고 있는데요. 내용은 즉슨, 지난 11일 법무부 산하 제주출입국·외국인청이 예...
    Date2020.02.18
    Read More
  13. 주 52시간 근무제

    이번에 준비한 이야기는 “주 52시간 근무제” 입니다. 7월 1일부터 시행된 “주 52시간 근무제”가 이제 한달이 다 되어가는데요. 위 기사의 헤드라인에서도 볼 수 있듯이 아직까지는 많이 정착되지 않은 모습입니다. 주 52시간 근무제, 다들 많이 들어보셨겠지...
    Date2020.02.18
    Read More
  14. 폭염과 온라인쇼핑의 관계

    연일 계속되는 폭염에 올해((‘18.5.20~’18.07.22) 발생한 온열 질환자는 1,193명, 사망자 11명으로 계속 증가하고 있습니다. 기상청에 따르면 앞으로 이 더위가 한달이상 지속될꺼라고 하는데 정말 큰일이네요.ㅜ.ㅠ 아래 그래프를 봐도 작년 2017년도 이맘때...
    Date2020.02.18
    Read More
  15. 먹방 가이드라인, 규제일까?

    안녕하세요 이번에 준비한 이야기는 ‘먹방‘ 입니다. (사진 제공 ? MBC) 요새 먹방(먹는 방송)이 굉장히 핫하죠. 최근에 ‘나 혼자 산다’에 출연한 화사씨가 곱창을 먹고난 후 전국적인 곱창 대란이 발생했고, 관련 업계에 따르면 화사씨가 김부각을 먹는 장면이...
    Date2020.02.18
    Read More
  16. #METOO #WITHYOU

    안녕하세요. 디랩입니다. 오늘은 만물이 겨울잠에서 깨어나는 경칩입니다. 푸르고 희망에 가득찬 봄은 성큼 다가왔지만 조금은 무거운 소재로 이야기를 해볼까해요. 요즘 매일매일이 화제인 #미투운동 입니다. 평범한 일상속에 누군가에게는 큰 용기가 되고 상...
    Date2020.02.18
    Read More
  17. 나 혼자 간다.!! 혼행해봤니?

    안녕하세요. 디랩입니다.^^ 아직까진 좀 쌀쌀한 꽃샘추위에 겨울옷을 완전히 다 넣어두진 못했지만 그래도 3월말이 되니 슬슬 꽃구경도 가고싶고 엉덩이가 들썩들썩 낮에 햇살좋을때는 어디 놀러가고 싶은 마음이 굴뚝 같아요. 여러분은 안그러신가요? 저만 그...
    Date2020.02.18
    Read More
  18. 2018 소비 트렌드 ‘워라벨, 소확행, 케렌시아’

    요즘 인터넷기사를 보다보면 “가격인상”이란 타이틀을 많이 보게되는것 같아요. 위의 이미지에서도 보이듯 치킨, 생리대, 영화, 과자 등등 흔히 접했던 장보기나 외식, 평범한 문화생활조차도 이제는 조금 망설이게 되지않을까 싶네요. 그래서인지 저의 경우...
    Date2020.02.18
    Read More
  19. 촉법소년, 이대로 괜찮은가?

    최근 인기리에 방영되고 있는 몇몇 드라마를 보면 중복된 소재가 있습니다. 그만큼 이슈가 되고 있다는 뜻이기도 한데요. 그 소재는 바로 촉법소년 입니다. ‘촉법소년’ 이란 소년법상의 용어로 만 10세 이상에서 만 14세 미만의 형사미성년자로 형벌을 받을 ...
    Date2020.02.18
    Read More
  20. 재활용 쓰레기 대란

    지난 4월 1일부로 수도권 아파트들에 폐비닐, 스티로폼 등 재활용 쓰레기가 산더미를 이루기 시작했습니다. 아파트 공고문에는 이들 재활용 쓰레기를 분리수거함에 넣지말고 종량제 봉투에 버리라는 내용만 있을뿐 어떠한 기준도 원인도 모른채 주민들의 혼란...
    Date2020.02.18
    Read More
Board Pagination Prev 1 2 3 4 Next
/ 4