Python/crawling - Youtube 채널 데이터 크롤링

0. 프로젝트 개요

Youtube 데이터 기반 산업 트렌드 분석

 

1. 기존 유사 서비스와의 차이점

Social Blade(해외), Bling(국내) 등 유튜브 분석 서비스는 이미 존재하지만, 기존 서비스들은 대체로 인플루언서 분석에 집중하고 있다. 인플루언서 분석 항목은 대체로 조회 수/좋아요 수/구독자 수 증감, 추정 수익, 다른 인플루언서와의 비교 등이다.    

이번 프로젝트에서는 특정 산업분야의 주요 브랜드 채널과, Top 인플루언서들의 데이터(영상, 댓글, 조회 수 등)를 크롤링하여 

손쉽게 산업의 트렌드를 팔로업할 수 있는 서비스를 만드는 것이 목적이다.   

*이번 프로젝트에서는 automotive industry로 한정한다.  

 

2. 구조

크롤링 -> DB setting (MySQL) -> 댓글 키워드 분석 + 웹(Flask...) ...  

 

3. 현황

- Youtube API가 있어 크롤링은 문제 없이 쉽게 성공하였으나 진행하는 프로젝트 볼륨에 비해 일일 쿼리량 제한이 까다롭다. Selenium을 이용해 크롤링 하는 코드도 짜두긴 했다. 

- 일단 데이터는 일간으로 크롤링 진행 중 

- 나는 Web + Flask 작업에 좀더 포커스를 맞추려고 한다. ppt 디자인병 중증 환자이기 때문이다. 

 

 

 

* 유튜브 API 사용법도 올릴까..?

* 팀원이 MySQL과 PowerBI를 연동함