분류 전체보기
Mac OS 영구 환경변수 설정
- 환경변수는 shell open할때마다 해줘야함 - 따라서, 영구 환경변수로 설정해두면 편함 - bashrc 파일 작성 vi ~/.bashrc - e.g. 나는 GOOGLE_APPLICATION_CREDENTIALS를 지정해주었다 (gcloud 써야해서) - export '변수명'='내용' 형태로 쓰면 됨 export GOOGLE_APPLICATION_CREDENTIALS='/Users/jh/Documents/dss/code/gaggle-330501-98771d485887.json' #위는 예시고 자신에게 맞는 환경변수를 쓰자 - 잘 되었는지 확인하자 source ~/.bashrc echo $GOOGLE_APPLICATION_CREDENTIALS #echo로 잘 반영되었는지 확인가능하다! - 오랜만에 ..
2021 데이터 분석가 첫 스텝
결론적으로, 2021년 2월 퇴사, 그해 9월 컬리에 조인할 수 있었던 현 주니어 분석가의 커리어 전환 회고록🙂 왜 데이터 분석? 기억을 되짚어보면, (나름) 사회과학 분야를 전공한 내가 처음으로 데이터 분석을 접한 것은 '설문조사' 때문이었다. 데이터 분석가인데 전공이 사회학&신문방송학이라고 하면 다들 의아하다는 반응을 보이지만 사실 사회과학을 배우겠다면 당연히 사회를 조사, 연구하는 방법론을 배울 수 밖에 없다. 그리고 그 방법론으로 대표적인 것이 바로 모두가 익히 알고 있는 설문조사일텐데, 설문조사도 대체로 정량조사다 보니 파보면 자연스레 파생되는 SPSS나 통계학까지 배우기 마련인 것이다. (신문방송학과 출신이 여론조사를 한다고 하면 이상하게 들리지 않을 것이다.) 물론 당시 주변 반응을 보면 일..
[딥러닝] Bias, Variance 그리고 Bias-Variance Tradeoff
* 이 내용은 Cousera에서 수강중인 Andrew Ng 교수님의 강의 중, Improving Deep Neural Networks: Hyperparameter Tuning, Regularization and Optimization 강좌를 보고 일부 정리 + 공부해 본 것입니다. * 예시와 그래프는 강의내용에서 발췌한 것으로, 그래프는 다시 그려보았습니다. 그래서 그래프의 형태가 정확하지 않을 수 있습니다. Bias & Variance Bias(편향)는 예측값과 정답의 차이를 의미한다. 즉 모델이 얼마나 잘 배웠는지, 얼마나 잘 맞추는지, 라고 할 수 있다. Variance(분산)는 예측값들 사이의 차이를 의미한다. 예측값들이 일관되게 도출되는지, 혹은 반대로 얼마나 흩어져 있는지라고 볼 수 있을 것 ..
근황토크 / 구글 머신러닝 부트캠프
근황 Kaggle 30 days of ML을 당차게 신청하였으나 무려 Google ML Bootcamp에 되어버렸다.... 오마이 코린이에게 정말이지 과분한 기회여서, 개인 공부는 Google ML Bootcamp에 올인하기로 결정하였다 (사실 분량도 올인해야할 분량이긴 하다) 이런 멋진 프로그램이 있다는 것을 지원마감 불과 6시간 전에 알고 부랴부랴 파이썬 퀴즈풀고 지원서 써서 냈다. 나를 구글 부트캠프로 이끌어 준 인스타그램 광고 알고리즘에게 치얼쓰. 패캠에서는 머신러닝/딥러닝을 어떻게 써야할지, 프로젝트 진행에 중점을 두었다면 이번 부트캠프를 통해서는 앤드류 응 교수님의 강의를 바탕으로 내재된 레이어는 어떻게 쌓아야하는지, 어떤 로직으로 이러한 모델들이 나오는 건지를 차근차근 배우고 있다. 먼저 적..
[TIL][KAGGLE 30 days of ML] day 2
20210804 TIL # Day 2 assignment - Kaggle에서 제공하는 Python course의 Lesson 1을 보고 문제풀기 - 변수 지정, 사칙연산자에 대한 내용이라... 영어 공부하는 셈치고 진행했다 - 아무래도 Python course는 몰아서 읽고 푸는 게 좋을 것 같다. 아직까진 TIL이라고 하기에도 민망하다 ㅎㅎㅎ - 그나저나 노트북이 잘 되어 있어서 깜짝 놀랐다 :0 - 내 기준엔 구글 Colab보다 깔끔하기도 하고, 교육에 최적화된 느낌? - 설명도 최대한 심플하게 적으려고 한 게 보이고, 분량이나 문제도 부담이 없어 보여서 캐글이 많은 신경을 쓰고 있다는 게 느껴졌다. - 영어 독해에 부담이 없고 파이썬 입문을 고민하고 있는 분들이라면 추천할 것 같다. 30 Days ..
[TIL][KAGGLE 30 days of ML] day 1
20210803 TIL # Kaggle 30 days of ML - 캐글에서 8월 3일부터 진행하는 1개월짜리 데이터사이언스 / 머신러닝 입문자용 자기주도 학습 course - 매일마다 assignment를 내주고, 그에 맞춰 과제를 수행하는 방식으로 매일 약 1시간 정도의 학습 분량을 준다고 한다 - 후반부에는 30 days of ML 참여자들을 위한 캐글 컴페티션에 참여할 수 있다! - 1일 ~ 15일은 ML 공부, 15일 ~ 30일은 컴페티션으로 이루어져 있(는 것 같)다. # Day 1 assignment - 첫날이기 때문에 일종의 오리엔테이션을 겸하는 과제뿐이었다 - 과제 1. Novice -> Contributor로 레벨업? 승급?하기 - 과제 2. 30 days of ML 디스코드 참여 & ..
[Python] CAGR calculate function
문득 생각이 나서 파이썬으로 계산해보는 CAGR(연평균복합성장률) - 여러 해 동안의 성장률을 기하평균으로 계산(산술로 계산하면 결과가 왜곡됨) - 공식은 ((최종 value) / (최초 value)의 (1/N) 제곱 - 1). 여기서 N은 연수. 이를 백분율로 환산하면 CAGR이 된다. 파이썬으로 작성하면 아래와 같다. 심히 간단하다. def CAGR(beginning, ending, numberofyears): """ beginning = 최초의 값 ending = 최종의 값 numberofyears = 연수 """ cagr = (ending/beginning)**(1/numberofyears) - 1 return print("CAGR : {:.2%}".format(cagr)) 이미지 출처 : CAG..
[Note] 실험이 주도하는 제품 개발
OUTPUT이 아닌 OUTCOME # The Effects of Hierachy on learning and Performance in Online Experimentation (원문) - 시니어들은 제품 실험에 어떤 영향을 미치는가? - 직급이 올라갈 수록 실험이 성공할 가능성(가정이 검증될 가능성)은 증가하지만, 실험 결과를 통한 효과, 향상폭은 더 적다는 결론 - 유저의 반응을 이끌어내는 적합한 형태는 무엇인지를 한번 더 생각하자(+A/B test) ➔ 결론적으로, 실험이란 결국 유저/고객/소비자에게서 시작하고, 평가되어야 할 것이다. # 실험이 적합한 문제와 적합하지 않은 문제가 있다. 제품 pivot이 필요한 경우, 신규 타겟 페르소나가 필요한 경우에는 실험이 적합하지 않다. # 실험의 제약 상..
Python/crawling - Youtube 채널 데이터 크롤링
0. 프로젝트 개요 Youtube 데이터 기반 산업 트렌드 분석 1. 기존 유사 서비스와의 차이점 Social Blade(해외), Bling(국내) 등 유튜브 분석 서비스는 이미 존재하지만, 기존 서비스들은 대체로 인플루언서 분석에 집중하고 있다. 인플루언서 분석 항목은 대체로 조회 수/좋아요 수/구독자 수 증감, 추정 수익, 다른 인플루언서와의 비교 등이다. 이번 프로젝트에서는 특정 산업분야의 주요 브랜드 채널과, Top 인플루언서들의 데이터(영상, 댓글, 조회 수 등)를 크롤링하여 손쉽게 산업의 트렌드를 팔로업할 수 있는 서비스를 만드는 것이 목적이다. *이번 프로젝트에서는 automotive industry로 한정한다. 2. 구조 크롤링 -> DB setting (MySQL) -> 댓글 키워드 분석..
근황신고
0. Bootstrap - 프로토타입 / MVP를 위하여 (얼레벌레) 웹페이지 만들기 도전... - 수업시간엔 html, css 그리고 bootstrap 기초만 배웠는데 직접 해보려니까 말 그대로 맨땅에 헤딩이다... - 생각중인 프로토타입은 3페이지 정도고 검색값에 따라서 결과만 바꿔주면 되는데 이제 겨우 1페이지 했다 - Flask는 언제 하지 *This cover has been designed using resources from Freepik.com