유튜브 데이터를 크롤링하는 방법으로는 크게 두 가지 방법이 있다.
1. Youtube Data API를 이용하는 방법
2. 직접 웹 스크래핑 (BeautifulSoup 활용)
최근 API를 잘 활용하는 것도 중요하다고 생각해서, API를 이용하여 데이터를 수집해보고자 한다.
우선, Youtube Data API를 사용하기 위해선 다음 페이지를 참고한다
https://developers.google.com/youtube/v3/getting-started?hl=ko
YouTube Data API 개요 | Google for Developers
이 페이지는 Cloud Translation API를 통해 번역되었습니다. YouTube Data API 개요 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. 소개 이 문서는 YouTube와 상호작용하
developers.google.com
위 페이지에 들어가면 아래와 같은 사전 준비가 필요하다.
1~6의 순서 중 3번까지만 진행한다면, Youtube Data API를 사용할 수 있다.
1. Google 계정 마련
이는 구글 계정이 있으므로 생략
2. Google Developers Console에 프로젝트 만들고, API 요청 제출을 위한 인증 사용자 인증정보 가져오기
2-1. 프로젝트 만들기
https://console.cloud.google.com/projectselector2/apis/dashboard?hl=ko&supportedpurview=project
Google 클라우드 플랫폼
로그인 Google 클라우드 플랫폼으로 이동
accounts.google.com
들어가보니까 기존에 구글 애널리틱스 공부한다고 생성해놨던 프로젝트가 있었다.
그 프로젝트를 삭제하고 프로젝트 만들기를 클릭했다.
프로젝트를 만들고, 프로젝트 이름을 할당했다.
바로 API 및 서비스에 만든 프로젝트 관련 정보가 떴다.
좌측의 메뉴 탭 중에서 'OAuth 동의 화면'을 클릭하고, 동의 화면을 구성해야 API Key가 나오는 것으로 보였다.
내부는 조직 Workspace 사용자만 사용할 수 있다고 선택이 안돼서 외부를 선택하고 만들기를 클릭했다.
앱 정보는 대충 입력해본다.
앱 이름, 사용자 지원 이메일과 하단의 개발자 연락처 정보만 입력하면 되는 것 같다.
그럼 두번째 범위 입력이 나오는데, 그냥 넘어갔다.
세번째 테스트 사용자 역시 딱히 없어서 넘어갔다.
그 후 좌측 메뉴 탭에서 '사용자 인증정보'를 클릭
아직 API Key가 없는데 상단의 '+ 사용자 인증 정보 만들기'를 클릭하고 'API Key'를 클릭한다.
그 뒤 새로고침을 하면, API 키가 갑자기 생긴다.
API Key는 이 창을 클릭하면 된다.
이 키를 제한하는 설정도 뜨는데, 필요한 설정을 진행해줘도 좋을 것 같다.
3. Youtube Data API 사용 설정 및 설정 확인
대충 Youtube Data API의 3번 창에 있던 저 링크를 누르니 내가 만든 프로젝트의 시작하기 창이 떴다.
이 창에서 빠른 액세스로 'API 및 서비스' 가 있어 클릭했다.
그러니 '사용 설정된 API 및 서비스' 탭이 나오고, 여기서 'Youtube Data API v3'가 있는지 보라고 했다.
그런데 목록 중에 그런 API가 없어서 상단의 ' + API 및 서비스 사용 설정'을 클릭했다.
API 라이브러리가 떴다.
이 검색 창에 Youtube Data API v3를 검색했다.
사용을 클릭.
다시 '사용 설정된 API 및 서비스' 탭으로 돌아가서 목록을 보니
Youtube Data API v3가 드디어 뜬다.
# API Key 정상 작동 여부 확인
이제 사용자 인증정보 탭으로 돌아가 API Key를 복사하고, 잘 동작하는지 확인한다.
우선, google api call을 위해 아래 라이브러리를 설치하고
pip install google-api-python-client
챗GPT의 도움을 받아 build 함수에 API key가 먹는지 테스트 해본다.
from googleapiclient.discovery import build
api_key = 'YOUR_API_KEY'
youtube = build('youtube', 'v3', developerKey=api_key)
에러가 뜨지 않고 정상적으로 실행됐다.
다음은 직접 데이터를 수집해보겠다.
