Google BigQuery

이 글은 데이터리안 블로그를 참고하여 작성되었습니다: https://datarian.io/blog/3ways-to-connect-data-to-google-bigquery 

Google BigQuery (1) 빅쿼리에 데이터를 연결하는 3가지 방법

 

Google Analytics (GA) 에서 수집된 데이터는 주로 GA 콘솔을 통해 확인하지만, 가끔 GA 콘솔에서 보여주는 방식과 다른 방식으로 데이터를 보고 싶을 수 있음! 그땐 Google Bigquery를 연결해 GA에서 수집하는 원본 데이터를 직접 SQL로 분석하면 됨.

 

BigQuery란?

• 구글에서 제공하는 클라우드 데이터 웨어하우스

구분	Google Analytics	데이터 웨어하우스 (DW)
역할	사용자 행동 분석 도구	다양한 데이터를 모아 보관 + 분석용 저장소
자동 수집	✅ 웹/앱 데이터 자동 수집	❌ 직접 설정해서 여러 시스템에서 가져와야 함
데이터 보관 기간	제한 있음 (무료는 최대 14개월 등)	장기 보관 가능
확장성	한정적 (구글 플랫폼 중심)	매우 유연 (SQL, 다양한 시스템 연동 가능)
분석 방식	대시보드, 필터, 시각화	SQL, BI 도구, 커스텀 리포트 등 다양함

• 신규 고객에게는 처음 90일 동안 사용할 수 있는 300달러 크레딧과, 매월 10GB 스토리지, 최대 1TB의 쿼리가 제공됨.

BigQuery 프로젝트 만들기

1. 구글 클라우드 콘솔에 접속해 로그인
2. 상단 네비게이션 바에서 '프로젝트 선택' 클릭
3. 프로젝트 선택 창이 뜨면 우측 상단의 '새 프로젝트' 클릭
4. '프로젝트 이름' 설정
5. 상단의 '프로젝트 선택' 버튼을 클릭한 후, 만든 프로젝트 선택
6. 'BigQuery에서 쿼리 실행' 버튼을 눌러 빅쿼리 콘솔 실행

BigQuery에 데이터를 연결하는 3가지 방법

• Google에서 제공하는 공개 데이터 연결: Google Merchandise Store
  1. 탐색기에서 '+ 추가' 버튼 클릭
  2. '공개 데이터 세트' 메뉴 클릭
  3. 검색창에서 'Merchandise' 검색
  4. '데이터세트 보기' 클릭
  5. 'bigquery-public-data' 프로젝트가 탐색기에 추가되었는지 확인
  6. 왼쪽의 세모 아이콘을 클릭해 메뉴를 펼치면 'google_analytics_sample' 데이터 세트를 확인 가능
• CSV 데이터 BigQuery에 직접 업로드
• GA4 데이터 BigQuery에 연결
  1. Google Analytics 계정 관리 화면 접속
  2. '제품 링크' 섹션에서 'BigQuery 링크' 클릭
  3. 빅쿼리 링크 창이 열리면 연결 버튼 클릭
  4. 연결 설정 창의 BigQuery 프로젝트 선택 항목에서 BigQuery 프로젝트 선택하기 클릭
  5. 프로젝트 선택 창에서 기존에 만들어놓은 빅쿼리 프로젝트를 선택하고, 확인 클릭

UNNEST

한 행에 데이터가 여러 개 들어가 있는 형태라, UNNEST를 사용한 SQL쿼리를 실행해야 원하는 결과를 얻을 수 있음.

(추가 예정)

 

계정당 1회, 90일 동안 $300 무료 크레딧이 제공되고, 크레딧이 모두 소진되기 전에는 추가 요금 부과되지 않는다지만 ... 호옥시 무료크레딧을 다 사용하고 나면 자동과금될까 쫄아서 아직 연결은 못 해봤다.
BigQuery로 SQL쿼리 실행하거나, BigQuery에 데이터 업로드하거나, Cloud Storage에 파일 저장하거나, Cloud Functions 또는 Cloud Run 실행하거나, 외부 API 호출하는 경우에만 크레딧이 소진된다고 한다.
일단 GA로 데이터 확인하는 것부터 차근차근 해보고 추후에 데이터가 좀 많이 쌓이면 BigQuery로 SQL쿼리도 실행해보는 걸로 하자!