Search Consoleの過去データもBigQueryに蓄積する_1.全体像

2024/05/05

目的

以下のドキュメントで示されている Search Console データのエクスポート機能（以下「公式エクスポート機能」）では、設定以後の期間のデータが毎日エクスポートされるが、過去期間のデータはエクスポートされない。

BigQuery への Search Console データの一括エクスポートについて

設定前の期間も BigQuery にデータを入れて分析できる状態を作りたいと思い、今回その仕組みを作ってみた。

※ 設定前の期間のデータは API で取得するため、無限に遡れるわけではなく Search Console にある過去 16 か月間まで

作った仕組みの概要

  1. 以下の操作を行うPythonコードを作成
    ・Search Console から API を通じてデータを取得
    ・公式エクスポート機能で BigQuery にエクスポートされている形式になるべく合わせて、取得したデータを整形
    ・整形したデータを BigQuery に挿入
  2. 1.のコードを Cloud Functions で実行するよう設定
  3. 2.のCloud Functions を Cloud Scheculer で実行
    Search Console の API に取得上限数が設けられているため、検索数が多いサイトだと一気に実行できない場合がある。そのため、1日に任意の日数分取得する設定をした上で、毎日期間をずらして実行する形式にしている。

コード

コードは以下に置いている。
https://github.com/yrarchi/search_console_to_bigquery

後続の記事で、作成時に検討が必要だった下記の点について詳細を記載する。

タイトルとURLをコピーしました