技術

前段の記事：Search Consoleの過去データもBigQueryに蓄積する_1.全体像 最後のこの記事では、以下の点について記載していく。 Search Console API に取得上限数が設けられているため、任意の期間を指定して実...

以下の点について引き続き記載していく。 Search Console の API で取得したデータと、公式エクスポート機能で入っているデータの形式は異なる。前者のデータをどのように整形したら後者に寄せられるか。 ※ ここでいう公式エクスポー...

前段の記事：Search Consoleの過去データもBigQueryに蓄積する_1.全体像 前記事の以下の点について記載していく。 Search Console の API で取得したデータと、公式エクスポート機能で入っているデータの形式...

目的 以下のドキュメントで示されている Search Console データのエクスポート機能（以下「公式エクスポート機能」）では、設定以後の期間のデータが毎日エクスポートされるが、過去期間のデータはエクスポートされない。 BigQuery...

BigQueryにエクスポートしたGA4のデータの概要を把握するで、ある程度作りを把握したので、この記事ではBigQueryでクエリを書いて集計した結果とGA4のコンソールで表示した結果を見比べながら理解を深めていく。 イベントについて G...

「GA4のデータを異なるGoogleアカウントからBigQueryにエクスポートする」の操作により、BigQueryにGA4のデータがエクスポートされるようになった。 この記事では、エクスポートされたデータの作りやGAのコンソール上での見え...

UAからGA4になったことで、無料のGoogle AnalyticsでもBigQueryにエクスポートできるようになった※ ので、試しにやってみた。今回、Google CloudとGoogle Analytics のGoogleアカウントが...

これは GMOペパボディレクター Advent Calendar 2022 17日の記事です。 上記のような感じで、時系列かつ複数の要素が同時に起こるデータを動画化してみたので、その作成過程を記載する。（自分の手元では確認したのだけど、動画...

1日1問、半年以内に習得 シェル・ワンライナー160本ノック という、シェルのワンライナー（その場かぎりの1行プログラム）の問題が160問載っている本を解いている。 単純にコマンドの学習だけでなくLinuxやその周辺知識も学びがあるので、自...

GitHub Actionsでlinterとformatterが自動で実行されるようにするため、学習を兼ねて、GitHubリポジトリの環境を以下手順で改修していく。 1. パッケージ管理をPipenvからPoetryに切り替える2. lin...

GitHub Actionsでlinterとformatterが自動で実行されるようにするため、学習を兼ねて、GitHubリポジトリの環境を以下手順で改修していく。 1. パッケージ管理をPipenvからPoetryに切り替える2. lin...

GitHub Actionsでlinterとformatterが自動で実行されるようにするため、学習を兼ねてGitHubリポジトリの環境を以下手順で改修していく。 1. パッケージ管理をPipenvからPoetryに切り替える（この記事）2...

BigQueryでTIMESTAMPのカラムに対し日付を指定する際に、自分が今まで誤って行った方法をまとめてみる。 課題設定 startTime というTIMESTAMP型のカラムがあるテーブルを対象として、 startTime -----...

前の記事では、Cloud Functionsを使い、Cloud StorageにCSVファイルが追加されたらBigQueryに自動で読み込むことをしてみた。この際、CSVは予め手動で整形した上でCloud Storageに置いていた。 この...

前の記事では、手動でBigQueryにデータを読み込む方法を試した。この記事では、データが新しく生成されたら自動で読み込みを行いたいケースを想定し、「Cloud StorageにCSVファイルが追加されたら、自動でBigQueryにデータを...

漠然とGCP怖いな（気づかずに課金されそう、サービスが広大で理解しきれなさそうなど）と思っていたけど、ちょっとでも慣れようと色々触ってみることにした。 データを格納された状態からしかBigQueryに触ったことがなかったので、データを格納す...

MySQLをインストールして、CSVファイルからテーブルを作るところまでやってみた過程を記録する。きっかけは、趣味で計測している時間の使い方記録が11,000行を超え、Excelによる取り回しが重くなってきていたこと。CSVのままPytho...

統計検定2級の過去問を解いていた時、似た単語がよく出てきて「何でしたっけ…」となっていた。忘れないうちに、それらの単語を書き出してみる。 標本の抽出方法 母集団の要素全てに対して調べることは現実的にできない場合、その中からいくつか取り出して...

今、判別分析について学んでいて、少しずつわかってきた(ような気がする)ので、現時点で理解した(と思っている)内容をまとめてみる。 ※ 以下、私の理解不足による誤りがある可能性もある。 1  判別分析とは何か ある計測・観測した値から、結果(...