技術

これはGMOペパボディレクター Advent Calendar 20245日の記事です。日々のちょっとしたデータの保存先として、Google スプレッドシートを利用することはあると思う。しかし、保存するだけ保存して、活用しない・見なくなるこ...

前段の記事：Search Consoleの過去データもBigQueryに蓄積する_1.全体像最後のこの記事では、以下の点について記載していく。Search Console API に取得上限数が設けられているため、任意の期間を指定して実行す...

以下の点について引き続き記載していく。Search Console の API で取得したデータと、公式エクスポート機能で入っているデータの形式は異なる。前者のデータをどのように整形したら後者に寄せられるか。※ ここでいう公式エクスポート機...

前段の記事：Search Consoleの過去データもBigQueryに蓄積する_1.全体像前記事の以下の点について記載していく。Search Console の API で取得したデータと、公式エクスポート機能で入っているデータの形式は異...

目的以下のドキュメントで示されている Search Console データのエクスポート機能（以下「公式エクスポート機能」）では、設定以後の期間のデータが毎日エクスポートされるが、過去期間のデータはエクスポートされない。BigQuery へ...

BigQueryにエクスポートしたGA4のデータの概要を把握するで、ある程度作りを把握したので、この記事ではBigQueryでクエリを書いて集計した結果とGA4のコンソールで表示した結果を見比べながら理解を深めていく。イベントについてGA4...

「GA4のデータを異なるGoogleアカウントからBigQueryにエクスポートする」の操作により、BigQueryにGA4のデータがエクスポートされるようになった。この記事では、エクスポートされたデータの作りやGAのコンソール上での見え方...

UAからGA4になったことで、無料のGoogle AnalyticsでもBigQueryにエクスポートできるようになった※ ので、試しにやってみた。今回、Google CloudとGoogle Analytics のGoogleアカウントが...

これは GMOペパボディレクター Advent Calendar 2022 17日の記事です。上記のような感じで、時系列かつ複数の要素が同時に起こるデータを動画化してみたので、その作成過程を記載する。（自分の手元では確認したのだけど、動画ち...

1日1問、半年以内に習得 シェル・ワンライナー160本ノック という、シェルのワンライナー（その場かぎりの1行プログラム）の問題が160問載っている本を解いている。単純にコマンドの学習だけでなくLinuxやその周辺知識も学びがあるので、自分...

GitHub Actionsでlinterとformatterが自動で実行されるようにするため、学習を兼ねて、GitHubリポジトリの環境を以下手順で改修していく。1. パッケージ管理をPipenvからPoetryに切り替える2. lint...

GitHub Actionsでlinterとformatterが自動で実行されるようにするため、学習を兼ねて、GitHubリポジトリの環境を以下手順で改修していく。1. パッケージ管理をPipenvからPoetryに切り替える2. lint...

GitHub Actionsでlinterとformatterが自動で実行されるようにするため、学習を兼ねてGitHubリポジトリの環境を以下手順で改修していく。1. パッケージ管理をPipenvからPoetryに切り替える（この記事）2....

BigQueryでTIMESTAMPのカラムに対し日付を指定する際に、自分が今まで誤って行った方法をまとめてみる。課題設定startTime というTIMESTAMP型のカラムがあるテーブルを対象として、startTime---------...

前の記事では、Cloud Functionsを使い、Cloud StorageにCSVファイルが追加されたらBigQueryに自動で読み込むことをしてみた。この際、CSVは予め手動で整形した上でCloud Storageに置いていた。この記...

前の記事では、手動でBigQueryにデータを読み込む方法を試した。この記事では、データが新しく生成されたら自動で読み込みを行いたいケースを想定し、「Cloud StorageにCSVファイルが追加されたら、自動でBigQueryにデータを...

漠然とGCP怖いな（気づかずに課金されそう、サービスが広大で理解しきれなさそうなど）と思っていたけど、ちょっとでも慣れようと色々触ってみることにした。データを格納された状態からしかBigQueryに触ったことがなかったので、データを格納する...

MySQLをインストールして、CSVファイルからテーブルを作るところまでやってみた過程を記録する。きっかけは、趣味で計測している時間の使い方記録が11,000行を超え、Excelによる取り回しが重くなってきていたこと。CSVのままPytho...

統計検定2級の過去問を解いていた時、似た単語がよく出てきて「何でしたっけ…」となっていた。忘れないうちに、それらの単語を書き出してみる。標本の抽出方法母集団の要素全てに対して調べることは現実的にできない場合、その中からいくつか取り出して調べ...

今、判別分析について学んでいて、少しずつわかってきた(ような気がする)ので、現時点で理解した(と思っている)内容をまとめてみる。※ 以下、私の理解不足による誤りがある可能性もある。1  判別分析とは何かある計測・観測した値から、結果(どちら...