その他 astro-notion-blog に触れてみる
このブログはずっとWordPressで運営しているけど、他の運営方法も試してみたいと思い、astro-notion-blogに触れてみた。 astro-notion-blog に触れた経緯 普段ブログの下書きはNotion上でMarkdow...
その他 技術 Search Consoleの過去データもBigQueryに蓄積する_4.Cloud Functionsで実行する
前段の記事：Search Consoleの過去データもBigQueryに蓄積する_1.全体像 最後のこの記事では、以下の点について記載していく。 Search Console API に取得上限数が設けられているため、任意の期間を指定して実...
技術 Search Consoleの過去データもBigQueryに蓄積する_3.APIからの取得結果の整形
以下の点について引き続き記載していく。 Search Console の API で取得したデータと、公式エクスポート機能で入っているデータの形式は異なる。前者のデータをどのように整形したら後者に寄せられるか。 ※ ここでいう公式エクスポー...
技術 Search Consoleの過去データもBigQueryに蓄積する_2.公式エクスポート機能の構成
前段の記事：Search Consoleの過去データもBigQueryに蓄積する_1.全体像 前記事の以下の点について記載していく。 Search Console の API で取得したデータと、公式エクスポート機能で入っているデータの形式...
技術 Search Consoleの過去データもBigQueryに蓄積する_1.全体像
目的 以下のドキュメントで示されている Search Console データのエクスポート機能（以下「公式エクスポート機能」）では、設定以後の期間のデータが毎日エクスポートされるが、過去期間のデータはエクスポートされない。 BigQuery...
技術 BigQueryにエクスポートしたGA4のデータと比較する
BigQueryにエクスポートしたGA4のデータの概要を把握するで、ある程度作りを把握したので、この記事ではBigQueryでクエリを書いて集計した結果とGA4のコンソールで表示した結果を見比べながら理解を深めていく。 イベントについて G...
番組通知 不定期番組の放送を通知する仕組みをChatGPTと作る
これはGMOペパボディレクター Advent Calendar 202315日の記事です。 HNK 番組表APIを利用して、登録したキーワードに合致する番組をチェックし、Slackに通知する仕組みを作ってみた。 この記事では 1. 作成物の...
技術 BigQueryにエクスポートしたGA4のデータの概要を把握する
「GA4のデータを異なるGoogleアカウントからBigQueryにエクスポートする」の操作により、BigQueryにGA4のデータがエクスポートされるようになった。 この記事では、エクスポートされたデータの作りやGAのコンソール上での見え...
技術 GA4のデータを異なるGoogleアカウントからBigQueryにエクスポートする
UAからGA4になったことで、無料のGoogle AnalyticsでもBigQueryにエクスポートできるようになった※ ので、試しにやってみた。今回、Google CloudとGoogle Analytics のGoogleアカウントが...
自由研究 Healthデータのスプレッドシートへの送り込み
最近の活動量計等は歩数や体重などのデータをスマホに送信できることも多い。それが可能な活動量計と体脂肪計を利用しているが、アプリで時折変化を眺めて満足してしまうことが多かった。予め用意されたフォーマットで見るだけでなく自分で分析したいし、デー...
技術 グラフを動画化する
これは GMOペパボディレクター Advent Calendar 2022 17日の記事です。 上記のような感じで、時系列かつ複数の要素が同時に起こるデータを動画化してみたので、その作成過程を記載する。（自分の手元では確認したのだけど、動画...
レシートOCR 類似度を用いてレシートOCRの精度を上げる
以前作成したレシート画像から品目や価格を読み取りCSV化する仕組みについて、品目の判定精度が低く困っていた。そこで、読み取った品目と過去履歴の品目との類似度を求める仕組みを組み込むことで、品目判定の精度が上がったのでやったことを記録する。 ...
レシートOCR レーベンシュタイン距離の求め方を整理する
これは、類似度を用いてレシートOCRの精度を上げるで文字列間の類似度を判定するために使用した、レーベンシュタイン距離について自分の理解のためにまとめた記事となる。 レーベンシュタイン距離とは レーベンシュタイン距離は、文字列間の類似度を距離...
技術 ワンライナーの演習用環境をDockerで作成する
1日1問、半年以内に習得 シェル・ワンライナー160本ノック という、シェルのワンライナー（その場かぎりの1行プログラム）の問題が160問載っている本を解いている。 単純にコマンドの学習だけでなくLinuxやその周辺知識も学びがあるので、自...
技術 GitHub Actionsでlinterとformatterを実行する
GitHub Actionsでlinterとformatterが自動で実行されるようにするため、学習を兼ねて、GitHubリポジトリの環境を以下手順で改修していく。 1. パッケージ管理をPipenvからPoetryに切り替える2. lin...
技術 linterとformatterを導入する
GitHub Actionsでlinterとformatterが自動で実行されるようにするため、学習を兼ねて、GitHubリポジトリの環境を以下手順で改修していく。 1. パッケージ管理をPipenvからPoetryに切り替える2. lin...
技術 PipenvからPoetryに切り替える
GitHub Actionsでlinterとformatterが自動で実行されるようにするため、学習を兼ねてGitHubリポジトリの環境を以下手順で改修していく。 1. パッケージ管理をPipenvからPoetryに切り替える（この記事）2...
技術 BigQuery: TIMESTAMPに対し日付を指定する際の間違い事例集
BigQueryでTIMESTAMPのカラムに対し日付を指定する際に、自分が今まで誤って行った方法をまとめてみる。 課題設定 startTime というTIMESTAMP型のカラムがあるテーブルを対象として、 startTime -----...
技術 BigQueryへのデータ読み込み_3.Cloud Data FusionでCSVを整形する
前の記事では、Cloud Functionsを使い、Cloud StorageにCSVファイルが追加されたらBigQueryに自動で読み込むことをしてみた。この際、CSVは予め手動で整形した上でCloud Storageに置いていた。 この...
ふりかえり ふりかえり方法のふりかえり2021
これは GMOペパボ ディレクター Advent Calendar 2021 の13日の記事です。 今年2021年は、個人のふりかえりを週次で行ってみた。 もともと日記を（日次で）書いてはいたけど、出来事を数行おざなりに書く程度だった。1日...