ふりかえり データアナリスト、転職して1ヶ月目の試行錯誤
事業会社のデータアナリストに転職して1ヶ月が経った。現在は都度の分析依頼への対応を複数個と担当プロジェクトを進めているところ。まだ目立った成果にはつなげられていない。試行錯誤する1ヶ月の中で、自分なりに意識していたことを整理して残しておく。...
ふりかえり ふりかえり ChatGPTと進めるSQL練習
ChatGPTは優れた練習パートナーだったSQLにおけるChatGPTの活用方法は、「クエリを書いてもらう」だけではない。SQLは、たとえAIが出力してくれる時代になったとしても、正しいかどうかを自分で判断し、必要に応じて修正・最適化する力...
技術 スプレッドシートのデータをDifyで分析してSlackに定期通知する
これはGMOペパボディレクター Advent Calendar 20245日の記事です。日々のちょっとしたデータの保存先として、Google スプレッドシートを利用することはあると思う。しかし、保存するだけ保存して、活用しない・見なくなるこ...
その他 astro-notion-blog に触れてみる
このブログはずっとWordPressで運営しているけど、他の運営方法も試してみたいと思い、astro-notion-blogに触れてみた。astro-notion-blog に触れた経緯普段ブログの下書きはNotion上でMarkdownで...
技術 Search Consoleの過去データもBigQueryに蓄積する_4.Cloud Functionsで実行する
前段の記事：Search Consoleの過去データもBigQueryに蓄積する_1.全体像最後のこの記事では、以下の点について記載していく。Search Console API に取得上限数が設けられているため、任意の期間を指定して実行す...
技術 Search Consoleの過去データもBigQueryに蓄積する_3.APIからの取得結果の整形
以下の点について引き続き記載していく。Search Console の API で取得したデータと、公式エクスポート機能で入っているデータの形式は異なる。前者のデータをどのように整形したら後者に寄せられるか。※ ここでいう公式エクスポート機...
技術 Search Consoleの過去データもBigQueryに蓄積する_2.公式エクスポート機能の構成
前段の記事：Search Consoleの過去データもBigQueryに蓄積する_1.全体像前記事の以下の点について記載していく。Search Console の API で取得したデータと、公式エクスポート機能で入っているデータの形式は異...
技術 Search Consoleの過去データもBigQueryに蓄積する_1.全体像
目的以下のドキュメントで示されている Search Console データのエクスポート機能（以下「公式エクスポート機能」）では、設定以後の期間のデータが毎日エクスポートされるが、過去期間のデータはエクスポートされない。BigQuery へ...
技術 BigQueryにエクスポートしたGA4のデータと比較する
BigQueryにエクスポートしたGA4のデータの概要を把握するで、ある程度作りを把握したので、この記事ではBigQueryでクエリを書いて集計した結果とGA4のコンソールで表示した結果を見比べながら理解を深めていく。イベントについてGA4...
番組通知 不定期番組の放送を通知する仕組みをChatGPTと作る
これはGMOペパボディレクター Advent Calendar 202315日の記事です。HNK 番組表APIを利用して、登録したキーワードに合致する番組をチェックし、Slackに通知する仕組みを作ってみた。この記事では 1. 作成物の概要...
技術 BigQueryにエクスポートしたGA4のデータの概要を把握する
「GA4のデータを異なるGoogleアカウントからBigQueryにエクスポートする」の操作により、BigQueryにGA4のデータがエクスポートされるようになった。この記事では、エクスポートされたデータの作りやGAのコンソール上での見え方...
技術 GA4のデータを異なるGoogleアカウントからBigQueryにエクスポートする
UAからGA4になったことで、無料のGoogle AnalyticsでもBigQueryにエクスポートできるようになった※ ので、試しにやってみた。今回、Google CloudとGoogle Analytics のGoogleアカウントが...
自由研究 Healthデータのスプレッドシートへの送り込み
最近の活動量計等は歩数や体重などのデータをスマホに送信できることも多い。それが可能な活動量計と体脂肪計を利用しているが、アプリで時折変化を眺めて満足してしまうことが多かった。予め用意されたフォーマットで見るだけでなく自分で分析したいし、デー...
技術 グラフを動画化する
これは GMOペパボディレクター Advent Calendar 2022 17日の記事です。上記のような感じで、時系列かつ複数の要素が同時に起こるデータを動画化してみたので、その作成過程を記載する。（自分の手元では確認したのだけど、動画ち...
レシートOCR 類似度を用いてレシートOCRの精度を上げる
以前作成したレシート画像から品目や価格を読み取りCSV化する仕組みについて、品目の判定精度が低く困っていた。そこで、読み取った品目と過去履歴の品目との類似度を求める仕組みを組み込むことで、品目判定の精度が上がったのでやったことを記録する。困...
レシートOCR レーベンシュタイン距離の求め方を整理する
これは、類似度を用いてレシートOCRの精度を上げるで文字列間の類似度を判定するために使用した、レーベンシュタイン距離について自分の理解のためにまとめた記事となる。レーベンシュタイン距離とはレーベンシュタイン距離は、文字列間の類似度を距離とし...
技術 ワンライナーの演習用環境をDockerで作成する
1日1問、半年以内に習得 シェル・ワンライナー160本ノック という、シェルのワンライナー（その場かぎりの1行プログラム）の問題が160問載っている本を解いている。単純にコマンドの学習だけでなくLinuxやその周辺知識も学びがあるので、自分...
技術 GitHub Actionsでlinterとformatterを実行する
GitHub Actionsでlinterとformatterが自動で実行されるようにするため、学習を兼ねて、GitHubリポジトリの環境を以下手順で改修していく。1. パッケージ管理をPipenvからPoetryに切り替える2. lint...
技術 linterとformatterを導入する
GitHub Actionsでlinterとformatterが自動で実行されるようにするため、学習を兼ねて、GitHubリポジトリの環境を以下手順で改修していく。1. パッケージ管理をPipenvからPoetryに切り替える2. lint...
技術 PipenvからPoetryに切り替える
GitHub Actionsでlinterとformatterが自動で実行されるようにするため、学習を兼ねてGitHubリポジトリの環境を以下手順で改修していく。1. パッケージ管理をPipenvからPoetryに切り替える（この記事）2....