技術 BigQuery: TIMESTAMPに対し日付を指定する際の間違い事例集
BigQueryでTIMESTAMPのカラムに対し日付を指定する際に、自分が今まで誤って行った方法をまとめてみる。課題設定startTime というTIMESTAMP型のカラムがあるテーブルを対象として、startTime---------...
技術 技術 BigQueryへのデータ読み込み_3.Cloud Data FusionでCSVを整形する
前の記事では、Cloud Functionsを使い、Cloud StorageにCSVファイルが追加されたらBigQueryに自動で読み込むことをしてみた。この際、CSVは予め手動で整形した上でCloud Storageに置いていた。この記...
ふりかえり ふりかえり方法のふりかえり2021
これは GMOペパボ ディレクター Advent Calendar 2021 の13日の記事です。今年2021年は、個人のふりかえりを週次で行ってみた。もともと日記を（日次で）書いてはいたけど、出来事を数行おざなりに書く程度だった。1日の終...
技術 BigQueryへのデータ読み込み_2.Cloud Storageにデータ追加されたら自動で読み込む
前の記事では、手動でBigQueryにデータを読み込む方法を試した。この記事では、データが新しく生成されたら自動で読み込みを行いたいケースを想定し、「Cloud StorageにCSVファイルが追加されたら、自動でBigQueryにデータを...
技術 BigQueryへのデータ読み込み_1.まずは手動で直接入れてみる
漠然とGCP怖いな（気づかずに課金されそう、サービスが広大で理解しきれなさそうなど）と思っていたけど、ちょっとでも慣れようと色々触ってみることにした。データを格納された状態からしかBigQueryに触ったことがなかったので、データを格納する...
ふりかえり Notionで学習管理をしてみた半年のふりかえり
Notionを利用して、自分が学びたいことの進捗管理を半年間やってみた。 具体的にどうやったか、そこから気づいた改善点についてまとめる。課題認識今まで、なんとなく「これ勉強しないと」「こんなの作ってみよう」と脳内で考えて漠然と進めてきた。そ...
レシートOCR OpenCVを利用した矩形検出の試行錯誤_エッジ検出・適応的閾値処理
前記事で示したOpenCVを用いた矩形検出の改善案のうち、ここでは下記2案の内容について記載する。・改善案3 エッジ検出を使う・改善案4 適応的閾値処理を使う環境Python 3.7.8OpenCV-Python 4.5.1.48改善案3 ...
レシートOCR OpenCVを利用した矩形検出の試行錯誤_減色・色空間の変更
前記事で示したOpenCVを用いた矩形検出の改善案のうち、ここでは下記2案の内容について記載する。レシートを白・背景を黒に2値化できるような変換を目指す。・改善案1 減色する・改善案2 HSV色空間にする環境Python 3.7.8Open...
レシートOCR OpenCVを利用した矩形検出の試行錯誤
以前作ったレシートのOCRアプリを改善するため、OpenCVを利用した矩形検出について試行錯誤を行った。環境Python 3.7.8OpenCV-Python 4.5.1.48課題設定レシートOCRアプリにおいて、一部のレシートが正しく検出...
自由研究 大人こそ自由研究をしよう
これはGMOペパボ ディレクター Advent Calendar 2020の18日目の記事です。自由研究が好きだ。自由研究は子どもの特権ではない。むしろ、大人になってからの方が基礎知識や考える力、経済力がついている分、研究できる範囲は広がっ...
レシートOCR レシートを読み取ってCSVに変換するデスクトップアプリを作った
こんな感じで、レシートを検知して切取り → 1枚ずつOCR → 誤って読み取ったところの修正・付加情報の追加を手作業で受け付け → CSVで保存 …という流れをGUI上で行えるようにした。コードはこちら： きっかけ元々手作業でレシートの入力...
ふりかえり Couseraの機械学習講座を受講した
オンライン教育サービスであるCouseraで、機械学習の基礎的な学習講座として有名なMachine Learning講座を受講した。前々から気になりつつ、「自分がついていけるレベルだろうか」「英語わかんないしな」（講義には日本語訳がついてい...
ふりかえり データ分析者がCS経験から得たこと
※ ここでのCSはカスタマーサービス（コンピュータサイエンスではない）昨年、分析を中心としたディレクター職から、CS職に異動して半年ほど過ごした。この半年間の経験から何を得て、意識や行動がどう変わったのか、再びディレクターに戻り数ヶ月経った...
日陰ルート 暖かいルートを検索するWebアプリを作ろうとした話_うまくいかなかった部分
こちらでふりかえりを書いたWebアプリについて、デプロイでうまくいかなかった部分を記録しておく。概要ローカルでは一応意図した形で動いてくれていたDjangoをHerokuにデプロイしたところ、エラーが出てうまく動かなかった。そして、そのエラ...
日陰ルート 暖かいルートを検索するWebアプリを作ろうとした話_作業経過
初めてWebアプリを作ろうとして、方法の検索からデプロイ（失敗した）まで色々試行錯誤したので、経過を記録しておく。目的そもそも作ろうと思ったのは以下のようなことが理由だった。途中まで作った日陰の計算を一般的に使えるものにしたい以前、道路にか...
ふりかえり 何に時間を使ったか_2019上期
統計検定を受けた時のふりかえりで「何に時間をかけているか意識をしよう」と考えてから、ちまちまと記録をしていたので、半年間の時間の使い方をふりかえってみる。以下、自分で「学び」系の区分に入れていた時間の内訳を記載する（なので、一般に「これは学...
日陰ルート 「『夏には日陰を歩きたい』という欲望を満たすために計算する」のふりかえり
やろうと思った目的GW10日間チャレンジ今回、10日間という例年にない長期休みだったため、普段の勉強とは違い、何か具体的な課題に取り組みたいと考えた。課題への時間の見積もりができるようになりたい業務で分析課題を行う際、「どのくらいでできるか...
日陰ルート 「夏には日陰を歩きたい」という欲望を満たすために計算する
目的昨年の夏、外出のたびに「暑い…少しでも日陰を歩きたい」と思っていた。出かける前に、道路の方位と太陽の位置から影の出来かたを脳内でなんとなくシミュレートするんだけど、だいたい実際の影とずれていた。夏を迎える前に、時間帯ごとの影の位置を求め...
技術 MySQLでCSVファイルからデータベースを作る
MySQLをインストールして、CSVファイルからテーブルを作るところまでやってみた過程を記録する。きっかけは、趣味で計測している時間の使い方記録が11,000行を超え、Excelによる取り回しが重くなってきていたこと。CSVのままPytho...
ふりかえり 楽しんで働くへの現時点の返答
前職にいた時、必要以上に真面目に取り組むことで許されようとする悪癖があった（今もちょっと残っている）。期限に間に合わせるため、土日や年末年始にも非公式に職場にやってきて働くとか、そういう行動のことです。この行動は、前職においておおむね批判さ...