技術 BigQueryへのデータ読み込み_2.Cloud Storageにデータ追加されたら自動で読み込む
前の記事では、手動でBigQueryにデータを読み込む方法を試した。この記事では、データが新しく生成されたら自動で読み込みを行いたいケースを想定し、「Cloud StorageにCSVファイルが追加されたら、自動でBigQueryにデータを...
技術 技術 BigQueryへのデータ読み込み_1.まずは手動で直接入れてみる
漠然とGCP怖いな（気づかずに課金されそう、サービスが広大で理解しきれなさそうなど）と思っていたけど、ちょっとでも慣れようと色々触ってみることにした。 データを格納された状態からしかBigQueryに触ったことがなかったので、データを格納す...
ふりかえり Notionで学習管理をしてみた半年のふりかえり
Notionを利用して、自分が学びたいことの進捗管理を半年間やってみた。 具体的にどうやったか、そこから気づいた改善点についてまとめる。 課題認識 今まで、なんとなく「これ勉強しないと」「こんなの作ってみよう」と脳内で考えて漠然と進めてきた...
レシートOCR OpenCVを利用した矩形検出の試行錯誤_エッジ検出・適応的閾値処理
前記事で示したOpenCVを用いた矩形検出の改善案のうち、ここでは下記2案の内容について記載する。 ・改善案3 エッジ検出を使う・改善案4 適応的閾値処理を使う 環境 Python 3.7.8OpenCV-Python 4.5.1.48 改...
レシートOCR OpenCVを利用した矩形検出の試行錯誤_減色・色空間の変更
前記事で示したOpenCVを用いた矩形検出の改善案のうち、ここでは下記2案の内容について記載する。レシートを白・背景を黒に2値化できるような変換を目指す。 ・改善案1 減色する・改善案2 HSV色空間にする 環境 Python 3.7.8O...
レシートOCR OpenCVを利用した矩形検出の試行錯誤
以前作ったレシートのOCRアプリを改善するため、OpenCVを利用した矩形検出について試行錯誤を行った。 環境 Python 3.7.8OpenCV-Python 4.5.1.48 課題設定 レシートOCRアプリにおいて、一部のレシートが正...
自由研究 大人こそ自由研究をしよう
これはGMOペパボ ディレクター Advent Calendar 2020の18日目の記事です。 自由研究が好きだ。 自由研究は子どもの特権ではない。むしろ、大人になってからの方が基礎知識や考える力、経済力がついている分、研究できる範囲は広...
レシートOCR レシートを読み取ってCSVに変換するデスクトップアプリを作った
こんな感じで、レシートを検知して切取り → 1枚ずつOCR → 誤って読み取ったところの修正・付加情報の追加を手作業で受け付け → CSVで保存 …という流れをGUI上で行えるようにした。 コードはこちら： きっかけ 元々手作業でレシートの...
ふりかえり Couseraの機械学習講座を受講した
オンライン教育サービスであるCouseraで、機械学習の基礎的な学習講座として有名なMachine Learning講座を受講した。 前々から気になりつつ、「自分がついていけるレベルだろうか」「英語わかんないしな」（講義には日本語訳がついて...
ふりかえり データ分析者がCS経験から得たこと
※ ここでのCSはカスタマーサービス（コンピュータサイエンスではない） 昨年、分析を中心としたディレクター職から、CS職に異動して半年ほど過ごした。この半年間の経験から何を得て、意識や行動がどう変わったのか、再びディレクターに戻り数ヶ月経っ...
日陰ルート 暖かいルートを検索するWebアプリを作ろうとした話_うまくいかなかった部分
こちらでふりかえりを書いたWebアプリについて、デプロイでうまくいかなかった部分を記録しておく。 概要 ローカルでは一応意図した形で動いてくれていたDjangoをHerokuにデプロイしたところ、エラーが出てうまく動かなかった。そして、その...
日陰ルート 暖かいルートを検索するWebアプリを作ろうとした話_作業経過
初めてWebアプリを作ろうとして、方法の検索からデプロイ（失敗した）まで色々試行錯誤したので、経過を記録しておく。 目的 そもそも作ろうと思ったのは以下のようなことが理由だった。 途中まで作った日陰の計算を一般的に使えるものにしたい以前、道...
ふりかえり 何に時間を使ったか_2019上期
統計検定を受けた時のふりかえりで「何に時間をかけているか意識をしよう」と考えてから、ちまちまと記録をしていたので、半年間の時間の使い方をふりかえってみる。以下、自分で「学び」系の区分に入れていた時間の内訳を記載する（なので、一般に「これは学...
日陰ルート 「『夏には日陰を歩きたい』という欲望を満たすために計算する」のふりかえり
やろうと思った目的 GW10日間チャレンジ今回、10日間という例年にない長期休みだったため、普段の勉強とは違い、何か具体的な課題に取り組みたいと考えた。 課題への時間の見積もりができるようになりたい業務で分析課題を行う際、「どのくらいででき...
日陰ルート 「夏には日陰を歩きたい」という欲望を満たすために計算する
目的 昨年の夏、外出のたびに「暑い…少しでも日陰を歩きたい」と思っていた。出かける前に、道路の方位と太陽の位置から影の出来かたを脳内でなんとなくシミュレートするんだけど、だいたい実際の影とずれていた。夏を迎える前に、時間帯ごとの影の位置を求...
技術 MySQLでCSVファイルからデータベースを作る
MySQLをインストールして、CSVファイルからテーブルを作るところまでやってみた過程を記録する。きっかけは、趣味で計測している時間の使い方記録が11,000行を超え、Excelによる取り回しが重くなってきていたこと。CSVのままPytho...
ふりかえり 楽しんで働くへの現時点の返答
前職にいた時、必要以上に真面目に取り組むことで許されようとする悪癖があった（今もちょっと残っている）。 期限に間に合わせるため、土日や年末年始にも非公式に職場にやってきて働くとか、そういう行動のことです。 この行動は、前職においておおむね批...
技術 混乱した統計検定2級の用語をまとめる
統計検定2級の過去問を解いていた時、似た単語がよく出てきて「何でしたっけ…」となっていた。忘れないうちに、それらの単語を書き出してみる。 標本の抽出方法 母集団の要素全てに対して調べることは現実的にできない場合、その中からいくつか取り出して...
ふりかえり 統計検定2級を受けた
先日、統計検定2級の試験を受けた。感触がいまいちだった1ので、結果が出る前にふりかえりを書いてしまおうと思う。（後日、運よく受かっていたことがわかった） 知識のついていく過程 基本的に、過去問2を解くことを中心に学習した。その合間に、公式の...
その他 デスクをホワイトボード化した話
ホワイトボード化までの思考回路 きっかけは、思いついたことをふせんにちまちま書いて壁に貼っていたことだった。 ふせんは狭い。ぼんやりと考えたこととかは切り捨てて内容をまとめ、収まるように調整してしまう。とりあえず書き出したい。余計なことを考...