仕事でPythonで作っていたデータ基盤システムにリンター/フォーマッターを導入したので選定した時のこと書いてみます。 リンターとフォーマッターは混在しがちですがリンターはエラーを指摘してくれるが自動修正はフォーマッターと呼ばれるツールと考えてく…

GCPのComposer環境にArtifact Registryに保存していた社内Pythonパッケージをinstallする時にタイムアウトして結構ハマりました。 こんなコマンド実行したときのエラー gcloud composer environments update project-name \ --location asia-northeast1 \ --…

仕事でDataflowで動かすApache BeamのPythonスクリプトを書いてたんですがコードを共通化する時にArtifact Registryを使う必要がありそうだったのでローカルでPython共通パッケージをビルドしてArtifact RegistryにpushできるDocker環境を作りました。 方針…

www.shuwasystem.co.jp とりあえず写経はせず読んだだけですが「Python実践機械学習システム100本ノック」のざっくり感想。 「0から学ぶディープラーニング」みたいな本は機械学習のブラックボックス的なところを実装しながら理解させてくれるのに対してこの…

仕事でGCPのDataflowを検証することになりローカルからdockerでPythonスクリプトを実行してGCPにデプロイできる環境を作ってみました。 動かすコード GCPの公式サイトに書いてあったDataflowからPubsubに書き込むデモを動かしてみます。 Dataflow から Pub/S…

一度ざっと読んだものの理解できず本棚に放り込んだままになってたオライリーの「ゼロから作るDeep Learning」を読み返した。 文系卒で微分や行列計算などは習っていないけどその知識は必要そうなので高校生向けの本をざっと読んでおいた。 数学知識は付け焼…

普通のバックエンドエンジニアでも機械学習に関わる機会は割とありそうだしちょっと調べとくか。。 と思って機械学習周りの本いろいろ読んでたんだけど、今の自分の前提知識だと「自然言語処理アプリケーション開発入門」がちょうどいい感じだった。 https:/…

NuxtとPython FastAPI、Postgresqlでブログサービスをサクッと作ってVercelとHerokuで無料デプロイしてみた 作ったもの blog-app-frontend-red.vercel.app ソースコード github.com github.com 作った動機 ブログサービスは昔Railsで作ったことあるんだけど…

しばらくReactを学び直していて離れていたが言語処理100本ノック再開して７章まで完了した。 React学び直した時の記事 https://qiita.com/yikegaya/items/5f525870d6957ec0ee63 この先は機械学習がテーマで重そうなので一旦ここを区切りとして振り返り。 6章…

思い立って言語処理100本ノックに挑戦してとりあえず半分（第５章）まで動くようになったので感想 そもそも言語処理100本ノックってなに 言語処理100本ノック 2015 ネットで無料で公開されている有名な自然言語処理プログラミングの問題集。サイト開いても一…