AWS GlueでRDSにデータ書き込もうと思ったら結構苦戦した

Glue AWS

仕事でGCPで扱っているデータをAWSで運用しているサービスに共有するパイプラインのアーキテクチャを考えていてAWSのETLサービスであるGlueを試したんですが結構苦戦しました。 S3のCSVファイルをRDSに登録したいだけだったのですぐ終わるかな、、と思いきや…

2022-05-13

AWS Cognitoのメール送信にSESを設定する時のエラー対応

AWS Cognito AWS SES

AWS Cognitoの検証メール送信数はデフォルトだと上限があるのでSESを設定する必要があるけど設定する時のエラーメッセージがわかりにくてハマった。 Cognito管理画面の「E メール設定を編集」から対象のメールアドレス（Identity typeはDomain）を選択して「…

2022-05-13

RailsのセッションがElastiCacheに書き込めなかった時の対応メモ

Rails AWS Redis ElastiCache

RailsのセッションをAWSのElastiCache Redisで管理しようとしていたがしばらくsession_idを保存できずハマった。Railsのバージョンは7.0.2 接続できない時の確認方法の備忘録確認方法まずrails consoleからRedisに繋がるか確認する。 redisのインスタンス…

2021-10-02

Railsデプロイ時の認証周りの対応メモ

Rails ECS AWS nginx

最近新規で作ったRailsサービスのデプロイ作業してたら認証周りの対応が地味に面倒だったので対応メモ。前提 JWTで認証するREST APIを提供するRailsサービス Railsのバージョンは6.1.4 AWS ECS上のコンテナで稼働 RailsはPumaで起動してNginxとsocket通信さ…

2021-07-27

ECS環境で504Gatewayエラーに軽くハマった

ECS AWS

ECS環境構築用のterraformの設定値を変数に切り出す作業をしてたんだけど、504Gatewayエラーが出るようになって軽くハマったのでメモ。調べたところこの記事の内容とほぼ同じ事象だったらしくVPCのCIDRブロックを変数に切り出した際にセキュリティグループ…

2021-07-11

AWS Internet Gatewayが原因でterraform destroyが終わらない時の対応メモ

terraform aws

terraformで構築したAWSのWebサービス実行環境をterraform destroyコマンドで削除しようとするとInternet Gatewayを削除しようとするところでStill destroying...のメッセージがコンソールに表示され続けて実行が終わらなくなった。対応以下の対応で直りま…

2021-06-26

RailsのECS環境を構築した時のエラー対応振り返り

ECS terraform AWS Rails

Rails製のサービスを動かすECS環境をterraformで構築したんだけど結構苦労したんでハマったところ振り返ってみる。一度Goで作ったAPIをECSで動かしたことはあったんだけどその時には踏まなかった地雷も結構踏んでしんどかった。前提現状EC2で稼働している…

2021-04-01

terraformでRDSに接続するAPIサーバをECSにデプロイする

ECS AWS terraform

terraformでGoのAPIを動かすECSを作ろうとした時、DBの接続で結構手こずった。初回のterraform実行でRDS構築してさらにECR（コンテナのレジストリ）からdockerイメージをpullしてECS内にコンテナを立ち上げるんだけど、その時に以下の２点がうまくできずに…

2021-03-25

public access可能なRDSをterraformで作成した時のメモ

AWS terraform

実運用ではダメだけどちょっと試したいことがあってpublic access可能なRDSをterraformで作った時のメモ必要なこと RDSのpublicly_accessibleをtrueにする VPCのenable_dns_supportとenable_dns_hostnamesをtrueにする RDSに紐づいているsubnetのaccessをpu…

2021-03-18

terraformで AWS acmの取得、破棄を繰り返してたら上限超えたので緩和申請した

AWS terraform

httpsを使いたくてterraformからAWS Certificate ManagerでSSL/TLS 証明書を発行してたんだけど使ってる個人AWSアカウントだと上限が10だったらしくてterraform applyとdestroyを繰り返してたら超えて発行できなくなってしまった。対応 AWSのサポートセンタ…

2021-03-11

ECS環境に必要な最小限のリソース

ECS AWS terraform

ECS用のterraform思っていろいろ調べたりいじったりしてみたんだけど、AWSのいろんなサービスと絡んでいて最低限必要なリソースがよくわからないのでまとめてみる。とりあえずterraformでECS環境構築してnginxにブラウザからアクセスできるところまでやって…

2021-02-11

ポートフォリオのデプロイどうするか考えた

ポートフォリオ AWS

ポートフォリオ（Next.js＋Goの映画情報提供Webサービス）作ったは良いけどローカルで動作確認しただけで実際公開するところまではやってなかった。けど、せっかくだしインフラ作ってコード化するところまでやってしまおうかと思った時にどの技術を使うかを…

2020-11-01

AWS EKSの講座受けてみたが複雑なので内容整理

kubenetes docker AWS

この間UdemyでMac上にminikubeの環境を構築してkubenetesを学ぶ講座を受けたが、その続きでローカルではなくAWS EKS上で本番運用っぽく動かしてみる講座があったので受講してみた。米シリコンバレーエンジニア監修！AWS EKS KubernetesハンズオンBest Pract…