仕事でGCPで扱っているデータをAWSで運用しているサービスに共有するパイプラインのアーキテクチャを考えていてAWSのETLサービスであるGlueを試したんですが結構苦戦しました。 S3のCSVファイルをRDSに登録したいだけだったのですぐ終わるかな、、と思いきや…

仕事でDataflowを使ったデータ分析基盤を開発していたんですが、数千万件のデータを処理できるか負荷テストしていたところジョブの実行詳細に「ストラグラーが検出されました」というメッセージが出てジョブがPENDする現象が起こりました。 その際に調べたり…