はじめに 半年ぐらいの業務でAWS Glueを使ったETLをやっていました。 しかし、Sparkの知識が足りず「Pysparkの関数ってどうやって使うの？」ということが多々あったため Pysparkをローカルで動作できる環境を作ってみました。 環境 macOS Monterey 前提条件 …

はじめに 最近、サーバーサイドだけでなくデータ基盤も作る機会がありました。 サービスの成熟度や規模を検討した結果 AWS Glue（以下、Glue） を採用しました。 そこでGlueを名前だけ知っていた筆者が本番で使えるまでになり覚えた単語などをメモします。 …

はじめに 普段の業務はバックエンドエンジニアなのだが、最近になって データ基盤 を作るようになりました。 データ基盤 と言うと大規模なものだと思われがちですが、新規サービスの基盤なので大きくはありません。 なので、まずは データを効率良く見える化…

はじめに Docker上でLaravelのE2Eテストをするときに出たエラーがあったので対処法があるのでメモ書き。 前提条件 Docker for Macで実行されていること Docker上でPHP8.0系, Laravel8系が動作すること 以下に検証用のリポジトリがあるので構成を参考にしても…