【SQL】ビッグデータ基盤の構築改善

【20代、30代が活躍中！】 ※週5日〜OKの案件です！ ※実務経験1年以上お持ちの方が対象の案件です！ 【内容】 以下のいずれか、もしくは複数を対応いただきます。 •Webデータクローリングのためのパイプライン新設や改善 •データのクレンジングやエンリッチメント処理 •データの品質改善を目的とした品質モニタリング環境の構築 •スケーラブルかつコスト効果の高いデータ基盤への改善 •将来的なデータサイエンス活用を踏まえたデータ基盤やデータ品質整備設計 【開発環境】 •データ収集:Python(Scrapy),AWSFargateforAmazonECS AmazonManagedWorkflowsforApacheAirflow •データストア:AmazonS3,AmazonAuroraPostgreSQL •データトランスフォーム:ApacheSpark(PySparkがメイン。一部ScalaSpark),Databricks •その他:GitHub,Slack,Notion,Asana,GoogleWorkspace 【場所】フルリモート 【精算】140−180h 【面談】2回予定 【勤務時間】フレックス・コアタイム(13:00〜18:00) テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！