【データ分析系(Python/SQL/R/BI)】大手企業向けデータ分析基盤開発支援

【案件概要】 ・大手企業向けデータ分析基盤およびETL基盤のシステム開発支援。 ・データ活用を目的としたアーキテクチャ検討から設計・実装までを担当。 ・ビッグデータ分析・加工のための分散処理基盤を構築。 ・Python／SQL／クラウド基盤／BIなどを活用したデータエンジニアリング業務。 【作業内容】 ・データ分析基盤／ETL基盤におけるアーキテクチャ検討（要件整理、方式検討、ツール選定） ・データレイク／DWH／マート構成の設計（スキーマ設計、パイプライン構成、データフロー設計） ・Python／SQLを用いたETL処理の実装（データ抽出、加工、統合、ロード処理の自動化） ・分散処理基盤（Spark、Hadoop、クラウドネイティブ基盤等）の構築・パフォーマンス最適化 ・各種データパイプラインのジョブ設計・バッチ開発 ・データ品質管理（クレンジング、検証ロジック実装、異常検知処理の整備） ・BIツール向けデータマートの整備、レポート用データセット設計 ・基盤運用に向けたドキュメント作成（設計書、データフロー図、運用手順書など） 【開発環境】 ・OS（インフラ）／クラウド(GCP、IaaS、PaaS、FaaS)、Spark、Kubernetes、Linux ・DB／Cassandra、Redis、Elasticsearch、mySQL、PostgreSQL ・ツール／JIRA、Confluence、GitLab、Slack、GoogleWorkspace ・運用／IaC(Terraform、Ansible、Helm)、CI/CD(GitLabCI、kubectl)