必須スキルと特徴を見てエントリー/5月中に7月アサイン決めちゃいましょう /フルリモ110~125万 7月~/自動車メーカー向けユーザーニーズ分析システムデータパイプライン開発

■プロジェクト概要 大手自動車メーカー向けのユーザーニーズ分析システムの本開発におけるプライムベンダーチームのデータパイプライン開発を担う開発エンジニアを募集します。 ユーザーニーズ分析システムは今春までPoCが行われ、ユーザーからのフィードバックも進んで作りたいものは概ね決まり、7月以降本開発に入っていくフェーズになります。 これと連携するデータパイプライン開発における、I/F連携の要件定義・基本設計や開発Databricks/Pythonを用いたデータ編集機能の開発を担うチームも別途組成が計画されており、今回は上流のI/F連携の要件定義・基本設計のメンバー募集です。 ■業務内容 上流フェーズでは複数システムをまたがってのデータ連携の現状調査の上、お客様業務要件を満たすインタフェース連携仕様を固めていくためのデータ連携のエンティティ、データ項目、編集内容の整理を行っていただきます。 以下のスキルセットを重視します。 　・複数システムをまたがってのデータフロー分析経験 　例）現状のSnowflakeを中心として、基幹システムを含めたデータ元からファイル(CSV／固定長)やDBレプリ等でのデータ連携について、HULFT、Snowpipe、Fivetran、OGG、等のツールから最適な手段を選定し設計・実装 　・データ分析に必要なテーブル構造やデータ項目を定めるデータモデリングの経験 　例）データの入口と出口のInput/Outputだけでなく、中間処理に最適なデータ構造も含めて、メダリオンアーキテクチャ等を活用しつつ実装にバラつきが出ないよう標準化も含めて設計する 　・お客様（TechとBiz）と打合せしてあるべきデータ仕様を決めるファシリテーション経験 例）タブローを使っていてコールセンターの顧客 　　オペレーションで何分で終わっている、このデータとデータをつながるときにフォーマットが異なる、不整合が起こってて直したい。どうしたらいいか？ →　このI/Fはどこからのシステムのもので、どこで不整合マスターを参照しているからこう直せば良い。 Bizからの要望要件を技術サイドの問題と照らし合わせて、上記の流れの会話がシステムに詳しくない業務担当顧客と話せるか？ ■技術スタック ★データ系 ・Djangoが使うバックエンドDB：Databricks ・データパイプライン実装：Databricks（Pythonベースの開発） ・全文検索/ベクトル検索：OpenSearch（Serverlessモード） ・生成AI（文章要約、分類、分析）：BedRock ・SNSデータのダウンロード：Zanroo ★バッチ系 ・ジョブスケジューラ：Databricks ・イベント駆動処理：AWS Lambda ・外部システムデータ連携：DataSpider ★インフラ系 ・クラウド基盤：AWS ・IaC：Terraform ★運用系 ・監視：Amazon CloudWatch ・ログ管理＆集約：CloudWatch Logs Insights or Amazon S3 + Athena ★その他 ・ソースコードバージョン管理：GitHub ・CI/CD：GitHub Actions