Data Engineer

Job Number: 1710

External Description:

 Develop, test, deploy, and support batch or near-real-time ETL/ELT pipelines using approved Azure services and engineering standards.
承認されたAzureサービスとエンジニアリング標準を用いて、バッチまたは準リアルタイムのETL/ELTパイプラインを開発、テスト、デプロイ、運用支援する。

• Write clear, maintainable SQL and Python or PySpark code for data ingestion, transformation, validation, and delivery.
  データの取り込み、変換、検証、提供のために、読みやすく保守可能なSQLおよびPythonまたはPySparkコードを作成する。
• Assist with source-to-target mapping, data modeling, metadata, cataloging, lineage, and technical documentation.
  Source-to-Target Mapping、データモデリング、メタデータ、カタログ、リネージ、技術文書の作成を支援する。
• Implement automated unit, integration, reconciliation, and data-quality checks, including handling schema changes, duplicates, late data, and failed records.
  スキーマ変更、重複、遅延データ、異常レコードへの対応を含む、単体・結合・照合・データ品質テストの自動化を実装する。
• Use Git and CI/CD practices to manage code, peer reviews, releases, and environment promotion in an auditable manner.
  GitとCI/CDのプラクティスを用い、コード、ピアレビュー、リリース、環境間昇格を監査可能な形で管理する。
• Monitor pipeline health, data freshness, job duration, and failures; follow runbooks, investigate issues, and escalate promptly when needed.
  パイプラインの稼働状況、データ鮮度、処理時間、失敗を監視し、Runbookに従って調査し、必要に応じて速やかにエスカレーションする。
• Participate in incident, problem, change, and release-management activities, including evidence collection and post-incident improvement actions.
  証跡収集や障害後の改善を含む、インシデント、問題、変更、リリース管理の活動に参加する。
• Apply least-privilege access, secure coding, secrets-management, privacy, retention, and regulatory controls for sensitive insurance data.
  機微な保険データに対し、最小権限、セキュアコーディング、シークレット管理、プライバシー、保存、規制対応の統制を適用する。
• Collaborate with business analysts, source-system owners, data consumers, and global or offshore team members to clarify requirements and deliver incremental value.
  ビジネスアナリスト、データソースの担当者、データ利用者、グローバル／オフショアのメンバーと協働し、要件を明確化して段階的に価値を提供する。

Job Number: 1710

Community / Marketing Title: Data Engineer

Location_formattedLocationLong: Tokyo, Tokyo JP