كبير مهندسي البيانات في AWS
يبحث عميلنا، وهو مزود عالمي رائد لخدمات تكنولوجيا المعلومات، عن مهندس بيانات رئيسي في AWS للعمل في مكتب عميله في لندن، المملكة المتحدة.
هذه وظيفة مختلطة – يمكنك العمل عن بُعد في المملكة المتحدة والحضور إلى مكتب لندن يومين في الأسبوع.
هذا عقد مؤقت لمدة 6 أشهر أو أكثر يبدأ في أقرب وقت ممكن.
السعر اليومي: سعر السوق التنافسي
بصفتك مهندس بيانات عملي في AWS، ستقوم بتصميم وبناء وتحسين منصة بيانات المدفوعات لدينا بشكل مستمر من خلال استيعاب أحداث ISO 20022 في نظام "ليك هاوس" قائم على AWS. ستضمن أفضل مستويات حوكمة البيانات وقابلية المراقبة وتحسين التكلفة، مع تولي مسؤولية منتج البيانات من البداية إلى النهاية عبر مجالات تجربة العملاء والمدفوعات ومدير المنتجات. ويشمل ذلك إدارة قائمة المهام المتأخرة للمنتج واتفاقيات مستوى الخدمة وعقود البيانات، بالإضافة إلى تقديم كتيبات التشغيل وتحديد أهداف مستوى الخدمة وإعداد تقارير ربع سنوية عن التكلفة والجودة.
المسؤوليات الرئيسية
- منتجات البيانات (المستقبلية): مستودع عمليات القنوات (طبقة عالية الأداء تغطي حوالي 30 يومًا) وبحيرة تحليلات القنوات (7 سنوات فأكثر). توفير واجهات برمجة تطبيقات (API) للحالة والبيانات مع اتفاقيات مستوى الخدمة (SLA) واضحة.
- بنية المنصة: S3/Glue/Athena/Iceberg Lakehouse، وRedshift لأغراض ذكاء الأعمال والعمليات. QuickSight للوحات معلومات الأداء والعمليات. Lambda/Step Functions لتنسيق معالجة البيانات المتدفقة.
- البث والاستيعاب: Kafka (K4/K5/Confluent) و AWS MSK/Kinesis؛ موصلات/نقل البيانات المستمر (CDC) إلى مستودع البيانات (DW) أو بحيرة البيانات (Lake). التقسيم، والاحتفاظ بالبيانات، وإعادة التشغيل، والقدرة على التكرار. EventBridge لتوجيه الأحداث الأصلي في AWS.
- عقود الأحداث: Avro/Protobuf، سجل المخططات، قواعد التوافق، استراتيجية تحديد الإصدارات.
- الحالة الحالية → الحالة المستهدفة: واجهات برمجة تطبيقات المخزون/الملفات/تغذية SWIFT ومخازن البيانات (Aurora Postgres، Kafka). تحديد مراحل الترحيل، ودلائل إجراءات التحويل.
- الحوكمة والجودة: ملكية البيانات كمنتج، وتاريخها، وضوابط الوصول إليها، وقواعد الجودة، والاحتفاظ بها.
- القابلية للمراقبة وعمليات التشغيل المالية (FinOps): Grafana/Prometheus/CloudWatch لقياس معدل المعاملات في الثانية (TPS) ومعدل النجاح والتأخير والتكلفة لكل مليون حدث. كتيبات التشغيل + التنبيهات القابلة للتنفيذ.
- الحجم والمرونة: عشرات الملايين من المعاملات يوميًا، وأنماط متعددة المناطق/المناطق الجغرافية، ومستويات RPO/RTO عملية.
- الأمان: تصنيف البيانات، تشفير KMS، الترميز عند الحاجة، إدارة الهوية والوصول (IAM) القائمة على مبدأ "أقل الامتيازات"، والتدقيق غير القابل للتغيير.
- خبرة عملية في البرمجة: Python/Scala/SQL؛ Spark/Glue؛ Step Functions/Lambda؛ IaC (Terraform)؛ CI/CD (GitLab/Jenkins)؛ الاختبارات الآلية.
المتطلبات الأساسية
المهارات الأساسية:
- البث المباشر وتصميم الهندسة الإلكترونية (EDA): Kafka (Confluent) و AWS MSK/Kinesis؛ Kinesis Firehose؛ الترتيب، وإعادة التشغيل، ودلالات "مرة واحدة على الأقل"؛ EventBridge لتوجيه الأحداث وتصفيتها.
- إدارة المخططات: Avro/Protobuf + سجل المخططات (التوافق، استراتيجية الموضوع، التطور).
- مجموعة بيانات AWS: S3/Glue/Athena، Redshift، Step Functions، Lambda؛ Kinesis وخطوط أنابيب البث من S3 إلى Glue؛ Glue Streaming؛ أنماط DLQ.
- المدفوعات ومعيار ISO 20022: PAIN/PACS/CAMT، ونمذجة دورة الحياة، وإعادة البناء، والمعرفة بقنوات SWIFT/الملفات.
- الحوكمة: العقلية القائمة على البيانات الضخمة، والملكية، واتفاقيات مستوى الخدمة الخاصة بالجودة، والوصول، والاحتفاظ بالبيانات، وتسلسلها.
- القابلية للمراقبة و«FinOps»: إنشاء لوحات معلومات وتنبيهات ومؤشرات الأداء الرئيسية للتكلفة؛ ومعالجة مشاكل انخفاض معدل الإنتاجية على نطاق واسع.
- التسليم: كتابة الكود، تحليل أداء البرامج، مراجعة الكود، الاختبارات الآلية، الأمان منذ مرحلة التصميم.
أساسيات هندسة البيانات (مطلوب):
- نمذجة البيانات المنطقية: مخططات الكيانات والعلاقات، والتوحيد (من المستوى الأول (1NF) وحتى مستوى بويس-كود/BCNF)، ومفاضلات إلغاء التوحيد؛ والتبعيات الوظيفية والشذوذات.
- نمذجة البيانات المادية: تصميم الجداول، واستراتيجيات التقسيم، والفهارس؛ وأنماط التخزين لعمليات معالجة البيانات في الوقت الحقيقي (OLTP) مقابل التحليلات.
- التنظيم والتصميم: تنظيم البيانات وفقًا لمعيار 3NF/BCNF لعمليات OLTP؛ وفهم متى يتعين إلغاء التنظيم من أجل الاستعلامات؛ ونظام Data Vault، ومخططات النجمة.
- CQRS: الفصل بين القراءة والكتابة؛ استخلاص الأحداث؛ إعادة البناء، متى يكون استخدام CQRS مبرراً ومتى يكون مبالغة.
- البنية الموجهة بالأحداث (EDA): التصميم الذي يركز على الأحداث أولاً؛ حدود التجميع؛ أنماط النشر/الاشتراك؛ التنسيق؛ التبعية؛ التسليم "مرة واحدة على الأقل".
- السياقات المحددة ونمذجة المجال: طبقات مكافحة التداخل، النواة المشتركة، اللغة المنشورة، اللغة الشاملة.
- الكيانات وكائنات القيمة والمستودعات: هوية كيان المجال؛ الثبات؛ تجريد المستودع عن التخزين الدائم؛ السجلات الزمنية/المُصنَّفة حسب الإصدار.
- أحداث المجال والعقود: إصدارات المخطط (Avro/Protobuf)؛ التوافق مع الإصدارات السابقة والإصدارات اللاحقة؛ إعادة تشغيل الأحداث؛ ربط أحداث المجال بمواضيع Kafka وجداول Aurora.
المهارات المرغوبة:
- QuickSight/Tableau، ضبط Redshift؛ ksqlDB/Flink؛ التفاصيل الداخلية لـ Aurora Postgres.
- قيود Edge/API (Apigee/API-GW)، وأنماط mTLS/webhook.
نظرًا لضخامة عدد الطلبات الواردة، لا يمكننا للأسف الرد على الجميع.
إذا لم تتلق ردًا منا في غضون 7 أيام من إرسال طلبك، يرجى اعتبار أن طلبك لم يتم قبوله هذه المرة.
يرجى متابعة موقعنا الإلكتروني https://projectrecruit.com/jobs/ للاطلاع على الوظائف المستقبلية.
