Azure Data Engineer

🚀 Zakres obowiązków:

• Projektowanie i rozwój pipeline’ów danych oraz rozwiązań przetwarzania danych w oparciu o Azure Databricks i Python
• Budowa i utrzymanie rozwiązań na platformie Azure Data (Data Lake, Data Factory, Synapse)
• Tworzenie i rozwój Data Products oraz zarządzanie nimi (Unity Catalog)
• Współpraca z biznesem — zbieranie wymagań i przekładanie ich na rozwiązania techniczne
• Dbanie o jakość danych, bezpieczeństwo oraz zgodność z wymaganiami
• Integracja rozwiązań danych z innymi systemami w organizacji
• Usprawnianie wydajności, skalowalności i kosztów rozwiązań

🛠️ Wymagania:

Bardzo dobra znajomość:

• Azure Databricks
• Python

Apache Spark

Doświadczenie z usługami Azure:

Data Lake (ADLS Gen2)

Data Factory / Synapse

• Znajomość API (REST lub podobne)
• Doświadczenie w projektowaniu ETL oraz modelowaniu danych
• Podstawowa znajomość architektury danych
• Doświadczenie z CI/CD i Git
• Umiejętność rozwiązywania problemów i pracy w metodykach Agile
• Dobre umiejętności komunikacyjne (współpraca z biznesem i zespołami technicznymi)

➕ Mile widziane:

Doświadczenie z przetwarzaniem dużych zbiorów danych (big data, streaming)

Znajomość Unity Catalog oraz zasad data governance

Doświadczenie z narzędziami wizualizacji danych (np. Power BI) Znajomość Databricks Asset Bundles Originally posted on Himalayas