Data Engineering - ETL, Pipelines de données & Data Warehousing (Redshift, BigQuery)
Formation créée le 31/01/2025.
Version du programme : 1
Programme de la formation
Cette formation intensive de 7 jours vous plonge au cœur du Data Engineering. Vous y apprendrez à concevoir des pipelines de données robustes, à intégrer des processus ETL et à maîtriser les outils de Data Warehousing comme Redshift et BigQuery. Vous découvrirez également les meilleures pratiques pour optimiser les performances des systèmes de données tout en garantissant la sécurité et la conformité. À la fin de cette formation, vous serez prêt à mettre en place des architectures modernes et efficaces pour gérer de grands volumes de données dans des environnements cloud.
Objectifs de la formation
- Concevoir et déployer des pipelines de données scalables et performants.
- Créer des processus ETL efficaces pour l’intégration de données complexes.
- Maîtriser les outils de Data Warehousing (Redshift, BigQuery) pour gérer les données à grande échelle.
- Optimiser les performances des systèmes ETL et des entrepôts de données.
- Assurer la sécurité, la conformité et la fiabilité des données dans un environnement cloud.
Profil des bénéficiaires
Pour qui
- Data Engineers souhaitant approfondir leurs compétences en gestion des données et en Data Warehousing.
- Architectes de données ou chefs de projets IT ayant des connaissances de base en traitement de données et en gestion de l’infrastructure cloud.
- Développeurs ayant une première expérience avec des bases de données ou des outils de traitement de données, désireux d’intégrer des technologies cloud dans leurs solutions.
Prérequis
- Bonne maîtrise de SQL et des concepts de base de données, ainsi qu'une première expérience avec des outils de traitement de données.
Contenu de la formation
-
Jour 1 : Introduction au Data Engineering et aux Processus ETL
- Notions clés du Data Engineering
- Les différents types de pipelines de données
- Introduction à l’ETL : Extraction, Transformation, Chargement
- Présentation des outils de Data Engineering populaires
-
Jour 2 : Conception et Développement de Pipelines de Données
- Construction de pipelines de données robustes et évolutifs
- Meilleures pratiques de conception pour des pipelines fiables
- Gestion des erreurs et monitoring des pipelines
- Introduction à Apache Airflow et autres outils d'orchestration
-
Jour 3 : Data Warehousing avec Redshift et BigQuery
- Introduction aux Data Warehouses et leur rôle dans l'analyse des données
- Déploiement et configuration d’un Data Warehouse avec Redshift
- Intégration de BigQuery pour des solutions de Data Warehousing évolutives
- Optimisation des performances dans Redshift et BigQuery
-
Mise en Pratique - Création et Optimisation de Data Warehouses
- Architecture et modélisation d’un Data Warehouse performant
- Chargement des données dans Redshift et BigQuery
- Optimisation des requêtes et performances des entrepôts de données
- Sécurisation et gestion des accès dans un environnement cloud
-
Jour 5 : Sécurisation des Pipelines et Performance à Grande Échelle
- Sécurisation des données et respect des normes (ex : GDPR)
- Stratégies de gestion des données à grande échelle dans le cloud
- Cas pratiques sur la gestion de la performance
- Révision des concepts clés et préparation à la certification
-
Jours 6-7 : Atelier Pratique et Certification
- Mise en pratique des compétences acquises à travers un projet de groupe
- Validation des concepts avec un examen final
- Passage de la certification
Équipe pédagogique
Responsable Julien Broue j.broue@easypartner.fr Référente Handicap - Sandrine Blondeau /s.blondeau@easypartner.fr Formateurs Externes à venir
Modalités de certification
Résultats attendus à l'issue de la formation
- Les participants seront en mesure de concevoir, déployer et optimiser des pipelines de données et des Data Warehouses avec des outils comme Redshift et BigQuery. Ils sauront assurer la sécurité et la performance de leurs systèmes de données à grande échelle.
Modalité d'obtention
- Participation active à la formation. Réalisation d'un projet pratique ou étude de cas. Réussite de l'examen final (optionnel).
Détails sur la certification
- La certification atteste de votre expertise en Data Engineering, spécifiquement dans la création de pipelines de données et la gestion de Data Warehouses. Elle est reconnue dans l'industrie du Big Data et du cloud computing.
Délai d'accès
4 semaines
Accessibilité
Accessible aux personnes en situation de handicap : soit dans vos locaux s'ils sont adaptés, soit dans une salle réservée par nos soins et conforme aux réglementations en vigueur