Data Engineering Stage Professionnel

🗺️ Geotir - Middleware Data Pipeline

Pipeline de donnees pour centraliser les donnees publiques urbaines de Paris. Projet realise durant mon stage chez Aptero.

📋 Contexte

Geotir est un POC (Proof of Concept) de pipeline de donnees concu pour un partenaire client d'Aptero. L'objectif : centraliser les donnees publiques de la ville de Paris pour l'aide a la decision immobiliere. Le systeme extrait, formate, enrichit et stocke les donnees dans une base PostgreSQL.

Objectif du POC
Definir la vision et la direction du projet, identifier les limitations techniques, et valider la faisabilite de l'approche avant un developpement complet.

📊 Sources de donnees

🏫

Ecoles (API Education Nationale)

⚽

Infrastructures sportives (Data.gouv)

🚇

Stations de metro (OpenStreetMap)

🏥

Hopitaux (Fichiers JSON)

🏗️ Architecture


┌────────────┐    Collect    ┌────────────┐    Format    ┌────────────┐
│ call_api.py│ ───────────>  │ processing │ ───────────> │ convert_df │
└────────────┘               └────────────┘              └────┬───────┘
                                                              ▼
                                                            PostgreSQL
                                                            (bdd.py)

📦 Modules

Fichier	Description
`call_api.py`	Recuperation des donnees via API ou fichiers JSON locaux
`processing.py`	Normalisation de la structure des donnees (noms de champs, coordonnees)
`convert_df.py`	Conversion en DataFrames Pandas et ajout de metadonnees
`bdd.py`	Insertion dans PostgreSQL et creation des tables
`main.py`	Orchestration de tous les modules et planification

🛠️ Technologies utilisees

Python 3.10+ PostgreSQL Pandas Docker Tableau REST APIs OpenStreetMap

✨ Fonctionnalites cles

Multi-sources : Integration de plusieurs APIs publiques (Education Nationale, Data.gouv, OpenStreetMap)
Normalisation : Structure de donnees unifiee avec noms de champs standardises
Lineage : Tracabilite des donnees (source + date d'extraction)
Planification : Execution hebdomadaire automatique (chaque lundi)
Containerisation : Deploiement Docker pour portabilite
Visualisation : Dashboard Tableau pour analyse des donnees

🐳 Deploiement Docker

# Build de l'image
docker build -t projet_geotier .

# Execution du pipeline
docker run --env-file .env projet_geotier

# Push vers Docker Hub
docker tag projet_geotier monregistry/projet_geotier:latest
docker push monregistry/projet_geotier:latest

📈 Visualisation Tableau

Le projet inclut un fichier Tableau (geotir_uat.twbx) pour la visualisation des donnees :

Cartes interactives des etablissements
Dashboards par type d'etablissement et arrondissement
Mise a jour automatique avec les dernieres donnees PostgreSQL

🔗 Liens

Voir sur GitHub