Freelance BigQuery : Repérez les compétences nécessaires à votre projet

Résumé d'expériences de Ndèye Ndiémé,
freelance BIGQUERY habitant la Seine-Saint-Denis (93)

• Data Engineer

  L’oreal - L’Oréal France
  aujourd'hui

  Contexte.
  Dans le but de conduire et d’opérer la stratégie Business Intelligence du groupe L’Oréal, en tant que Data
  engineer, je devais effectuer des transformations sur les Kpis et de déployer ses changements sur tous les
  différents environnement après validation des tests
  Responsabilité.
  ● Créer des pipelines de données avec la suite de Google Cloud Platform
  ● Travail en méthode agile
  ● Collaborer avec les data analystes, datascientists et le chef de projet
  Livrables.
  ● Exposition de données transformées dans la couche use case
  ● Déploiement du travail jusqu’à l’environnement de production
  ● Récupération des données par les data analystes à des fins de dataviz sur Power BI

  Environnement technique. ● BigQuery pour exécuter les requêtes SQL ● Cloud Tasks ● Cloud Build ● Docker ● Cloud Run ● Github ● Git ● Terraform ● SQL ● Workflows ● Pub/Sub ● Cloud scheduler ● Culture Devops ● Service Now

• Data Engineer

  Antalis
  aujourd'hui

  Contexte.
  Mise en place d’un Data Lake dans GCP : BigQuery, un pont entre GA4 et Qlik Sense
  Responsabilité.
  ● Créer de connecteur entre GA4 et BigQuery
  ● Créer la connexion entre Bigquery et Qlik Sense
  ● Effectuer certaines transformations sur les champs imbriqués et répétés spécifiques à
  BigQuery pour rendre les données lisibles dans Qlik Sense
  Livrables.
  ● Chargement des données GA4 à une fréquence quotidienne
  ● Chargement des données dans Qlik Sense

  Environnement technique. ● BigQuery pour effectuer une transformation de données et les fusionner des différents datasets sources ● Google Analytics, source de données ● Qlik Sense, Outil BI

• Data Engineer

  L’Oréal France
  aujourd'hui

  Contexte.
  Dans le but de conduire et d’opérer la stratégie Business Intelligence du groupe L’Oréal, en tant que Data
  engineer, je devais effectuer des transformations sur les Kpis et de déployer ses changements sur tous les
  différents environnement après validation des tests
  Responsabilité.
  ● Créer des pipelines de données avec la suite de Google Cloud Platform
  ● Travail en méthode agile
  ● Collaborer avec les data analystes, datascientists et le chef de projet
  Livrables.
  ● Exposition de données transformées dans la couche use case
  ● Déploiement du travail jusqu’à l’environnement de production
  ● Récupération des données par les data analystes à des fins de dataviz sur Power BI

  Environnement technique. ● BigQuery pour exécuter les requêtes SQL ● Cloud Tasks ● Cloud Build ● Docker ● Cloud Run ● Github ● Git ● Terraform ● SQL ● Workflows ● Pub/Sub ● Cloud scheduler ● Culture Devops ● Service Now

• Data Engineer

  Antalis
  aujourd'hui

  Contexte.
  Mise en place d’un Data Lake dans GCP : BigQuery, un pont entre GA4 et Qlik Sense
  Responsabilité.
  ● Créer de connecteur entre GA4 et BigQuery
  ● Créer la connexion entre Bigquery et Qlik Sense
  ● Effectuer certaines transformations sur les champs imbriqués et répétés spécifiques à
  BigQuery pour rendre les données lisibles dans Qlik Sense
  Livrables.
  ● Chargement des données GA4 à une fréquence quotidienne
  ● Chargement des données dans Qlik Sense

  Environnement technique. ● BigQuery pour effectuer une transformation de données et les fusionner des différents datasets sources ● Google Analytics, source de données ● Qlik Sense, Outil BI

• Data Engineer

  Hivebrite
  aujourd'hui

  Contexte.
  Transformation de données avec DBT et BigQuery. Ces données devenues exploitables
  sont exposées dans des dimensions et tables de faits dans BiqQuery puis sont utilisées
  pour la visualisation avec Looker.
  Responsabilité.
  ● Faire du data profiling, Extraire les données différentes APIs, charger les données dans le
  datawarehouse BigQuery, faire des requêtes SQL
  ● Faire la phase de transformation grâce à DBT
  ● Exposer les dimensions et tables de de faits dans l'environnement de Prod

  ● Environnement technique.: DBT et BigQuery Livrables. ● Description des livrables : code, documentation, revue de code ● Data Lineage grâce à DBT ● Développement du pipeline sous python ● Transformation de données SQL. ● Tests avec DBT

• Data engineer junior

  Moët Hennessy
  aujourd'hui

  Contexte.
  Mise en place d’une consumer data platform (CDP)
  Responsabilité.
  ● Récupérer les données à partir divers sources de données marketing
  ● Intégrer les données dans Bigquery et effectuer les transformations avec DBT
  ● Exposer les données dans la couche UC
  Livrables.
  ● Description des livrables : code, documentation, revue de code

  Environnement technique. ● Les premiers jalons du projet : récupérer les données facebook ads, google ads et radarly et les rendre exploitables ● Fivetran/data transfer pour faire l’intégration des données dans Bigquery ● DBT pour transformer les données et les déplacer dans d’autres projets GCP

• Data engineer - Business Intelligence

  Croix Rouge
  aujourd'hui

  Contexte.
  Mieux adapter l’accompagnement des personnes pendant la période de pandémie
  grâce au dispositif “Croix Rouge Chez Vous”. “Croix Rouge Chez Vous” mis en place en
  2020 consiste à venir en aide aux personnes ayant un besoin d’accompagnement
  Responsabilité. ● Intégrer des données dans BigQuery à partir Cloud Storage
  ● Transformer les données et implémenter des KPIs
  ● Faire du reporting avec Datastudio
  Livrables.
  ● Pipeline d’intégration des données dans BigQuery depuis Cloud Storage
  ● Données préparées
  ● Calcul de Kpis
  ● Création de reportings

  Environnement technique. ● Développement du code avec python ● Déploiement de la solution dans GCP avec cloud scheduler, cloud Pub/Sub, Cloud functions

• Data Engineer

  Carrefour
  aujourd'hui

  Contexte.
  Mise en place de pipelines de données mutualisés pour le feature engineering des projets
  de machine learning et business intelligence
  Responsabilité.
  ● Faire du data wrangling, Extraire les données différentes APIs, charger les données dans
  le datawarehouse BigQuery, faire des requêtes SQL
  ● Faire la phase de transformation (Feature Engineering) et de tests grâce à DBT
  ● Exposer les données dans l'environnement de Prod
  ● Faire de la CI/CD grâce aux outils de GCP (Sources Repository, Container Registry,
  Cloud Build, Cloud Run), Créer des Pull Requests
  ● Planifier l'exécution d'un script python grâce à Cloud scheduler, Pub/Sub et Cloud
  functions
  Livrables.
  ● Description des livrables : code, documentation, revue de code
  ● Environnement technique.
  ● Développement du pipeline sous python
  ● Transformation de données avec Python et SQL.
  ● Outils GCP (cloud scheduler, cloud Pub/Sub, Cloud functions, Bigquery)
  ● Tests avec DBT

• Data Analyst

  SODEXI
  aujourd'hui

  Contexte.
  Participer au cadrage et au suivi des études de la performance avec la collaboration des
  responsables opérationnels
  Responsabilité.
  ● Participer au cadrage et au suivi des études de la performance avec la collaboration des
  responsables opérationnels
  ● Garantir la fiabilité, Automatiser les tâches récurrentes de reporting et d’intégration des
  données dans l’outil de BI (SQL)
  ● Produire des rapports d'étude ou des tableaux de bord/Dashboard avec Power BI,
  Collecter, Participer à la construction des systèmes de traitement de données robustes et
  scalables, Formaliser et implémenter de nouveaux KPIs sur la base des besoins recueillis,
  Développer un support de visualisation de données
  Livrables.
  ● Données préparées
  ● Création de reportings avec Power BI

  Environnement technique. ● Python pour effectuer le nettoyage de données et les fusionner des différents datasets sources ● Power BI pour ressortir les Kpis afin de mesurer leur performance