L'objectif de ce lab est de définir les sources que nous allons utiliser dans notre projet. Pour ce faire, nous allons simuler trois sources de données :
- Transactions : des données qu'une autre équipe ou un partenaire nous a partagées (la table transactions).
- Customers : une table alimentée par un flux dans notre dataplateform (la table customers).
- Products : une table que nous allons charger depuis un stockage (la table products).
- Address : une table que nous allons charger depuis un stockage (la table address).
Les objectifs du lab sont :
- Créer la source transactions : se baser sur la table transactions définie dans
formation-dataform.raw_data.transactions. - Créer la table customers : l'alimenter avec les données du fichier
customers.csv.- télécharger le fichier
cutomers.csven local - dans bigquery créer une dataset, par exemple lab2
- dans la dataset lab2 créer une table
- choisir
uploadet récupérer le fichier depuis le local
- télécharger le fichier
- Créer la table products : charger les données depuis le fichier products.csv.
- télécharger le fichier
products.csv. - créez une bucket gcs
- mettre le fichier
products.csv.dans le bucket - créer la table
productsdepuis le fichierproducts.csven utilisant uneoperationdataform
- télécharger le fichier
- Créer la table address : charger les données depuis le fichier address.csv.
- télécharger le fichier
address.csv. - ajouter le fichier dans le bucket déjà créé
- créer la table
addressdepuis le fichieraddress.csven utilisant uneoperationdataform
- télécharger le fichier