La 1ère fonctionnalité de Data Flow Delta « Exports Planifiés » vous permet, comme pour le précédent Data Flow, de configurer vos exports en sélectionnant le contenu et le stockage cible.
Fonctionnement Exports Planifiés Data Flow Delta
Une interface dédiée vous permettra d’effectuer cette configuration d’exports. Vous pourrez entre autres :
- Multisite: Sélectionner un site ou l’ensemble des sites auxquels vous avez droit d’accéder.
- Choix de propriétés : Choisir les propriétés composant votre export (standard et custom).
- Format : Choisir le type de séparateur et le format d’export entre CSV, JSON et PARQUET.
- Planification : Choisir la fréquence d’export – 15, 30 ou 60 minutes.
- Stockage : Choisir l’emplacement de l’export, sFTP, Amazon S3 (Azure et GCP par la suite).
Accéder à l'interface Data Flow Delta - Exports planifiés
Pour vous connecter à l'interface de Data Flow Delta, rendez-vous sur l'app Export :
Vous serez ensuite en capacité de créer des exports planifiés Dataflow Delta.
Création d'un export planifié DataFlow Delta
Cliquez sur "Créer un export Dataflow Delta" pour créer un nouveau flux de données.
Vous accéderez ensuite au paramétrage de votre flux d'export qui se présente sous forme de 2 étapes très simples :
ETAPE 1 : Que voulez-vous inclure dans votre export ?
 |
Le périmètre de votre export Avez-vous besoin d'informations concernant tous les sites web de votre organisation ? Ou seulement d'un ou plusieurs de vos sites internet ? |
 |
Les données dont vous avez besoin d'exporter Voulez-vous exclure les données non-consenties ? Voulez-vous exporter la totalité de vos propriétés actuelles et futures ? Ou seulement certaines propriétés ?
|
ETAPE 2 : Quelles sont les caractéristiques de votre export ?
|
Nom du flux d'export Nommez votre flux d'export |
|
Choix du format d'export Choisissez votre format d'export : CSV, JSON ou Parquet. La configuration change automatiquement pour chaque format que vous sélectionnez. Veuillez noter que le format JSON est plus exactement du NDJSON (Newline Delimited JSON). Merci de vous référer au site suivant pour plus d'informations : http://ndjson.org/ |
|
|
Fréquence d'export & enregistrement
=> missinglefile: false => Aucun problème. => missinglefile: true => Un fichier est manquant. |
Configuration des connexions Amazon S3
Retrouvez la documentation pour configurer des connexions Amazon S3 ici.
Configuration des connexions FTP et sFTP
Retrouvez la documentation pour configurer des connexions FTP/sFTP ici.
Nous vous recommandons fortement de préférer l'envoi S3 à l'envoi FTP : ce dernier est un protocole vieillissant qui ne permet pas des transferts rapides de fichiers. Nous vous proposerons prochainement des envois vers Google Cloud Platform et Microsoft Azure.
Si vous être dans l'obligation d'utiliser un envoi vers FTP, nous vous conseillons alors d'utiliser une fréquence d'envoi à 15 ou 30 minutes qui limitera la taille des fichiers à envoyer.
Planification
Le système de planification des exports Data Flow Delta ne se base pas sur des périodes complètes. A chaque tour de boucle (toutes les 15, 30 ou 60 minutes), toutes les nouvelles données insérées en base depuis le dernier export sont extraites. Dans notre nouvelle chaîne de traitement, la NDF, c'est grâce à ce système que nous avons l'assurance de vous envoyer l'exhaustivité de vos événements.
Disponibilité des données
Certaines données ne seront pas disponibles sur Data Flow. La raison est simple : ces propriétés sont calculées "à la volée" et ne sont pas stockées ou ce sont des propriétés "incertaines". Par exemple, nous ne savons pas à l'avance si une visite sera considérée comme un "rebond". De ce fait, la propriété "visit_bounce" ne peut pas être proposée dans Data Flow Delta.
La liste des propriétés non disponibles dans Data Flow Delta peut être consultée ici.
Partitionnement
Data Flow Delta inclut une nouvelle fonctionnalité : le partitionnement. Etant donné que les fichiers ne portent pas sur des périodes complètes, le partitionnement vous permet d'organiser vos fichiers selon la période qu'ils contiennent. Cette période est basée sur la date UTC de collecte des données (propriété hit_time_utc).
Vous avez la possibilité de choisir votre niveau de partitionnement :
- Date
- Date / Heure
- Date / Heure / Demi-heure
- Date / Heure / Quart d'heure
Prenons un exemple concret. Imaginons que vous ayez créé un export horaire avec un partitionnement à niveau Date / Heure. L'export se nomme myExport, il est envoyé dans un dossier myFolder.
Le contenu de la table au moment de l'extraction est le suivant :
|
Hit_time_utc |
event_id |
... |
|
08/04/2021 10:58:14 |
abcdefghij |
... |
|
08/04/2021 10:59:27 |
fjezoijznczeufh |
... |
|
08/04/2021 11:00:28 |
hezihigiregie |
... |
|
08/04/2021 11:01:45 |
jeijgirejrejgjei |
... |
Les données sont à cheval sur deux heures, elles vont donc être réparties dans des fichiers différents.
Dans le cas d'un envoi S3 :
myFolder/myExport/data/date=2021-04-08/hour=10/data_36_019ac5aa-3252-4738-0000-03d5ba4052ba_001_0_0.csv.gz
et
myFolder/myExport/data/date=2021-04-08/hour=11/data_36_019ac5aa-3252-4738-0000-03d5ba4052ba_001_0_0.csv.gz
Le premier fichier contiendra les événements extraits dont la propriété hit_time_utc est comprise entre 10:00:00 et 10:59:59, le deuxième ceux dont la propriété hit_time_utc est comprise entre 11:00:00 et 11:59:59. Si au prochain tour de boucle il y a de nouvelles données comprises entre 11:00:00 et 11:59:59, de nouveaux fichiers seront créés dans le dossier /hour=11/.
Dans le cas d'un envoi (s)FTP, la logique est la même, seule la nomenclature change. Nous ne pouvons pas créer dynamiquement des dossiers, donc ce sont les noms de fichiers eux-mêmes qui portent l'information de période :
myFolder/myExport_2021-04-08_10_data_36_019ac5aa-3252-4738-0000-03d5ba4052ba_001_0_0.csv.gz
myFolder/myExport_2021-04-08_11_data_36_019ac5aa-3252-4738-0000-03d5ba4052ba_001_0_0.csv.gz
Format
Une fois votre flux créé, vous recevrez directement sur votre serveur Amazon S3/sFTP les fichiers générés par Dataflow Delta. Chaque fichier généré est compressé au format GZ. Les noms de fichiers incluent une nomenclature gérée par Snowflake repérable sur la fin du nom de fichier de la façon suivante :
data_#Numéro#_#GUID#_#NumérotationSnowFlake#.format
Vous trouverez des exemples dans le paragraphe précédent.
Afin d'accélérer les traitements, Snowflake exécute la requête par parties sur différentes machines, donc pour un même export généré à un instant T, vous pourrez recevoir plusieurs fichiers.
Important :
Concernant les exports au format CSV, nous vous recommandons de ne pas vous baser sur les index des colonnes mais sur leurs entêtes : nous ne pouvons garantir d'ordre fixe d'affichage des propriétés.
Dans les exports au format JSON, les propriétés avec une valeur vide n'apparaitront pas pour l'événement concerné.
Rapport de livraison
A chaque livraison de fichier sur votre Amazon S3/sFTP, vous recevrez en complément un fichier ".report" qui contiendra les fichiers générés et envoyés après export. Cela vous permettra de vérifier si l'export s'est bien déroulé.
Génération d'historique
Les exports de génération d'historique ou de régénération d'une date passée se baseront sur le même niveau de partitionnement que votre export de production. La régénération pourra se faire dans un dossier distinct.
Pour pouvoir générer de l'historique d'un jour X à un jour Y et minimiser le risque de doublons ou de trous de données, voici la marche à suivre :
- Si ce n'est pas déjà fait, mettre l'export en production avec la fréquence désirée
- à Y+1, vous devez supprimer les données que vous avez ingérées dans votre base de données avec une requête comme suit : DELETE * FROM #matable# WHERE hit_time_utc < Y+1
- Nos équipes AT Internet en interne créent un ticket de génération d'historique à l'équipe Exports en précisant :
- Votre compte client sur lequel l'export de production a été créé
- Le nom de votre export
- La période exacte à régénérer (X à Y)
A savoir
Il est possible que des exports de production contiennent parfois des doublons. Ce n'est pas inhérent à Data Flow Delta mais à la collecte des données. Ces doublons apparaîtront également dans Data Query sur la journée en temps réel. Les doublons sont supprimés à J+1 dans la table de données consolidées, mais cela n'a donc pas d'impact sur les fichiers Data Flow déjà consommés.
En cas de retard de temps réel, les événements non inclus dans un fichier seront inclus dans les fichiers suivants, toujours en se basant sur leur date de collecte. Auquel cas, on peut avoir des fichiers plus légers que de coutume sur une période puis des fichiers plus lourds sur la période suivante.