J'ai besoin d'exporter des millions de lignes de données. Comment procéder ?

Plusieurs solutions s'offrent à vous.

 

Data Flow

Cette option permet de récupérer toutes les données issues des 48 dernières heures.
Si votre souhait est de récupérer l'ensemble de vos données historiques au-delà de ces 48 dernières heures, il vous faudra passer par un export personnalisé ou par plusieurs requêtes successives depuis notre API REST ou Data Query.

Plus d'information ici.

 

API REST 

L'utilisation de l'API REST permet d'effectuer des requêtes jusqu'à 10 000 lignes par appel.
Pour récupérer plus de données, il vous faudra donc modifier le paramètre de pagination.

Exemple :

  • &max-results=10000&page-num=1. Vous obtiendrez les résultats des lignes 1 à 10 000.
  • &max-results=10000&page-num=2. Vous obtiendrez les résultats des lignes 10 001 à 20 000 etc.

Nous vous conseillons de mettre un script en place afin de ne pas effectuer ces appels manuellement.

Afin de connaître à l'avance le nombre de lignes de vos requêtes, il vous faudra remplacer la méthode getData par getRowCount.

Plus d'information ici.

 

Data Query

Data Query vous permettra d'exporter plus de lignes de résultats en un appel que via l'API REST. En fonction des options de votre contrat, cette limite varie de 200 000 à 1 000 000 de lignes. Il vous faudra donc scinder votre période d'analyse afin de toujours respecter cette limite. Ceci peut cependant s'avérer rapidement chronophage.

Plus d'information ici.

 

Export personnalisé 

Nos équipes techniques peuvent développer un export personnalisé. Il vous faudra pour cela définir les KPI's souhaités afin que nous puissions étudier la faisabilité de celui-ci et en estimer le coût.

Pour plus d'information, contactez le Centre support

Vous avez d’autres questions ? Envoyer une demande