Quelle est la façon la plus efficace de nettoyer un grand volume de données?
Question d’efficacité :
Avant de déterminer comment nettoyer un grand volume de données, il faut d’abord définir ce que représente un volume important dans le contexte de l’organisation.
Microsoft Excel permet de travailler avec plus d’un million de lignes par feuille. En pratique, lorsque le volume approche ou dépasse environ 500 000 lignes, certaines manipulations et certains calculs peuvent devenir plus lourds et entraîner des délais de traitement.
Il faut également considérer la nature des données. Un fichier contenant des transactions peut continuer à augmenter chaque jour, alors qu’une liste de clients peut évoluer beaucoup plus lentement. Le volume actuel est donc important, mais son évolution dans le temps doit également être prise en considération.
Enjeux :
Avant de choisir une méthode de nettoyage, déterminez le nombre de lignes à traiter et demandez-vous comment ce volume évoluera.
Si de nouvelles transactions s’ajoutent continuellement, une solution qui fonctionne correctement aujourd’hui pourrait devenir moins efficace à mesure que le volume augmente.
À l’inverse, certaines données demeurent relativement stables. Le nombre de lignes ne constitue donc pas le seul critère : la nature des données et leur croissance prévisible doivent également être considérées.
Défis :
Les manipulations effectuées directement dans les feuilles de calcul Excel peuvent devenir plus lourdes lorsque le volume de données augmente.
Les calculs, les transformations et les différentes manipulations peuvent alors demander davantage de temps et de ressources.
Le défi consiste donc à éviter de faire subir inutilement aux feuilles de calcul des traitements volumineux qui pourraient être effectués plus efficacement avant que les données soient retournées dans Excel.
Technologie :
Power Query est particulièrement bien adapté au nettoyage et à la transformation de grands volumes de données.
Contrairement à une feuille de calcul Excel, l’environnement de traitement de Power Query n’est pas limité à environ un million de lignes par feuille. Les données peuvent y être récupérées et transformées avant que seuls les résultats nécessaires soient retournés dans Excel.
Cette approche permet de déplacer une partie importante du travail de nettoyage et de transformation à l’extérieur des feuilles de calcul.
Conseil du développeur :
Le nettoyage d’un grand volume de données dans Power Query repose sur une succession de transformations. Cependant, toutes les transformations n’ont pas le même impact sur le temps d’exécution.
Certaines transformations peuvent être exécutées plus efficacement à la source, notamment lorsqu’elles peuvent être transmises à une source de données compatible comme une base de données SQL. D’autres transformations doivent être effectuées directement par Power Query et peuvent demander davantage de temps de traitement.
L’ordre dans lequel les transformations sont exécutées devient donc important. Si le nettoyage d’un grand volume de données prend trop de temps, examinez la séquence des différentes étapes de transformation.
En réorganisant certaines étapes et en effectuant le plus tôt possible les transformations qui réduisent le volume de données à traiter, il est souvent possible d’améliorer considérablement le temps d’exécution de la requête.