Comment repérer et éliminer les doublons dans les données?
Question d’efficacité :
Microsoft Excel et Power Query offrent des fonctionnalités permettant de repérer et de retirer les doublons dans les données. Avant d’utiliser ces fonctionnalités, il est toutefois important de bien structurer les données.
Dans Excel, il est préférable que les données soient organisées sous forme de tableau. Cette structure facilite leur manipulation et permet de déterminer plus clairement les colonnes qui serviront à identifier les doublons.
Dans Power Query, les données sont déjà organisées sous forme de tableau et les transformations peuvent être appliquées directement aux différents champs. Le retrait des doublons peut ainsi être intégré aux différentes étapes de préparation des données.
Enjeux :
Avant de retirer les doublons, il faut déterminer précisément ce qui constitue un doublon.
Deux enregistrements peuvent contenir certaines informations identiques sans nécessairement représenter la même donnée. Il est donc important de choisir correctement les colonnes qui serviront à déterminer si deux enregistrements doivent être considérés comme identiques.
La qualité du résultat dépend directement de ces critères. Le retrait des doublons doit éliminer les enregistrements réellement répétés sans supprimer des données qui doivent être conservées.
Défis :
Le défi consiste à éliminer les doublons tout en s’assurant de ne perdre aucun enregistrement nécessaire.
Il faut donc bien déterminer les colonnes utilisées pour identifier les doublons avant d’effectuer le traitement. Des critères trop larges peuvent conserver des doublons, alors que des critères mal définis peuvent entraîner la suppression d’enregistrements valides.
Cette vérification devient particulièrement importante lorsque les données proviennent de plusieurs chargements ou lorsque seules les nouvelles données sont récupérées à chaque actualisation.
Technologie :
Microsoft Excel et Power Query permettent tous les deux de retirer les doublons.
Dans Excel, cette opération peut être effectuée directement sur les données structurées sous forme de tableau. Power Query permet d’intégrer le retrait des doublons aux différentes étapes d’une requête et de répéter automatiquement le traitement lors des actualisations suivantes.
SQL offre également des possibilités permettant d’identifier ou d’éliminer les doublons directement dans les données interrogées.
Conseil du développeur :
Lorsque vous travaillez avec des chargements partiels de données, assurez-vous d’abord de réunir les nouvelles données avec l’historique déjà récupéré avant de retirer les doublons.
Une méthode consiste à empiler les nouvelles données avec celles provenant des exécutions précédentes de la requête. Le retrait des doublons est effectué seulement après cette consolidation.
Cette séquence est importante : consolider d’abord, retirer les doublons ensuite. Elle permet de conserver l’ensemble des enregistrements disponibles avant d’identifier ceux qui sont réellement présents plus d’une fois.
Portez finalement une attention particulière aux colonnes utilisées pour déterminer les doublons. L’objectif n’est pas simplement d’obtenir moins de lignes, mais d’obtenir un ensemble de données complet dans lequel chaque enregistrement nécessaire est conservé une seule fois.