0 lignes
·
0 KB
Supprimez les lignes en double, en ligne
Collez n'importe quelle liste. Activez quatre règles. Obtenez un résultat propre qui conserve l'ordre, la casse et les espaces que vous vouliez vraiment. Conçu pour les équipes data en production.
Collez quelque chose à gauche — les résultats apparaîtront ici.
Ou appuyez sur Ctrl+Entrée
Lignes en entrée 0
Lignes vides 0
Groupes de doublons 0
Supprimées 0
Uniques restantes0
Ce que les gens nettoient ici
04 — cas d'usageNettoyez les exports de CRM, Mailchimp ou HubSpot avant l'import — sans détruire l'ordre de vos colonnes.
Auditez de grandes feuilles de mots-clés, trouvez les doublons entre campagnes avant le lancement.
Supprimez les doublons de CSV / TSV avant l'INSERT — insensible à la casse, avec gestion des espaces, jusqu'à 80 Mo.
Regroupez les traces de pile répétées et les lignes de log redondantes en une liste propre et lisible.
Comment ça marche
trois étapes-
01
Collez votre liste ou téléversez un .txt
Aperçu en temps réel jusqu'à 100 000 lignes sur ordinateur / 5 000 sur mobile. Les entrées plus grandes passent en mode fichier volumineux automatiquement — même moteur, la page reste réactive et livre un .txt en téléchargement.
-
02
Activez les quatre règles
Casse : traiter ABC et abc comme égaux ou non. Espaces : ignorer les espaces blancs de début/fin lors de la comparaison. Vides : retirer les lignes vides. Mélange : mélanger le résultat après le dédoublonnage.
-
03
Cliquez Exécuter
Les doublons fusionnent en une seule ligne ; la première occurrence est conservée. La carte de résultat affiche la liste nettoyée dans son ordre original.
Sous le capot
notes techniques- Algorithme
- Dedup O(n) par table de hachage · Object.create(null) sans prototype
- Répartition par seuil
- Bureau : 2 Mo / 100 000 lignes · Mobile : 300 Ko / 5 000 lignes · Plafond dur : 80 Mo
- Conservation de l'ordre
- Index de la première occurrence enregistré pendant la passe de dédoublonnage
Complexité totale O(n + u log u + s log s) où n = lignes en entrée, u = lignes uniques, s = longueur de sortie. La version antérieure appelait Object.keys(freqMap).length dans la boucle par ligne — O(n²), 156 000 lignes prenaient 5 minutes. L'implémentation actuelle traite le même volume en ~500 ms.
Au-dessus du seuil en temps réel, le texte saisi ne touche jamais le textarea (le word-wrap natif du navigateur est O(n) à l'insertion) — le traitement passe en Web Worker, la page reste interactive, vous récupérez un .txt.
"Supprimer les doublons" d'Excel et UNIQUE() de Google Sheets re-trient tous les deux les colonnes en coulisse — nous gardons l'ordre original par défaut. Activez Mélange si vous voulez un ordre aléatoire selon l'algorithme Fisher-Yates à la place.
Confidentialité et limites
ce qui reste oùTout s'exécute dans votre navigateur. La liste collée n'est jamais téléversée — la page n'envoie aucune requête réseau avec vos données, et la couche d'analyse ne peut pas voir ce que vous saisissez. Après chargement vous pouvez vous déconnecter du réseau et l'outil fonctionne encore. Plafond dur de 80 Mo par exécution pour éviter de bloquer accidentellement l'onglet sur un journal multi-gigaoctets.
Questions fréquentes
réponduesLe dédoublonnage insensible à la casse met-il aussi le résultat en minuscules ?
Non. L'option de casse n'affecte que la comparaison — "Apple" et "APPLE" sont traités comme doublons et seul le premier est conservé, mais la ligne gardée préserve sa casse originale. Le résultat n'est jamais mis en minuscules.
Puis-je garder la DERNIÈRE occurrence de chaque doublon plutôt que la première ?
Oui — enchaînez deux outils. Passez la liste d'abord par Inverser les lignes, puis collez la liste inversée dans le dédoublonneur. Vous pouvez inverser le résultat final encore une fois pour revenir au sens original. Les deux étapes sont locales, sans téléversement.
En quoi c'est différent de Excel "Supprimer les doublons" ?
Trois différences : (1) tout s'exécute dans votre navigateur — collez de partout sans ouvrir Excel, (2) nous conservons la casse et les espaces tels quels, tandis qu'Excel "normalise" parfois les cellules automatiquement, (3) Excel "Supprimer les doublons" trie souvent la colonne en coulisse ; nous gardons l'ordre original par défaut.
Gère-t-il les CSV avec des champs entre guillemets contenant des virgules ?
Il traite chaque ligne comme une seule chaîne pour la comparaison — les champs entre guillemets contenant des virgules sont inclus comme partie de la ligne entière. Pour un dédoublonnage par colonne ("dédoublonner les lignes où la colonne B correspond"), cet outil n'est pas le bon ; utilisez UNIQUE() de Google Sheets ou une étape Power Query à la place.
Quelle est la limite de taille ?
Plafond dur de 80 Mo par exécution. Au-delà de 2 Mo sur ordinateur (300 Ko sur mobile) l'outil bascule en mode fichier volumineux — votre texte ne passe pas par le textarea, le traitement se fait dans un Web Worker, et le résultat se télécharge en .txt au lieu de s'afficher dans la carte de résultat.
Mes données partent-elles quelque part ?
Non. Tout le processus — coller, dédoublonner, afficher — se déroule dans cet onglet. Il n'y a pas d'étape de téléversement, et la couche de télémétrie ne voit jamais ce que vous avez collé. Déconnectez le Wi-Fi après le chargement et l'outil fonctionne encore.