Supprimer les lignes en double

Les lignes en double s'infiltrent dans les journaux, les listes de diffusion, les colonnes CSV exportées en texte brut, les historiques de shell, les extraits de code collés deux fois et les applications de notes où le même point a été copié plus d'une fois. Les nettoyer à la main est lent et source d'erreurs, surtout lorsque des différences de casse masquent de vrais doublons ou lorsque l'ordre compte et que vous devez conserver la première apparition plutôt que la dernière. Cet outil prend le texte multiligne que vous saisissez, le découpe en lignes et renvoie une chaîne dédupliquée déterministe qui préserve l'ordre d'origine des premières occurrences. Vous pouvez éventuellement ignorer la casse des lettres pour qu'Apple et apple comptent comme la même ligne tout en conservant la première casse que vous avez écrite. Une entrée vide est rejetée avec une erreur de validation claire au lieu de renvoyer silencieusement un résultat vide, ce qui protège les clients qui ont oublié de lier un champ.

Comment les doublons partent et l'option de casse

Le moteur normalise les styles de retour chariot afin que le CRLF Windows et le CR nu deviennent de simples séparateurs de nouvelle ligne, puis découpe la chaîne à chaque saut de ligne. Chaque ligne résultante — y compris les lignes vides intentionnelles — est candidate. La première fois qu'une ligne est vue, elle est conservée avec ses caractères d'origine ; toute ligne ultérieure correspondant à la clé de comparaison est écartée.

Par défaut la comparaison est exacte : espaces, ponctuation et casse comptent, de sorte que des espaces de fin ou Apple versus apple sont des lignes distinctes. Les comptes de lignes supprimées et de lignes uniques sont renvoyés avec le texte nettoyé afin que tableaux de bord et tests puissent vérifier l'ampleur du changement.

Comme le chemin est une arithmétique de parse pure sur des chaînes — un seul parcours linéaire avec un ensemble de hachage des clés vues —, la latence reste sous la milliseconde pour des tailles de formulaire typiques et le modèle de coût publié est analytique plutôt que basé sur des jetons de modèle. Il n'y a pas de correspondance floue, de seuil de distance d'édition ni d'étape d'embeddings sémantiques ; cela relève d'autres outils, comme la déduplication sémantique CSV lorsque les lignes se ressemblent sans être égales en texte.

Où la suppression des lignes en double apparaît dans le travail réel

Les développeurs qui nettoient des extraits de journaux et des dumps d'historique shell ont besoin d'une liste unique de première occurrence avant de coller dans des tickets ou des rapports de bogues. Les équipes data qui exportent une seule colonne en texte brut veulent souvent des valeurs uniques sans ouvrir un tableur complet ni écrire un script awk jetable.

Les éditeurs de contenu qui consolident listes d'étiquettes, noms de catégories et entrées de glossaire utilisent le mode insensible à la casse pour que les variantes d'orthographe se regroupent tout en conservant la première casse préférée. Élèves et enseignants préparent listes de vocabulaire et jeux de lignes de corrigé sans répétitions accidentelles du copier-coller. Les administrateurs systèmes fusionnent listes de blocage et d'autorisation de plusieurs sources et ont besoin d'un ensemble unique déterministe qui ne réordonne pas les entrées de confiance antérieures.

Si vous avez ensuite besoin d'une déduplication CSV au niveau des lignes avec clés de colonnes, d'une fusion sémantique floue de lignes quasi doubles ou d'un hachage binaire d'images en double, traitez-les comme des intentions de recherche et des pages d'atterrissage distinctes plutôt que de surcharger cette page supprimer-lignes-en-double.