Eliminar líneas duplicadas

Las líneas duplicadas se cuelan en registros, listas de correo, columnas CSV exportadas como texto plano, historiales de shell, ejemplos de código pegados dos veces y aplicaciones de notas donde el mismo punto se copió más de una vez. Limpiarlas a mano es lento y propenso a errores, sobre todo cuando las diferencias de mayúsculas ocultan verdaderos duplicados o cuando el orden importa y debe conservar la primera aparición en lugar de la última. Esta herramienta toma el texto multilínea que usted introduce, lo divide en líneas y devuelve una cadena deduplicada determinista que preserva el orden original de las primeras ocurrencias. Puede ignorar opcionalmente las mayúsculas para que Apple y apple cuenten como la misma línea mientras se conserva la primera capitalización que escribió. La entrada vacía se rechaza con un error de validación claro en lugar de devolver un resultado vacío en silencio, lo que protege a los clientes que olvidaron enlazar un campo.

Cómo se eliminan los duplicados y la opción de mayúsculas

El motor normaliza los estilos de retorno de carro de modo que CRLF de Windows y CR simple se conviertan en separadores de nueva línea, y luego divide la cadena en cada salto de línea. Cada línea resultante —incluidas las líneas en blanco intencionadas— se considera candidata. La primera vez que se ve una línea se conserva con sus caracteres originales; toda línea posterior que coincida con la clave de comparación se descarta.

Por defecto la comparación es exacta: espacios, puntuación y mayúsculas importan, de modo que espacios finales o Apple frente a apple son líneas distintas. Los recuentos de líneas eliminadas y de líneas únicas se devuelven junto con el texto limpio para que paneles y pruebas puedan comprobar cuánto cambió.

Como la ruta es aritmética de parse puro sobre cadenas —un único recorrido lineal con un conjunto hash de claves vistas—, la latencia se mantiene por debajo del milisegundo en tamaños de formulario típicos y el modelo de coste publicado es analítico, no basado en tokens de modelo. No hay coincidencia difusa, umbral de distancia de edición ni paso de embeddings semánticos; eso corresponde a otras herramientas, como la deduplicación semántica de CSV cuando las filas se parecen pero no son iguales como texto.

Dónde aparece la eliminación de líneas duplicadas en el trabajo real

Los desarrolladores que limpian fragmentos de registro e historiales de shell necesitan una lista única de primera aparición antes de pegarla en tickets o informes de errores. Los equipos de datos que exportan una sola columna como texto plano a menudo quieren valores únicos sin abrir una hoja de cálculo completa ni escribir un script awk de un solo uso.

Los editores de contenido que consolidan listas de etiquetas, nombres de categoría y entradas de glosario usan el modo sin distinción de mayúsculas para que las variantes ortográficas se unan y se conserve la primera capitalización preferida. Estudiantes y profesores preparan listas de vocabulario y conjuntos de líneas de clave de respuesta sin repeticiones accidentales por copiar y pegar. Los administradores de sistemas fusionan listas de bloqueo y de permiso de varias fuentes y necesitan un conjunto único determinista que no reordene entradas fiables anteriores.

Si más adelante necesita deduplicación CSV a nivel de fila con claves de columna, fusión semántica difusa de filas casi duplicadas o hash binario de archivos de imágenes duplicadas, trátelos como intenciones de búsqueda y páginas de aterrizaje distintas en lugar de sobrecargar esta página de eliminar-líneas-duplicadas.