Eliminador de Líneas Duplicadas

¿Qué es la eliminación de líneas duplicadas?

La eliminación de líneas duplicadas es el proceso de recorrer un bloque de texto línea por línea y conservar solo la primera aparición de cada línea única. Cuando eliminas líneas duplicadas online, la herramienta divide tu entrada por los caracteres de nueva línea, registra qué líneas ya han aparecido usando una estructura de datos basada en hash (como un Set) y genera solo las líneas que no habían aparecido antes. El orden original de las líneas se conserva.

Dos líneas se consideran duplicadas cuando coinciden exactamente, carácter a carácter. Sin embargo, los datos del mundo real rara vez cooperan con la coincidencia exacta. Los espacios al inicio o al final, las mayúsculas inconsistentes y los caracteres invisibles como tabulaciones o retornos de carro pueden hacer que líneas aparentemente idénticas se traten como únicas. Por eso la mayoría de las herramientas de deduplicación ofrecen opciones de comparación sin distinción de mayúsculas y recorte de espacios antes de comparar.

La deduplicación es una operación distinta de la ordenación. El comando Unix sort -u ordena y deduplica a la vez, lo que cambia el orden de las líneas. Si necesitas preservar el orden original, debes usar un enfoque de seen-set: iterar por las líneas en orden, añadir la forma normalizada de cada línea a un conjunto y omitir cualquier línea cuya clave ya exista. Esta herramienta usa el método seen-set, por lo que las primeras apariciones conservan su posición original.

¿Por qué usar este eliminador de duplicados?

Pega tu texto, elige las opciones de comparación y obtén el resultado deduplicado al instante. Sin configuración en la línea de comandos, sin expresiones regulares, sin subida de archivos.

Casos de uso del eliminador de duplicados

Métodos de deduplicación comparados

Existen varios enfoques para eliminar líneas duplicadas, cada uno con diferentes compromisos en cuanto a preservación del orden, uso de memoria y precisión.

Gestión de mayúsculas y espacios

Dos opciones controlan cómo esta herramienta decide si dos líneas son duplicadas. Entender cuándo usar cada opción evita tanto los falsos positivos (tratar líneas distintas como duplicadas) como los falsos negativos (no detectar líneas que deberían coincidir).

Ejemplos de código

Cómo eliminar líneas duplicadas de forma programática en JavaScript, Python, Go y la línea de comandos. Cada ejemplo muestra deduplicación con preservación del orden y gestiona la distinción de mayúsculas.

const text = `apple
banana
apple
Cherry
banana
cherry`

// Remove exact duplicates, preserve order
const unique = [...new Map(
  text.split('\n').map(line => [line, line])
).values()].join('\n')
// → "apple\nbanana\nCherry\ncherry"

// Case-insensitive deduplication
const seen = new Set()
const ciUnique = text.split('\n').filter(line => {
  const key = line.toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')
// → "apple\nbanana\nCherry"

// Trim whitespace before comparing
const trimDedup = text.split('\n').filter(line => {
  const key = line.trim().toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')

text = """apple
banana
apple
Cherry
banana
cherry"""

lines = text.splitlines()

# Remove duplicates, preserve order (Python 3.7+)
unique = list(dict.fromkeys(lines))
# → ['apple', 'banana', 'Cherry', 'cherry']

# Case-insensitive deduplication
seen = set()
ci_unique = []
for line in lines:
    key = line.lower()
    if key not in seen:
        seen.add(key)
        ci_unique.append(line)
# → ['apple', 'banana', 'Cherry']

# With whitespace trimming
seen = set()
trimmed = []
for line in lines:
    key = line.strip().lower()
    if key not in seen:
        seen.add(key)
        trimmed.append(line)

package main

import (
	"fmt"
	"strings"
)

func removeDuplicates(text string) string {
	lines := strings.Split(text, "\n")
	seen := make(map[string]bool)
	result := make([]string, 0, len(lines))

	for _, line := range lines {
		if !seen[line] {
			seen[line] = true
			result = append(result, line)
		}
	}
	return strings.Join(result, "\n")
}

func main() {
	text := "apple\nbanana\napple\ncherry\nbanana"
	fmt.Println(removeDuplicates(text))
	// → apple\nbanana\ncherry
}

# Remove duplicates (sorts output — does not preserve order)
sort -u file.txt

# Remove duplicates while preserving original order
awk '!seen[$0]++' file.txt

# Case-insensitive dedup, preserve order
awk 'BEGIN{IGNORECASE=1} !seen[tolower($0)]++' file.txt

# Trim whitespace then dedup
sed 's/^[[:space:]]*//;s/[[:space:]]*$//' file.txt | awk '!seen[$0]++'

# Count duplicates before removing
sort file.txt | uniq -c | sort -rn

Preguntas frecuentes