Usuwanie Duplikatów Linii

Czym jest usuwanie zduplikowanych linii?

Usuwanie zduplikowanych linii to proces skanowania bloku tekstu wiersz po wierszu i zachowywania tylko pierwszego wystąpienia każdego unikalnego wiersza. Gdy usuwasz zduplikowane linie online, narzędzie dzieli dane wejściowe na znakach nowej linii, śledzi, które wiersze już się pojawiły, używając struktury danych opartej na skrótach (jak Set), i wyświetla tylko te wiersze, których wcześniej nie było. Oryginalna kolejność linii jest zachowana.

Dwa wiersze są uznawane za duplikaty, gdy pasują do siebie dokładnie, znak po znaku. Jednak rzeczywiste dane rzadko pozwalają na idealne dopasowanie. Spacje na początku lub końcu wiersza, niespójna wielkość liter oraz niewidoczne znaki, takie jak tabulatory lub znaki powrotu karetki, mogą sprawiać, że wiersze wyglądające identycznie są traktowane jako unikalne. Dlatego większość narzędzi do deduplikacji oferuje opcje porównywania bez uwzględniania wielkości liter i przycinania spacji przed porównaniem.

Deduplikacja to operacja różna od sortowania. Polecenie Unix sort -u jednocześnie sortuje i usuwa duplikaty, co zmienia kolejność linii. Jeśli chcesz zachować oryginalną kolejność wierszy, potrzebujesz metody seen-set: iterujesz przez wiersze sekwencyjnie, dodajesz znormalizowaną postać każdego wiersza do zbioru i pomijasz każdy wiersz, którego klucz już istnieje. Narzędzie to używa metody seen-set, więc pierwsze wystąpienia pozostają na swoich oryginalnych pozycjach.

Dlaczego warto używać tego narzędzia do usuwania duplikatów?

Wklej tekst, wybierz opcje porównywania i natychmiast zobacz wynik po deduplikacji. Bez konfiguracji wiersza poleceń, bez pisania wyrażeń regularnych, bez przesyłania plików.

Zastosowania narzędzia do usuwania duplikatów linii

Porównanie metod deduplikacji

Istnieje kilka podejść do usuwania zduplikowanych linii, każde z innymi kompromisami dotyczącymi zachowania kolejności, wykorzystania pamięci i dokładności.

Rozróżnianie wielkości liter i obsługa spacji

Dwie opcje kontrolują, w jaki sposób narzędzie decyduje, czy dwa wiersze są duplikatami. Zrozumienie, kiedy używać każdej opcji, zapobiega zarówno fałszywym pozytywom (traktowaniu różnych linii jako duplikatów), jak i fałszywym negatywom (pomijaniu linii, które powinny pasować).

Przykłady kodu

Usuń zduplikowane linie programowo w JavaScript, Python, Go i wierszu poleceń. Każdy przykład pokazuje deduplikację z zachowaniem kolejności i obsługuje rozróżnianie wielkości liter.

const text = `apple
banana
apple
Cherry
banana
cherry`

// Remove exact duplicates, preserve order
const unique = [...new Map(
  text.split('\n').map(line => [line, line])
).values()].join('\n')
// → "apple\nbanana\nCherry\ncherry"

// Case-insensitive deduplication
const seen = new Set()
const ciUnique = text.split('\n').filter(line => {
  const key = line.toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')
// → "apple\nbanana\nCherry"

// Trim whitespace before comparing
const trimDedup = text.split('\n').filter(line => {
  const key = line.trim().toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')

text = """apple
banana
apple
Cherry
banana
cherry"""

lines = text.splitlines()

# Remove duplicates, preserve order (Python 3.7+)
unique = list(dict.fromkeys(lines))
# → ['apple', 'banana', 'Cherry', 'cherry']

# Case-insensitive deduplication
seen = set()
ci_unique = []
for line in lines:
    key = line.lower()
    if key not in seen:
        seen.add(key)
        ci_unique.append(line)
# → ['apple', 'banana', 'Cherry']

# With whitespace trimming
seen = set()
trimmed = []
for line in lines:
    key = line.strip().lower()
    if key not in seen:
        seen.add(key)
        trimmed.append(line)

package main

import (
	"fmt"
	"strings"
)

func removeDuplicates(text string) string {
	lines := strings.Split(text, "\n")
	seen := make(map[string]bool)
	result := make([]string, 0, len(lines))

	for _, line := range lines {
		if !seen[line] {
			seen[line] = true
			result = append(result, line)
		}
	}
	return strings.Join(result, "\n")
}

func main() {
	text := "apple\nbanana\napple\ncherry\nbanana"
	fmt.Println(removeDuplicates(text))
	// → apple\nbanana\ncherry
}

# Remove duplicates (sorts output — does not preserve order)
sort -u file.txt

# Remove duplicates while preserving original order
awk '!seen[$0]++' file.txt

# Case-insensitive dedup, preserve order
awk 'BEGIN{IGNORECASE=1} !seen[tolower($0)]++' file.txt

# Trim whitespace then dedup
sed 's/^[[:space:]]*//;s/[[:space:]]*$//' file.txt | awk '!seen[$0]++'

# Count duplicates before removing
sort file.txt | uniq -c | sort -rn

Często zadawane pytania