Duplicate Line Remover

Co je odstranění duplicitních řádků?

Odstranění duplicitních řádků je proces, při kterém nástroj prochází blok textu řádek po řádku a ponechává pouze první výskyt každého unikátního řádku. Při online odstranění duplicit nástroj rozdělí vstup na základě znaků nového řádku, sleduje již zobrazené řádky pomocí datové struktury na bázi hashů (jako je Set) a na výstup předává pouze řádky, které dosud nebyly viděny. Původní pořadí řádků je zachováno.

Dva řádky jsou považovány za duplicitní, pokud se shodují přesně, znak po znaku. Reálná data však s přesným porovnáváním příliš nespolupracují. Úvodní nebo koncové bílé znaky, nekonzistentní velikost písmen a neviditelné znaky jako tabelátory nebo znaky návratu na začátek řádku mohou způsobit, že řádky vypadající identicky budou považovány za unikátní. Proto většina nástrojů pro deduplikaci nabízí možnosti porovnávání bez ohledu na velikost písmen a oříznutí bílých znaků před porovnáním.

Deduplikace je odlišná operace od třídění. Unixový příkaz sort -u současně třídí i odstraňuje duplicity, čímž mění pořadí řádků. Pokud potřebujete zachovat původní pořadí řádků, je třeba použít přístup se sledovací množinou: procházet řádky postupně, přidávat normalizovaný tvar každého řádku do množiny a přeskočit každý řádek, jehož klíč již existuje. Tento nástroj používá metodu sledovací množiny, takže první výskyty zůstávají na svých původních pozicích.

Proč použít tento nástroj?

Vložte text, zvolte možnosti porovnávání a okamžitě zobrazte výsledek bez duplicit. Žádné nastavování příkazové řádky, žádné psaní regulárních výrazů, žádné nahrávání souborů.

Případy použití Duplicate Line Remover

Srovnání metod deduplikace

Existuje několik přístupů k odstraňování duplicitních řádků, každý s různými kompromisy z hlediska zachování pořadí, využití paměti a přesnosti.

Rozlišování velikosti písmen a zpracování bílých znaků

Dvě možnosti řídí, jak tento nástroj rozhoduje, zda jsou dva řádky duplicitní. Pochopení toho, kdy každou možnost použít, zabraňuje falešně pozitivním výsledkům (považování různých řádků za duplicitní) i falešně negativním výsledkům (přehlédnutí řádků, které by se měly shodovat).

Příklady kódu

Odstraňte duplicitní řádky programově v JavaScriptu, Pythonu, Go a na příkazové řádce. Každý příklad demonstruje deduplikaci se zachováním pořadí a zpracování rozlišování velikosti písmen.

const text = `apple
banana
apple
Cherry
banana
cherry`

// Remove exact duplicates, preserve order
const unique = [...new Map(
  text.split('\n').map(line => [line, line])
).values()].join('\n')
// → "apple\nbanana\nCherry\ncherry"

// Case-insensitive deduplication
const seen = new Set()
const ciUnique = text.split('\n').filter(line => {
  const key = line.toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')
// → "apple\nbanana\nCherry"

// Trim whitespace before comparing
const trimDedup = text.split('\n').filter(line => {
  const key = line.trim().toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')

text = """apple
banana
apple
Cherry
banana
cherry"""

lines = text.splitlines()

# Remove duplicates, preserve order (Python 3.7+)
unique = list(dict.fromkeys(lines))
# → ['apple', 'banana', 'Cherry', 'cherry']

# Case-insensitive deduplication
seen = set()
ci_unique = []
for line in lines:
    key = line.lower()
    if key not in seen:
        seen.add(key)
        ci_unique.append(line)
# → ['apple', 'banana', 'Cherry']

# With whitespace trimming
seen = set()
trimmed = []
for line in lines:
    key = line.strip().lower()
    if key not in seen:
        seen.add(key)
        trimmed.append(line)

package main

import (
	"fmt"
	"strings"
)

func removeDuplicates(text string) string {
	lines := strings.Split(text, "\n")
	seen := make(map[string]bool)
	result := make([]string, 0, len(lines))

	for _, line := range lines {
		if !seen[line] {
			seen[line] = true
			result = append(result, line)
		}
	}
	return strings.Join(result, "\n")
}

func main() {
	text := "apple\nbanana\napple\ncherry\nbanana"
	fmt.Println(removeDuplicates(text))
	// → apple\nbanana\ncherry
}

# Remove duplicates (sorts output — does not preserve order)
sort -u file.txt

# Remove duplicates while preserving original order
awk '!seen[$0]++' file.txt

# Case-insensitive dedup, preserve order
awk 'BEGIN{IGNORECASE=1} !seen[tolower($0)]++' file.txt

# Trim whitespace then dedup
sed 's/^[[:space:]]*//;s/[[:space:]]*$//' file.txt | awk '!seen[$0]++'

# Count duplicates before removing
sort file.txt | uniq -c | sort -rn

Časté dotazy