Duplicate Line Remover

Was ist das Entfernen doppelter Zeilen?

Das Entfernen doppelter Zeilen bezeichnet den Vorgang, einen Textblock Zeile für Zeile zu durchsuchen und nur das erste Vorkommen jeder eindeutigen Zeile zu behalten. Beim Online-Deduplizieren teilt das Tool die Eingabe an Zeilenumbrüchen auf, verfolgt bereits gesehene Zeilen mithilfe einer Hash-basierten Datenstruktur (wie einem Set) und gibt nur Zeilen aus, die noch nicht vorgekommen sind. Die ursprüngliche Zeilenreihenfolge bleibt dabei erhalten.

Zwei Zeilen gelten als Duplikate, wenn sie Zeichen für Zeichen exakt übereinstimmen. In der Praxis arbeiten reale Daten jedoch selten mit exakten Übereinstimmungen. Führende oder nachfolgende Leerzeichen, inkonsistente Groß-/Kleinschreibung und unsichtbare Zeichen wie Tabulatoren oder Wagenrückläufe können dazu führen, dass optisch identische Zeilen als unterschiedlich erkannt werden. Deshalb bieten die meisten Deduplizierungstools Optionen für Groß-/Kleinschreibungs-unabhängigen Vergleich und Leerzeichen-Trimming vor dem Vergleich.

Deduplizierung ist ein eigenständiger Vorgang und unterscheidet sich vom Sortieren. Der Unix-Befehl sort -u sortiert und dedupliziert gleichzeitig und verändert damit die Zeilenreihenfolge. Wenn die ursprüngliche Reihenfolge erhalten bleiben soll, wird ein Seen-Set-Ansatz benötigt: Zeilen sequenziell durchlaufen, die normalisierte Form jeder Zeile in ein Set einfügen und jede Zeile überspringen, deren Schlüssel bereits vorhanden ist. Dieses Tool verwendet den Seen-Set-Ansatz, sodass erste Vorkommen an ihrer ursprünglichen Position bleiben.

Warum diesen Duplicate Remover verwenden?

Text einfügen, Vergleichsoptionen wählen und das deduplizierte Ergebnis sofort erhalten. Kein Kommandozeilen-Setup, kein Regex-Schreiben, keine Datei-Uploads.

Anwendungsfälle für den Duplicate Line Remover

Deduplizierungsmethoden im Vergleich

Es gibt verschiedene Ansätze zum Entfernen doppelter Zeilen, die sich hinsichtlich Reihenfolgeerhaltung, Speicherverbrauch und Genauigkeit unterscheiden.

Groß-/Kleinschreibung und Leerzeichen-Behandlung

Zwei Optionen bestimmen, wie das Tool entscheidet, ob zwei Zeilen Duplikate sind. Das Verstehen des richtigen Einsatzes jeder Option verhindert sowohl falsche Treffer (unterschiedliche Zeilen werden als Duplikate behandelt) als auch fehlende Treffer (Zeilen, die als Duplikate erkannt werden sollten, werden es nicht).

Code-Beispiele

Doppelte Zeilen programmatisch in JavaScript, Python, Go und auf der Kommandozeile entfernen. Jedes Beispiel zeigt reihenfolgeerhaltende Deduplizierung und berücksichtigt Groß-/Kleinschreibungs-Sensitivität.

const text = `apple
banana
apple
Cherry
banana
cherry`

// Remove exact duplicates, preserve order
const unique = [...new Map(
  text.split('\n').map(line => [line, line])
).values()].join('\n')
// → "apple\nbanana\nCherry\ncherry"

// Case-insensitive deduplication
const seen = new Set()
const ciUnique = text.split('\n').filter(line => {
  const key = line.toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')
// → "apple\nbanana\nCherry"

// Trim whitespace before comparing
const trimDedup = text.split('\n').filter(line => {
  const key = line.trim().toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')

text = """apple
banana
apple
Cherry
banana
cherry"""

lines = text.splitlines()

# Remove duplicates, preserve order (Python 3.7+)
unique = list(dict.fromkeys(lines))
# → ['apple', 'banana', 'Cherry', 'cherry']

# Case-insensitive deduplication
seen = set()
ci_unique = []
for line in lines:
    key = line.lower()
    if key not in seen:
        seen.add(key)
        ci_unique.append(line)
# → ['apple', 'banana', 'Cherry']

# With whitespace trimming
seen = set()
trimmed = []
for line in lines:
    key = line.strip().lower()
    if key not in seen:
        seen.add(key)
        trimmed.append(line)

package main

import (
	"fmt"
	"strings"
)

func removeDuplicates(text string) string {
	lines := strings.Split(text, "\n")
	seen := make(map[string]bool)
	result := make([]string, 0, len(lines))

	for _, line := range lines {
		if !seen[line] {
			seen[line] = true
			result = append(result, line)
		}
	}
	return strings.Join(result, "\n")
}

func main() {
	text := "apple\nbanana\napple\ncherry\nbanana"
	fmt.Println(removeDuplicates(text))
	// → apple\nbanana\ncherry
}

# Remove duplicates (sorts output — does not preserve order)
sort -u file.txt

# Remove duplicates while preserving original order
awk '!seen[$0]++' file.txt

# Case-insensitive dedup, preserve order
awk 'BEGIN{IGNORECASE=1} !seen[tolower($0)]++' file.txt

# Trim whitespace then dedup
sed 's/^[[:space:]]*//;s/[[:space:]]*$//' file.txt | awk '!seen[$0]++'

# Count duplicates before removing
sort file.txt | uniq -c | sort -rn

Häufig gestellte Fragen