Duplicate Line Remover

Wat is het verwijderen van dubbele regels?

Het verwijderen van dubbele regels is het proces waarbij een tekstblok regel voor regel wordt gescand en alleen de eerste keer dat een unieke regel voorkomt wordt bewaard. Wanneer je dubbele regels online verwijdert, splitst de tool je invoer op newline-tekens, bijhoudt welke regels al zijn gezien via een hash-gebaseerde datastructuur (zoals een Set), en geeft alleen de regels uit die nog niet eerder zijn voorgekomen. De originele regelvolgorde blijft behouden.

Twee regels worden als duplicaten beschouwd wanneer ze exact overeenkomen, teken voor teken. Maar data in de praktijk werkt zelden mee met exacte vergelijking. Voorloopspaties of afsluitende spaties, inconsistente hoofdlettergebruik en onzichtbare tekens zoals tabs of regelteruglooptekens kunnen ervoor zorgen dat regels die identiek lijken toch als uniek worden behandeld. Daarom bieden de meeste deduplicatietools opties voor hoofdletterongevoelige vergelijking en het verwijderen van witruimte vóór de vergelijking.

Deduplicatie is een andere bewerking dan sorteren. Het Unix-commando sort -u sorteert én dedupliceert tegelijk, waardoor de regelvolgorde verandert. Als je de originele volgorde wilt bewaren, heb je een seen-set-aanpak nodig: doorloop regels op volgorde, voeg de genormaliseerde vorm van elke regel toe aan een set, en sla regels over waarvan de sleutel al bestaat. Deze tool gebruikt de seen-set-methode, zodat de eerste keer dat een regel voorkomt op de oorspronkelijke positie blijft staan.

Waarom deze Duplicate Remover gebruiken?

Plak je tekst, kies je vergelijkingsopties en zie het gededupliceerde resultaat direct. Geen opdrachtregelinstellingen, geen regex schrijven, geen bestandsuploads.

Toepassingen van de Duplicate Line Remover

Deduplicatiemethoden vergeleken

Er zijn verschillende benaderingen om dubbele regels te verwijderen, elk met andere afwegingen voor het bewaren van volgorde, geheugengebruik en nauwkeurigheid.

Hoofdlettergevoeligheid en witruimtebeheer

Twee opties bepalen hoe deze tool beslist of twee regels duplicaten zijn. Begrijpen wanneer je elke optie gebruikt, voorkomt zowel vals-positieven (verschillende regels als duplicaten behandelen) als vals-negatieven (regels die overeen zouden moeten komen, missen).

Codevoorbeelden

Verwijder programmatisch dubbele regels in JavaScript, Python, Go en op de opdrachtregel. Elk voorbeeld toont volgordebehoudende deduplicatie en behandelt hoofdlettergevoeligheid.

const text = `apple
banana
apple
Cherry
banana
cherry`

// Remove exact duplicates, preserve order
const unique = [...new Map(
  text.split('\n').map(line => [line, line])
).values()].join('\n')
// → "apple\nbanana\nCherry\ncherry"

// Case-insensitive deduplication
const seen = new Set()
const ciUnique = text.split('\n').filter(line => {
  const key = line.toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')
// → "apple\nbanana\nCherry"

// Trim whitespace before comparing
const trimDedup = text.split('\n').filter(line => {
  const key = line.trim().toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')

text = """apple
banana
apple
Cherry
banana
cherry"""

lines = text.splitlines()

# Remove duplicates, preserve order (Python 3.7+)
unique = list(dict.fromkeys(lines))
# → ['apple', 'banana', 'Cherry', 'cherry']

# Case-insensitive deduplication
seen = set()
ci_unique = []
for line in lines:
    key = line.lower()
    if key not in seen:
        seen.add(key)
        ci_unique.append(line)
# → ['apple', 'banana', 'Cherry']

# With whitespace trimming
seen = set()
trimmed = []
for line in lines:
    key = line.strip().lower()
    if key not in seen:
        seen.add(key)
        trimmed.append(line)

package main

import (
	"fmt"
	"strings"
)

func removeDuplicates(text string) string {
	lines := strings.Split(text, "\n")
	seen := make(map[string]bool)
	result := make([]string, 0, len(lines))

	for _, line := range lines {
		if !seen[line] {
			seen[line] = true
			result = append(result, line)
		}
	}
	return strings.Join(result, "\n")
}

func main() {
	text := "apple\nbanana\napple\ncherry\nbanana"
	fmt.Println(removeDuplicates(text))
	// → apple\nbanana\ncherry
}

# Remove duplicates (sorts output — does not preserve order)
sort -u file.txt

# Remove duplicates while preserving original order
awk '!seen[$0]++' file.txt

# Case-insensitive dedup, preserve order
awk 'BEGIN{IGNORECASE=1} !seen[tolower($0)]++' file.txt

# Trim whitespace then dedup
sed 's/^[[:space:]]*//;s/[[:space:]]*$//' file.txt | awk '!seen[$0]++'

# Count duplicates before removing
sort file.txt | uniq -c | sort -rn

Veelgestelde vragen