Duplicate Line Remover

Vad är borttagning av dubbletter?

Borttagning av dubbletter är processen att gå igenom ett textblock rad för rad och behålla bara den första förekomsten av varje unik rad. När du tar bort dubbletter online delar verktyget upp texten vid radbrytningar, spårar vilka rader som redan förekommit med en hashbaserad datastruktur (som ett Set) och matar ut bara de rader som inte setts tidigare. Den ursprungliga radordningen bevaras.

Två rader anses vara dubbletter när de stämmer exakt överens, tecken för tecken. Verkliga data samarbetar sällan med exakt matchning. Inledande eller avslutande mellanslag, inkonsekvent versalisering och osynliga tecken som tabbar eller vagnreturer kan göra att rader som ser identiska ut behandlas som unika. Det är därför de flesta dedupliceringsverktyg erbjuder alternativ för skiftlägeskänslig jämförelse och trimning av mellanslag före jämförelsen.

Deduplicering är en annan operation än sortering. Unix-kommandot sort -u sorterar och deduplicerar på samma gång, vilket ändrar radordningen. Om du behöver bevara den ursprungliga ordningen behöver du en seen-set-metod: iterera genom rader i ordning, lägg till den normaliserade formen av varje rad i ett set och hoppa över rader vars nyckel redan finns. Det här verktyget använder seen-set-metoden, så dina första förekomster stannar på sina ursprungliga platser.

Varför använda den här dubblettborttagaren?

Klistra in din text, välj jämförelsealternativ och se det deduplicerade resultatet direkt. Ingen kommandoradsinställning, ingen regex, inga filuppladdningar.

Användningsfall för Duplicate Line Remover

Jämförelse av dedupliceringsmetoder

Det finns flera sätt att ta bort dubbletter, var och en med olika avvägningar för ordbevarande, minnesanvändning och noggrannhet.

Skiftlägeskänslighet och hantering av mellanslag

Två alternativ styr hur verktyget avgör om två rader är dubbletter. Att förstå när man ska använda varje alternativ förhindrar både falskt positiva (behandla olika rader som dubbletter) och falskt negativa (missa rader som borde matcha).

Kodexempel

Ta bort dubbletter programmatiskt i JavaScript, Python, Go och på kommandoraden. Varje exempel visar ordningsbevarande deduplicering och hanterar skiftlägeskänslighet.

const text = `apple
banana
apple
Cherry
banana
cherry`

// Remove exact duplicates, preserve order
const unique = [...new Map(
  text.split('\n').map(line => [line, line])
).values()].join('\n')
// → "apple\nbanana\nCherry\ncherry"

// Case-insensitive deduplication
const seen = new Set()
const ciUnique = text.split('\n').filter(line => {
  const key = line.toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')
// → "apple\nbanana\nCherry"

// Trim whitespace before comparing
const trimDedup = text.split('\n').filter(line => {
  const key = line.trim().toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')

text = """apple
banana
apple
Cherry
banana
cherry"""

lines = text.splitlines()

# Remove duplicates, preserve order (Python 3.7+)
unique = list(dict.fromkeys(lines))
# → ['apple', 'banana', 'Cherry', 'cherry']

# Case-insensitive deduplication
seen = set()
ci_unique = []
for line in lines:
    key = line.lower()
    if key not in seen:
        seen.add(key)
        ci_unique.append(line)
# → ['apple', 'banana', 'Cherry']

# With whitespace trimming
seen = set()
trimmed = []
for line in lines:
    key = line.strip().lower()
    if key not in seen:
        seen.add(key)
        trimmed.append(line)

package main

import (
	"fmt"
	"strings"
)

func removeDuplicates(text string) string {
	lines := strings.Split(text, "\n")
	seen := make(map[string]bool)
	result := make([]string, 0, len(lines))

	for _, line := range lines {
		if !seen[line] {
			seen[line] = true
			result = append(result, line)
		}
	}
	return strings.Join(result, "\n")
}

func main() {
	text := "apple\nbanana\napple\ncherry\nbanana"
	fmt.Println(removeDuplicates(text))
	// → apple\nbanana\ncherry
}

# Remove duplicates (sorts output — does not preserve order)
sort -u file.txt

# Remove duplicates while preserving original order
awk '!seen[$0]++' file.txt

# Case-insensitive dedup, preserve order
awk 'BEGIN{IGNORECASE=1} !seen[tolower($0)]++' file.txt

# Trim whitespace then dedup
sed 's/^[[:space:]]*//;s/[[:space:]]*$//' file.txt | awk '!seen[$0]++'

# Count duplicates before removing
sort file.txt | uniq -c | sort -rn

Vanliga frågor