Rimuovi Righe Duplicate

Cos'è la Rimozione delle Righe Duplicate?

La rimozione delle righe duplicate è il processo di scansione di un blocco di testo riga per riga, mantenendo solo la prima occorrenza di ogni riga unica. Quando rimuovi le righe duplicate online, lo strumento suddivide l'input sui caratteri di nuova riga, traccia le righe già incontrate usando una struttura dati basata su hash (come un Set), e restituisce solo le righe non ancora viste. L'ordine originale delle righe viene preservato.

Due righe sono considerate duplicate quando corrispondono esattamente, carattere per carattere. I dati reali, tuttavia, raramente si prestano a un confronto esatto. Spazi iniziali o finali, capitalizzazione inconsistente e caratteri invisibili come tabulazioni o ritorni a capo possono far sì che righe visivamente identiche vengano trattate come uniche. Per questo la maggior parte degli strumenti di deduplicazione offre opzioni per il confronto senza distinzione tra maiuscole e minuscole e per il ritaglio degli spazi prima del confronto.

La deduplicazione è un'operazione distinta dall'ordinamento. Il comando Unix sort -u ordina e deduplica contemporaneamente, modificando l'ordine delle righe. Se hai bisogno di preservare l'ordine originale, devi usare l'approccio seen-set: scorri le righe in sequenza, aggiungi la forma normalizzata di ogni riga a un set e salta le righe la cui chiave esiste già. Questo strumento usa il metodo seen-set, quindi le prime occorrenze rimangono nelle posizioni originali.

Perché Usare Questo Strumento?

Incolla il testo, scegli le opzioni di confronto e ottieni il risultato deduplicato immediatamente. Nessuna configurazione da riga di comando, nessuna scrittura di regex, nessun caricamento di file.

Casi d'Uso del Rimuovi Righe Duplicate

Confronto tra Metodi di Deduplicazione

Esistono diversi approcci per rimuovere le righe duplicate, ciascuno con diversi compromessi tra preservazione dell'ordine, utilizzo della memoria e precisione.

Gestione della Sensibilità alle Maiuscole e degli Spazi

Due opzioni controllano come lo strumento decide se due righe sono duplicate. Capire quando usare ciascuna opzione previene sia i falsi positivi (trattare righe diverse come duplicate) sia i falsi negativi (non rilevare righe che dovrebbero corrispondere).

Esempi di Codice

Rimuovi le righe duplicate in modo programmatico in JavaScript, Python, Go e dalla riga di comando. Ogni esempio mostra la deduplicazione con preservazione dell'ordine e gestisce la sensibilità alle maiuscole.

const text = `apple
banana
apple
Cherry
banana
cherry`

// Remove exact duplicates, preserve order
const unique = [...new Map(
  text.split('\n').map(line => [line, line])
).values()].join('\n')
// → "apple\nbanana\nCherry\ncherry"

// Case-insensitive deduplication
const seen = new Set()
const ciUnique = text.split('\n').filter(line => {
  const key = line.toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')
// → "apple\nbanana\nCherry"

// Trim whitespace before comparing
const trimDedup = text.split('\n').filter(line => {
  const key = line.trim().toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')

text = """apple
banana
apple
Cherry
banana
cherry"""

lines = text.splitlines()

# Remove duplicates, preserve order (Python 3.7+)
unique = list(dict.fromkeys(lines))
# → ['apple', 'banana', 'Cherry', 'cherry']

# Case-insensitive deduplication
seen = set()
ci_unique = []
for line in lines:
    key = line.lower()
    if key not in seen:
        seen.add(key)
        ci_unique.append(line)
# → ['apple', 'banana', 'Cherry']

# With whitespace trimming
seen = set()
trimmed = []
for line in lines:
    key = line.strip().lower()
    if key not in seen:
        seen.add(key)
        trimmed.append(line)

package main

import (
	"fmt"
	"strings"
)

func removeDuplicates(text string) string {
	lines := strings.Split(text, "\n")
	seen := make(map[string]bool)
	result := make([]string, 0, len(lines))

	for _, line := range lines {
		if !seen[line] {
			seen[line] = true
			result = append(result, line)
		}
	}
	return strings.Join(result, "\n")
}

func main() {
	text := "apple\nbanana\napple\ncherry\nbanana"
	fmt.Println(removeDuplicates(text))
	// → apple\nbanana\ncherry
}

# Remove duplicates (sorts output — does not preserve order)
sort -u file.txt

# Remove duplicates while preserving original order
awk '!seen[$0]++' file.txt

# Case-insensitive dedup, preserve order
awk 'BEGIN{IGNORECASE=1} !seen[tolower($0)]++' file.txt

# Trim whitespace then dedup
sed 's/^[[:space:]]*//;s/[[:space:]]*$//' file.txt | awk '!seen[$0]++'

# Count duplicates before removing
sort file.txt | uniq -c | sort -rn

Domande Frequenti