Removedor de Linhas Duplicadas

O Que É Remoção de Linhas Duplicadas?

Remoção de linhas duplicadas é o processo de percorrer um bloco de texto linha a linha e manter apenas a primeira ocorrência de cada linha única. Ao remover linhas duplicadas online, a ferramenta divide o texto nos caracteres de nova linha, rastreia quais linhas já apareceram usando uma estrutura de dados baseada em hash (como um Set) e produz apenas as linhas que ainda não foram vistas. A ordem original das linhas é preservada.

Duas linhas são consideradas duplicatas quando correspondem exatamente, caractere por caractere. No entanto, dados do mundo real raramente cooperam com a correspondência exata. Espaços em branco no início ou no final, capitalização inconsistente e caracteres invisíveis como tabulações ou retornos de carro podem fazer com que linhas visualmente idênticas sejam tratadas como únicas. É por isso que a maioria das ferramentas de deduplicação oferece opções para comparação sem distinção entre maiúsculas e minúsculas e remoção de espaços em branco antes da comparação.

Deduplicação é uma operação distinta da ordenação. O comando Unix sort -u ordena e deduplica ao mesmo tempo, alterando a ordem das linhas. Se você precisar preservar a ordem original das linhas, é necessário usar a abordagem de seen-set: iterar pelas linhas sequencialmente, adicionar a forma normalizada de cada linha a um conjunto e ignorar qualquer linha cuja chave já exista. Esta ferramenta usa o método seen-set, portanto as primeiras ocorrências permanecem em suas posições originais.

Por Que Usar Este Removedor de Duplicatas?

Cole seu texto, escolha as opções de comparação e veja o resultado deduplicado imediatamente. Sem configuração de linha de comando, sem escrita de regex, sem upload de arquivos.

Casos de Uso do Removedor de Linhas Duplicadas

Métodos de Deduplicação Comparados

Existem várias abordagens para remover linhas duplicadas, cada uma com diferentes compromissos em termos de preservação de ordem, uso de memória e precisão.

Sensibilidade a Maiúsculas e Tratamento de Espaços em Branco

Duas opções controlam como esta ferramenta decide se duas linhas são duplicatas. Entender quando usar cada opção evita tanto falsos positivos (tratar linhas diferentes como duplicatas) quanto falsos negativos (ignorar linhas que deveriam corresponder).

Exemplos de Código

Remova linhas duplicadas programaticamente em JavaScript, Python, Go e na linha de comando. Cada exemplo demonstra deduplicação com preservação de ordem e trata a sensibilidade a maiúsculas.

const text = `apple
banana
apple
Cherry
banana
cherry`

// Remove exact duplicates, preserve order
const unique = [...new Map(
  text.split('\n').map(line => [line, line])
).values()].join('\n')
// → "apple\nbanana\nCherry\ncherry"

// Case-insensitive deduplication
const seen = new Set()
const ciUnique = text.split('\n').filter(line => {
  const key = line.toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')
// → "apple\nbanana\nCherry"

// Trim whitespace before comparing
const trimDedup = text.split('\n').filter(line => {
  const key = line.trim().toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')

text = """apple
banana
apple
Cherry
banana
cherry"""

lines = text.splitlines()

# Remove duplicates, preserve order (Python 3.7+)
unique = list(dict.fromkeys(lines))
# → ['apple', 'banana', 'Cherry', 'cherry']

# Case-insensitive deduplication
seen = set()
ci_unique = []
for line in lines:
    key = line.lower()
    if key not in seen:
        seen.add(key)
        ci_unique.append(line)
# → ['apple', 'banana', 'Cherry']

# With whitespace trimming
seen = set()
trimmed = []
for line in lines:
    key = line.strip().lower()
    if key not in seen:
        seen.add(key)
        trimmed.append(line)

package main

import (
	"fmt"
	"strings"
)

func removeDuplicates(text string) string {
	lines := strings.Split(text, "\n")
	seen := make(map[string]bool)
	result := make([]string, 0, len(lines))

	for _, line := range lines {
		if !seen[line] {
			seen[line] = true
			result = append(result, line)
		}
	}
	return strings.Join(result, "\n")
}

func main() {
	text := "apple\nbanana\napple\ncherry\nbanana"
	fmt.Println(removeDuplicates(text))
	// → apple\nbanana\ncherry
}

# Remove duplicates (sorts output — does not preserve order)
sort -u file.txt

# Remove duplicates while preserving original order
awk '!seen[$0]++' file.txt

# Case-insensitive dedup, preserve order
awk 'BEGIN{IGNORECASE=1} !seen[tolower($0)]++' file.txt

# Trim whitespace then dedup
sed 's/^[[:space:]]*//;s/[[:space:]]*$//' file.txt | awk '!seen[$0]++'

# Count duplicates before removing
sort file.txt | uniq -c | sort -rn

Perguntas Frequentes