Duplicate Line Remover

Что такое удаление дублирующихся строк?

Удаление дублирующихся строк — это процесс сканирования текстового блока строка за строкой с сохранением только первого вхождения каждой уникальной строки. При онлайн-удалении дубликатов инструмент разбивает входной текст по символам новой строки, отслеживает уже встречавшиеся строки с помощью хеш-структуры данных (например, Set) и выводит только те строки, которые ещё не появлялись. Исходный порядок строк сохраняется.

Две строки считаются дубликатами, если они совпадают посимвольно. Однако реальные данные редко подходят под точное совпадение. Ведущие или завершающие пробелы, непоследовательная капитализация и невидимые символы — такие как табуляции или символы возврата каретки — могут привести к тому, что внешне одинаковые строки будут считаться уникальными. Именно поэтому большинство инструментов дедупликации предлагают опции сравнения без учёта регистра и обрезки пробелов перед сравнением.

Дедупликация — это операция, отличная от сортировки. Unix-команда sort -u одновременно сортирует и дедуплицирует, что меняет порядок строк. Если нужно сохранить исходный порядок строк, применяется метод seen-set: строки перебираются последовательно, нормализованная форма каждой строки добавляется в множество, а строки, ключ которых уже существует, пропускаются. Этот инструмент использует метод seen-set, поэтому первые вхождения остаются на исходных позициях.

Зачем использовать этот инструмент?

Вставьте текст, выберите параметры сравнения и сразу же увидите результат дедупликации. Никаких настроек командной строки, написания регулярных выражений или загрузки файлов.

Сценарии использования Duplicate Line Remover

Сравнение методов дедупликации

Существует несколько подходов к удалению дублирующихся строк, каждый из которых имеет разные компромиссы по сохранению порядка, использованию памяти и точности.

Чувствительность к регистру и обработка пробелов

Два параметра управляют тем, как инструмент определяет, являются ли две строки дубликатами. Понимание, когда использовать каждый параметр, предотвращает как ложноположительные результаты (разные строки считаются дубликатами), так и ложноотрицательные (строки, которые должны совпадать, не совпадают).

Примеры кода

Удаление дублирующихся строк программным способом на JavaScript, Python, Go и в командной строке. Каждый пример демонстрирует дедупликацию с сохранением порядка и обработку чувствительности к регистру.

const text = `apple
banana
apple
Cherry
banana
cherry`

// Remove exact duplicates, preserve order
const unique = [...new Map(
  text.split('\n').map(line => [line, line])
).values()].join('\n')
// → "apple\nbanana\nCherry\ncherry"

// Case-insensitive deduplication
const seen = new Set()
const ciUnique = text.split('\n').filter(line => {
  const key = line.toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')
// → "apple\nbanana\nCherry"

// Trim whitespace before comparing
const trimDedup = text.split('\n').filter(line => {
  const key = line.trim().toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')

text = """apple
banana
apple
Cherry
banana
cherry"""

lines = text.splitlines()

# Remove duplicates, preserve order (Python 3.7+)
unique = list(dict.fromkeys(lines))
# → ['apple', 'banana', 'Cherry', 'cherry']

# Case-insensitive deduplication
seen = set()
ci_unique = []
for line in lines:
    key = line.lower()
    if key not in seen:
        seen.add(key)
        ci_unique.append(line)
# → ['apple', 'banana', 'Cherry']

# With whitespace trimming
seen = set()
trimmed = []
for line in lines:
    key = line.strip().lower()
    if key not in seen:
        seen.add(key)
        trimmed.append(line)

package main

import (
	"fmt"
	"strings"
)

func removeDuplicates(text string) string {
	lines := strings.Split(text, "\n")
	seen := make(map[string]bool)
	result := make([]string, 0, len(lines))

	for _, line := range lines {
		if !seen[line] {
			seen[line] = true
			result = append(result, line)
		}
	}
	return strings.Join(result, "\n")
}

func main() {
	text := "apple\nbanana\napple\ncherry\nbanana"
	fmt.Println(removeDuplicates(text))
	// → apple\nbanana\ncherry
}

# Remove duplicates (sorts output — does not preserve order)
sort -u file.txt

# Remove duplicates while preserving original order
awk '!seen[$0]++' file.txt

# Case-insensitive dedup, preserve order
awk 'BEGIN{IGNORECASE=1} !seen[tolower($0)]++' file.txt

# Trim whitespace then dedup
sed 's/^[[:space:]]*//;s/[[:space:]]*$//' file.txt | awk '!seen[$0]++'

# Count duplicates before removing
sort file.txt | uniq -c | sort -rn

Часто задаваемые вопросы