Duplicate Line Remover

Що таке видалення повторюваних рядків?

Видалення повторюваних рядків — це процес сканування текстового блоку рядок за рядком із збереженням лише першого входження кожного унікального рядка. Коли ви видаляєте дублікати рядків онлайн, інструмент розбиває вхідні дані за символами нового рядка, відстежує вже помічені рядки за допомогою структури даних на основі хешування (наприклад, Set) і виводить лише ті рядки, які ще не зустрічались. Оригінальний порядок рядків зберігається.

Два рядки вважаються дублікатами, якщо вони збігаються посимвольно. Однак реальні дані рідко підходять для точного збігу. Пробіли на початку або в кінці рядка, непослідовне використання регістру та невидимі символи, такі як табуляції або символи повернення каретки, можуть спричинити те, що однакові на вигляд рядки будуть вважатися унікальними. Саме тому більшість інструментів дедублікації пропонують параметри порівняння без урахування регістру та обрізання пробілів перед порівнянням.

Дедублікація — це окрема операція, відмінна від сортування. Команда Unix sort -u одночасно сортує і видаляє дублікати, що змінює порядок рядків. Якщо потрібно зберегти оригінальний порядок, потрібен підхід із «множиною переглянутих»: послідовно перебирайте рядки, додавайте нормалізовану форму кожного рядка до множини і пропускайте рядки, ключ яких вже є в ній. Цей інструмент використовує саме такий підхід, тому перші входження залишаються на своїх початкових позиціях.

Навіщо використовувати цей інструмент видалення дублікатів?

Вставте текст, виберіть параметри порівняння й отримайте результат без дублікатів миттєво. Без налаштування командного рядка, без написання регулярних виразів, без завантаження файлів.

Сценарії використання інструменту видалення дублікатів рядків

Порівняння методів дедублікації

Існує кілька підходів до видалення повторюваних рядків, кожен із різними компромісами щодо збереження порядку, використання пам'яті та точності.

Чутливість до регістру та обробка пробілів

Два параметри визначають, чи вважаються два рядки дублікатами. Розуміння того, коли використовувати кожен параметр, дозволяє уникнути як хибнопозитивних (різні рядки вважаються дублікатами), так і хибнонегативних (рядки, що мали збігтися, не розпізнаються) результатів.

Приклади коду

Видаляйте повторювані рядки програмно у JavaScript, Python, Go та командному рядку. Кожен приклад демонструє дедублікацію зі збереженням порядку і підтримку чутливості до регістру.

const text = `apple
banana
apple
Cherry
banana
cherry`

// Remove exact duplicates, preserve order
const unique = [...new Map(
  text.split('\n').map(line => [line, line])
).values()].join('\n')
// → "apple\nbanana\nCherry\ncherry"

// Case-insensitive deduplication
const seen = new Set()
const ciUnique = text.split('\n').filter(line => {
  const key = line.toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')
// → "apple\nbanana\nCherry"

// Trim whitespace before comparing
const trimDedup = text.split('\n').filter(line => {
  const key = line.trim().toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')

text = """apple
banana
apple
Cherry
banana
cherry"""

lines = text.splitlines()

# Remove duplicates, preserve order (Python 3.7+)
unique = list(dict.fromkeys(lines))
# → ['apple', 'banana', 'Cherry', 'cherry']

# Case-insensitive deduplication
seen = set()
ci_unique = []
for line in lines:
    key = line.lower()
    if key not in seen:
        seen.add(key)
        ci_unique.append(line)
# → ['apple', 'banana', 'Cherry']

# With whitespace trimming
seen = set()
trimmed = []
for line in lines:
    key = line.strip().lower()
    if key not in seen:
        seen.add(key)
        trimmed.append(line)

package main

import (
	"fmt"
	"strings"
)

func removeDuplicates(text string) string {
	lines := strings.Split(text, "\n")
	seen := make(map[string]bool)
	result := make([]string, 0, len(lines))

	for _, line := range lines {
		if !seen[line] {
			seen[line] = true
			result = append(result, line)
		}
	}
	return strings.Join(result, "\n")
}

func main() {
	text := "apple\nbanana\napple\ncherry\nbanana"
	fmt.Println(removeDuplicates(text))
	// → apple\nbanana\ncherry
}

# Remove duplicates (sorts output — does not preserve order)
sort -u file.txt

# Remove duplicates while preserving original order
awk '!seen[$0]++' file.txt

# Case-insensitive dedup, preserve order
awk 'BEGIN{IGNORECASE=1} !seen[tolower($0)]++' file.txt

# Trim whitespace then dedup
sed 's/^[[:space:]]*//;s/[[:space:]]*$//' file.txt | awk '!seen[$0]++'

# Count duplicates before removing
sort file.txt | uniq -c | sort -rn

Часті запитання