Duplicate Line Remover

Apa Itu Penghapusan Baris Duplikat?

Penghapusan baris duplikat adalah proses memindai blok teks baris per baris dan hanya menyimpan kemunculan pertama dari setiap baris yang unik. Saat Anda menghapus baris duplikat secara online, alat ini membagi masukan berdasarkan karakter baris baru, melacak baris mana yang sudah muncul menggunakan struktur data berbasis hash (seperti Set), dan hanya mengeluarkan baris yang belum pernah dilihat sebelumnya. Urutan baris asli tetap terjaga.

Dua baris dianggap duplikat apabila keduanya sama persis, karakter demi karakter. Namun, data di dunia nyata jarang cocok secara tepat. Spasi di awal atau akhir, kapitalisasi yang tidak konsisten, dan karakter tak terlihat seperti tab atau carriage return semuanya dapat menyebabkan baris yang terlihat identik diperlakukan sebagai baris unik. Itulah mengapa sebagian besar alat deduplikasi menawarkan opsi perbandingan tidak sensitif huruf besar/kecil dan pemangkasan spasi sebelum perbandingan.

Deduplikasi adalah operasi yang berbeda dari pengurutan. Perintah Unix sort -u sekaligus mengurutkan dan mendeduplikasi, yang mengubah urutan baris. Jika Anda perlu mempertahankan urutan baris asli, Anda memerlukan pendekatan seen-set: iterasi baris secara berurutan, tambahkan bentuk yang dinormalisasi dari setiap baris ke dalam set, dan lewati baris yang kuncinya sudah ada. Alat ini menggunakan metode seen-set, sehingga kemunculan pertama tetap pada posisi aslinya.

Mengapa Menggunakan Duplicate Remover Ini?

Tempel teks Anda, pilih opsi perbandingan, dan lihat hasil deduplikasi secara langsung. Tanpa pengaturan command-line, tanpa penulisan regex, tanpa unggahan file.

Kasus Penggunaan Duplicate Line Remover

Perbandingan Metode Deduplikasi

Ada beberapa pendekatan untuk menghapus baris duplikat, masing-masing dengan trade-off berbeda untuk preservasi urutan, penggunaan memori, dan akurasi.

Penanganan Sensitivitas Huruf dan Spasi

Dua opsi mengontrol bagaimana alat ini menentukan apakah dua baris adalah duplikat. Memahami kapan menggunakan setiap opsi mencegah false positive (memperlakukan baris yang berbeda sebagai duplikat) maupun false negative (melewatkan baris yang seharusnya cocok).

Contoh Kode

Hapus baris duplikat secara terprogram dalam JavaScript, Python, Go, dan command line. Setiap contoh menunjukkan deduplikasi yang mempertahankan urutan dan menangani sensitivitas huruf.

const text = `apple
banana
apple
Cherry
banana
cherry`

// Remove exact duplicates, preserve order
const unique = [...new Map(
  text.split('\n').map(line => [line, line])
).values()].join('\n')
// → "apple\nbanana\nCherry\ncherry"

// Case-insensitive deduplication
const seen = new Set()
const ciUnique = text.split('\n').filter(line => {
  const key = line.toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')
// → "apple\nbanana\nCherry"

// Trim whitespace before comparing
const trimDedup = text.split('\n').filter(line => {
  const key = line.trim().toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')

text = """apple
banana
apple
Cherry
banana
cherry"""

lines = text.splitlines()

# Remove duplicates, preserve order (Python 3.7+)
unique = list(dict.fromkeys(lines))
# → ['apple', 'banana', 'Cherry', 'cherry']

# Case-insensitive deduplication
seen = set()
ci_unique = []
for line in lines:
    key = line.lower()
    if key not in seen:
        seen.add(key)
        ci_unique.append(line)
# → ['apple', 'banana', 'Cherry']

# With whitespace trimming
seen = set()
trimmed = []
for line in lines:
    key = line.strip().lower()
    if key not in seen:
        seen.add(key)
        trimmed.append(line)

package main

import (
	"fmt"
	"strings"
)

func removeDuplicates(text string) string {
	lines := strings.Split(text, "\n")
	seen := make(map[string]bool)
	result := make([]string, 0, len(lines))

	for _, line := range lines {
		if !seen[line] {
			seen[line] = true
			result = append(result, line)
		}
	}
	return strings.Join(result, "\n")
}

func main() {
	text := "apple\nbanana\napple\ncherry\nbanana"
	fmt.Println(removeDuplicates(text))
	// → apple\nbanana\ncherry
}

# Remove duplicates (sorts output — does not preserve order)
sort -u file.txt

# Remove duplicates while preserving original order
awk '!seen[$0]++' file.txt

# Case-insensitive dedup, preserve order
awk 'BEGIN{IGNORECASE=1} !seen[tolower($0)]++' file.txt

# Trim whitespace then dedup
sed 's/^[[:space:]]*//;s/[[:space:]]*$//' file.txt | awk '!seen[$0]++'

# Count duplicates before removing
sort file.txt | uniq -c | sort -rn

Pertanyaan yang Sering Diajukan