Yinelenen Satır Kaldırıcı

Yinelenen Satır Kaldırma Nedir?

Yinelenen satır kaldırma, bir metin bloğunu satır satır tarayarak her benzersiz satırın yalnızca ilk tekrarını tutma işlemidir. Yinelenen satırları çevrimiçi olarak kaldırdığınızda araç, girişinizi yeni satır karakterlerine göre böler, hangi satırların daha önce görüldüğünü karma tabanlı bir veri yapısıyla (Set gibi) izler ve yalnızca daha önce görülmemiş satırları çıktıya aktarır. Özgün satır sırası korunur.

İki satır, karakter karakter tam olarak eşleştiğinde yinelenen olarak kabul edilir. Ancak gerçek dünya verisi çoğu zaman tam eşleşmeye uygun değildir. Başta veya sonda yer alan boşluklar, tutarsız büyük/küçük harf kullanımı ve sekme ya da satır başı gibi görünmez karakterler, görünürde özdeş olan satırların farklı kabul edilmesine yol açabilir. Bu nedenle çoğu tekilleştirme aracı, karşılaştırma öncesinde büyük/küçük harf duyarsız karşılaştırma ve boşluk kırpma seçenekleri sunar.

Tekilleştirme, sıralamadan farklı bir işlemdir. Unix komutu sort -u hem sıralar hem de tekilleştirir; bu da satır sırasını değiştirir. Satırların özgün sırasını korumak istiyorsanız görülen-küme (seen-set) yaklaşımına ihtiyaç duyarsınız: satırlar üzerinden sırayla geçin, her satırın normalleştirilmiş biçimini bir kümeye ekleyin ve anahtarı zaten mevcut olan satırları atlayın. Bu araç görülen-küme yöntemini kullandığından ilk tekrarlar özgün konumlarında kalır.

Bu Yinelenen Kaldırıcıyı Neden Kullanmalısınız?

Metninizi yapıştırın, karşılaştırma seçeneklerinizi belirleyin ve tekilleştirilmiş sonucu anında görün. Komut satırı kurulumu, regex yazımı veya dosya yükleme gerekmez.

Yinelenen Satır Kaldırıcı Kullanım Alanları

Tekilleştirme Yöntemlerinin Karşılaştırması

Yinelenen satırları kaldırmak için her biri sıra korunumu, bellek kullanımı ve doğruluk açısından farklı ödünleşimlere sahip çeşitli yaklaşımlar mevcuttur.

Büyük/Küçük Harf Duyarlılığı ve Boşluk İşleme

İki seçenek, bu aracın iki satırın yinelenen olup olmadığına nasıl karar verdiğini kontrol eder. Her seçeneği ne zaman kullanacağınızı anlamak hem yanlış pozitifleri (farklı satırları yinelenen olarak değerlendirme) hem de yanlış negatifleri (eşleşmesi gereken satırları gözden kaçırma) önler.

Kod Örnekleri

JavaScript, Python, Go ve komut satırında yinelenen satırları programatik olarak kaldırın. Her örnek, sıra korumalı tekilleştirmeyi gösterir ve büyük/küçük harf duyarlılığını ele alır.

const text = `apple
banana
apple
Cherry
banana
cherry`

// Remove exact duplicates, preserve order
const unique = [...new Map(
  text.split('\n').map(line => [line, line])
).values()].join('\n')
// → "apple\nbanana\nCherry\ncherry"

// Case-insensitive deduplication
const seen = new Set()
const ciUnique = text.split('\n').filter(line => {
  const key = line.toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')
// → "apple\nbanana\nCherry"

// Trim whitespace before comparing
const trimDedup = text.split('\n').filter(line => {
  const key = line.trim().toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')

text = """apple
banana
apple
Cherry
banana
cherry"""

lines = text.splitlines()

# Remove duplicates, preserve order (Python 3.7+)
unique = list(dict.fromkeys(lines))
# → ['apple', 'banana', 'Cherry', 'cherry']

# Case-insensitive deduplication
seen = set()
ci_unique = []
for line in lines:
    key = line.lower()
    if key not in seen:
        seen.add(key)
        ci_unique.append(line)
# → ['apple', 'banana', 'Cherry']

# With whitespace trimming
seen = set()
trimmed = []
for line in lines:
    key = line.strip().lower()
    if key not in seen:
        seen.add(key)
        trimmed.append(line)

package main

import (
	"fmt"
	"strings"
)

func removeDuplicates(text string) string {
	lines := strings.Split(text, "\n")
	seen := make(map[string]bool)
	result := make([]string, 0, len(lines))

	for _, line := range lines {
		if !seen[line] {
			seen[line] = true
			result = append(result, line)
		}
	}
	return strings.Join(result, "\n")
}

func main() {
	text := "apple\nbanana\napple\ncherry\nbanana"
	fmt.Println(removeDuplicates(text))
	// → apple\nbanana\ncherry
}

# Remove duplicates (sorts output — does not preserve order)
sort -u file.txt

# Remove duplicates while preserving original order
awk '!seen[$0]++' file.txt

# Case-insensitive dedup, preserve order
awk 'BEGIN{IGNORECASE=1} !seen[tolower($0)]++' file.txt

# Trim whitespace then dedup
sed 's/^[[:space:]]*//;s/[[:space:]]*$//' file.txt | awk '!seen[$0]++'

# Count duplicates before removing
sort file.txt | uniq -c | sort -rn

Sık Sorulan Sorular