Duplicate Line Remover

डुप्लीकेट पंक्ति हटाना क्या है?

डुप्लीकेट पंक्ति हटाना वह प्रक्रिया है जिसमें किसी टेक्स्ट ब्लॉक को पंक्ति दर पंक्ति जाँचा जाता है और प्रत्येक अद्वितीय पंक्ति की केवल पहली उपस्थिति बनाए रखी जाती है। जब आप ऑनलाइन डुप्लीकेट पंक्तियाँ हटाते हैं, तो यह उपकरण आपके इनपुट को नई पंक्ति के वर्णों पर विभाजित करता है, हैश-आधारित डेटा संरचना (जैसे Set) का उपयोग करके यह ट्रैक करता है कि कौन-सी पंक्तियाँ पहले आ चुकी हैं, और केवल वे पंक्तियाँ आउटपुट करता है जो पहले नहीं देखी गई थीं। मूल पंक्ति क्रम सुरक्षित रहता है।

दो पंक्तियाँ तब डुप्लीकेट मानी जाती हैं जब वे वर्ण-दर-वर्ण बिल्कुल समान हों। हालाँकि, वास्तविक डेटा में सटीक मिलान हमेशा संभव नहीं होता। आगे या पीछे के रिक्त स्थान, असंगत अक्षर आकार, और टैब या कैरेज रिटर्न जैसे अदृश्य वर्ण — ये सभी दो समान दिखने वाली पंक्तियों को अद्वितीय मनवा सकते हैं। इसीलिए अधिकांश डीडुप्लीकेशन उपकरण केस-असंवेदनशील तुलना और तुलना से पहले रिक्त स्थान ट्रिमिंग के विकल्प प्रदान करते हैं।

डीडुप्लीकेशन क्रमबद्धता से भिन्न प्रक्रिया है। Unix कमांड sort -u पंक्तियों को वर्णानुक्रम में क्रमबद्ध करने के बाद डुप्लीकेट हटाती है, जिससे पंक्ति क्रम बदल जाता है। यदि आप मूल क्रम बनाए रखना चाहते हैं, तो seen-set दृष्टिकोण आवश्यक है: पंक्तियों को क्रमानुसार देखें, प्रत्येक पंक्ति का सामान्यीकृत रूप एक सेट में जोड़ें, और वे पंक्तियाँ छोड़ें जिनकी कुंजी पहले से मौजूद हो। यह उपकरण seen-set पद्धति का उपयोग करता है, इसलिए पहली उपस्थितियाँ अपने मूल स्थान पर बनी रहती हैं।

यह Duplicate Remover क्यों उपयोग करें?

अपना टेक्स्ट चिपकाएँ, तुलना विकल्प चुनें, और डीडुप्लीकेट परिणाम तुरंत देखें। कमांड लाइन सेटअप नहीं, regex लिखने की ज़रूरत नहीं, फ़ाइल अपलोड नहीं।

Duplicate Line Remover के उपयोग के अवसर

डीडुप्लीकेशन पद्धतियों की तुलना

डुप्लीकेट पंक्तियाँ हटाने के कई दृष्टिकोण हैं, जिनमें से प्रत्येक में क्रम संरक्षण, मेमोरी उपयोग और सटीकता के लिए भिन्न समझौते होते हैं।

केस संवेदनशीलता और रिक्त स्थान प्रबंधन

दो विकल्प यह निर्धारित करते हैं कि यह उपकरण दो पंक्तियों को डुप्लीकेट मानता है या नहीं। यह समझना कि प्रत्येक विकल्प कब उपयोग करना है, false positives (भिन्न पंक्तियों को डुप्लीकेट मानना) और false negatives (मिलान होने वाली पंक्तियों को छोड़ना) दोनों से बचाता है।

कोड उदाहरण

JavaScript, Python, Go और कमांड लाइन में प्रोग्रामेटिक रूप से डुप्लीकेट पंक्तियाँ हटाएँ। प्रत्येक उदाहरण क्रम-संरक्षण डीडुप्लीकेशन दर्शाता है और केस संवेदनशीलता संभालता है।

const text = `apple
banana
apple
Cherry
banana
cherry`

// Remove exact duplicates, preserve order
const unique = [...new Map(
  text.split('\n').map(line => [line, line])
).values()].join('\n')
// → "apple\nbanana\nCherry\ncherry"

// Case-insensitive deduplication
const seen = new Set()
const ciUnique = text.split('\n').filter(line => {
  const key = line.toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')
// → "apple\nbanana\nCherry"

// Trim whitespace before comparing
const trimDedup = text.split('\n').filter(line => {
  const key = line.trim().toLowerCase()
  if (seen.has(key)) return false
  seen.add(key)
  return true
}).join('\n')

text = """apple
banana
apple
Cherry
banana
cherry"""

lines = text.splitlines()

# Remove duplicates, preserve order (Python 3.7+)
unique = list(dict.fromkeys(lines))
# → ['apple', 'banana', 'Cherry', 'cherry']

# Case-insensitive deduplication
seen = set()
ci_unique = []
for line in lines:
    key = line.lower()
    if key not in seen:
        seen.add(key)
        ci_unique.append(line)
# → ['apple', 'banana', 'Cherry']

# With whitespace trimming
seen = set()
trimmed = []
for line in lines:
    key = line.strip().lower()
    if key not in seen:
        seen.add(key)
        trimmed.append(line)

package main

import (
	"fmt"
	"strings"
)

func removeDuplicates(text string) string {
	lines := strings.Split(text, "\n")
	seen := make(map[string]bool)
	result := make([]string, 0, len(lines))

	for _, line := range lines {
		if !seen[line] {
			seen[line] = true
			result = append(result, line)
		}
	}
	return strings.Join(result, "\n")
}

func main() {
	text := "apple\nbanana\napple\ncherry\nbanana"
	fmt.Println(removeDuplicates(text))
	// → apple\nbanana\ncherry
}

# Remove duplicates (sorts output — does not preserve order)
sort -u file.txt

# Remove duplicates while preserving original order
awk '!seen[$0]++' file.txt

# Case-insensitive dedup, preserve order
awk 'BEGIN{IGNORECASE=1} !seen[tolower($0)]++' file.txt

# Trim whitespace then dedup
sed 's/^[[:space:]]*//;s/[[:space:]]*$//' file.txt | awk '!seen[$0]++'

# Count duplicates before removing
sort file.txt | uniq -c | sort -rn

अक्सर पूछे जाने वाले प्रश्न