قالب‌بندی CSV

قالب‌بندی CSV چیست؟

قالب‌بندی CSV (مقادیر جداشده با کاما) فرآیند یکنواخت‌سازی متن جدولی خام است به‌گونه‌ای که جداکننده‌ها، نقل‌قول‌گذاری، فضاهای خالی و پایان‌دهنده‌های خط از یک مجموعه قانون ثابت پیروی کنند. RFC 4180، که در سال ۲۰۰۵ منتشر شد، پرکاربردترین استاندارد CSV را تعریف می‌کند: فیلدها با کاما جدا می‌شوند، رکوردها با CRLF پایان می‌یابند، و هر فیلدی که شامل کاما، گیومه دوتایی یا سطر جدید است باید در گیومه دوتایی محصور شود. یک قالب‌بند CSV داده‌های نامرتب یا ناسازگار را بازنویسی می‌کند تا با این قراردادها مطابقت داشته باشد.

فایل‌های CSV در دنیای واقعی به‌ندرت در شکل تمیز می‌رسند. صادرات صفحه‌گسترده از Excel، Google Sheets و ابزارهای dump پایگاه داده هرکدام استراتژی‌های نقل‌قول‌گذاری متفاوتی اعمال می‌کنند، فضاهای خالی را به شیوه‌های مختلف مدیریت می‌کنند، و ممکن است به جای کاما از سمی‌کالن یا تب استفاده کنند. وقتی این فایل‌ها را به یک تجزیه‌کننده‌ای می‌دهید که انتظار ورودی دقیق RFC 4180 را دارد، نتیجه اغلب سطرهای شکسته، ستون‌های جابجاشده یا از دست رفتن داده‌ها بدون هشدار است. قالب‌بندی پیش از پردازش این مشکلات را زودهنگام شناسایی می‌کند.

یک قالب‌بند CSV با یک مبدل CSV تفاوت دارد. قالب‌بندی داده را در قالب CSV نگه می‌دارد. نقل‌قول‌گذاری را یکنواخت می‌کند، فضاهای اضافه را حذف می‌کند، ستون‌ها را دوباره تنظیم می‌کند و به‌صورت اختیاری جداکننده را تغییر می‌دهد. تبدیل، قالب را کاملاً عوض می‌کند و خروجی JSON، HTML، SQL یا Markdown تولید می‌کند.

چرا از این قالب‌بند CSV استفاده کنیم؟

این ابزار CSV شما را کاملاً در مرورگر تجزیه و سریال‌سازی مجدد می‌کند. داده‌های شما هرگز از دستگاه شما خارج نمی‌شوند.

موارد استفاده قالب‌بند CSV

قوانین نقل‌قول‌گذاری و escape کردن CSV (RFC 4180)

RFC 4180 قوانین مشخصی برای زمان و نحوه نقل‌قول‌گذاری فیلدها تعریف می‌کند. شش سناریوی زیر مواردی را پوشش می‌دهند که رفتار نقل‌قول‌گذاری اهمیت دارد.

مقایسه جداکننده‌های CSV

انتخاب جداکننده بر سازگاری، خوانایی و تعداد دفعاتی که به فیلدهای نقل‌قول‌گذاری‌شده نیاز دارید تأثیر می‌گذارد.

نمونه‌های کد

این مثال‌ها نشان می‌دهند که چگونه CSV نامرتب را تجزیه و با قالب‌بندی ثابت در زبان‌های مختلف سریال‌سازی مجدد کنیم. هر قطعه کد حذف فضاهای اضافه، یکنواخت‌سازی جداکننده و نقل‌قول‌گذاری را مدیریت می‌کند.

import { parse, unparse } from 'papaparse'

const messy = `name, age ,city
Alice , 30, Berlin
Bob,25 , " Tokyo "`

// Parse with trimming, then re-serialize with consistent formatting
const parsed = parse(messy, {
  header: true,
  skipEmptyLines: true,
  transformHeader: h => h.trim(),
  transform: v => v.trim(),
})

const clean = unparse(parsed.data, { quotes: true })
console.log(clean)
// → "name","age","city"
// → "Alice","30","Berlin"
// → "Bob","25","Tokyo"

import csv
import io

messy = """name, age ,city
Alice , 30, Berlin
Bob,25 , " Tokyo " """

reader = csv.DictReader(io.StringIO(messy), skipinitialspace=True)
output = io.StringIO()
writer = csv.DictWriter(
    output,
    fieldnames=[f.strip() for f in reader.fieldnames],
    quoting=csv.QUOTE_ALL,
)
writer.writeheader()
for row in reader:
    writer.writerow({k.strip(): v.strip() for k, v in row.items()})

print(output.getvalue())
# → "name","age","city"
# → "Alice","30","Berlin"
# → "Bob","25","Tokyo"

package main

import (
	"encoding/csv"
	"fmt"
	"strings"
)

func main() {
	input := "name,age,city\nAlice,30,Berlin\nBob,25,Tokyo"
	r := csv.NewReader(strings.NewReader(input))
	records, _ := r.ReadAll()

	var buf strings.Builder
	w := csv.NewWriter(&buf)
	w.UseCRLF = true // RFC 4180 line endings
	for _, record := range records {
		_ = w.Write(record)
	}
	w.Flush()
	fmt.Print(buf.String())
	// → name,age,city\r\n
	// → Alice,30,Berlin\r\n
	// → Bob,25,Tokyo\r\n
}

# Re-format a CSV file with csvkit (Python-based)
csvformat -D ";" input.csv > output.csv

# Convert tabs to commas
csvformat -t input.tsv > output.csv

# Force-quote all fields
csvformat -U 1 input.csv > quoted.csv

# Using Miller (mlr) to normalize
mlr --icsv --ocsv --quote-all cat input.csv > clean.csv

سوالات متداول