Parquet Format Progressive Delivery — จัดการ

Apache Parquet คืออะไรและทำไมถึงสำคัญ

Apache Parquet เป็น columnar storage format ที่ออกแบบมาสำหรับ big data processing เก็บข้อมูลแบบ column-oriented แทน row-oriented ทำให้ query ที่ select เฉพาะบาง columns เร็วมากเพราะอ่านเฉพาะ columns ที่ต้องการ ไม่ต้องอ่านทั้ง row

ข้อดีของ Parquet เมื่อเทียบกับ CSV ได้แก่ compression ที่ดีกว่า 5-10 เท่า (Snappy, GZIP, ZSTD), columnar format ทำให้ analytical queries เร็วกว่า 10-100 เท่า, schema enforcement ที่มี type safety, predicate pushdown ที่ skip data ที่ไม่ต้องการ และ encoding schemes (dictionary, RLE, delta) ที่ลดขนาดไฟล์

Progressive Delivery คือแนวคิดการส่งมอบ data หรือ features แบบค่อยๆ เปิดให้ผู้ใช้ แทนที่จะ release ทั้งหมดในครั้งเดียว ใช้ feature flags, canary releases และ A/B testing สำหรับ data pipelines หมายถึงการ deploy data schema changes, new data sources หรือ processing logic แบบ gradual rollout

การรวม Parquet format กับ Progressive Delivery ทำให้สามารถ version data schemas, rollback data changes, test new data formats กับ subset ของ consumers และ monitor data quality ก่อน full release

เนื้อหาเกี่ยวข้อง — ทำความเข้าใจ OpenAPI Swagger Micro-segmentation

โครงสร้าง Parquet File Format

เข้าใจ internal structure ของ Parquet

# === Parquet File Structure ===
#
# ┌─────────────────────────────────┐
# │         Magic Number            │  "PAR1" (4 bytes)
# ├─────────────────────────────────┤
# │         Row Group 1             │
# │  ┌──────────────────────────┐  │
# │  │  Column Chunk: col_A     │  │
# │  │  ┌─ Page 1 (data page) ┐│  │
# │  │  │  Header + Data       ││  │
# │  │  └─────────────────────┘│  │
# │  │  ┌─ Page 2 (data page) ┐│  │
# │  │  │  Header + Data       ││  │
# │  │  └─────────────────────┘│  │
# │  └──────────────────────────┘  │
# │  ┌──────────────────────────┐  │
# │  │  Column Chunk: col_B     │  │
# │  │  ┌─ Page 1             ┐│  │
# │  │  │  Header + Data       ││  │
# │  │  └─────────────────────┘│  │
# │  └──────────────────────────┘  │
# ├─────────────────────────────────┤
# │         Row Group 2             │
# │  (same structure)               │
# ├─────────────────────────────────┤
# │         Footer                  │
# │  ┌──────────────────────────┐  │
# │  │  File Metadata           │  │
# │  │  - Schema                │  │
# │  │  - Row Group metadata    │  │
# │  │  - Column statistics     │  │
# │  │  - Key-Value metadata    │  │
# │  └──────────────────────────┘  │
# │  Footer Length (4 bytes)        │
# │  Magic Number "PAR1"           │
# └─────────────────────────────────┘
#
# === Encoding Types ===
# PLAIN: raw values
# DICTIONARY: dictionary + indices (good for low cardinality)
# RLE: Run Length Encoding (good for repeated values)
# DELTA_BINARY_PACKED: delta encoding for integers
# DELTA_LENGTH_BYTE_ARRAY: delta encoding for strings
# DELTA_BYTE_ARRAY: prefix + suffix encoding
#
# === Compression Codecs ===
# UNCOMPRESSED: no compression
# SNAPPY: fast compression/decompression (default)
# GZIP: better ratio, slower
# LZ4: very fast, moderate ratio
# ZSTD: best ratio with good speed (recommended)
# BROTLI: high ratio, slow compression
#
# === Data Types ===
# BOOLEAN, INT32, INT64, INT96 (deprecated)
# FLOAT, DOUBLE
# BYTE_ARRAY (strings, binary)
# FIXED_LEN_BYTE_ARRAY
# Logical types: STRING, DATE, TIMESTAMP, DECIMAL, UUID, LIST, MAP
#
# === Key Concepts ===
# Row Group: horizontal partition (default 128MB)
# Column Chunk: one column in a row group
# Page: smallest unit of I/O (default 1MB)
# Statistics: min/max/null_count per column chunk
# Predicate Pushdown: skip row groups based on statistics

ใช้งาน Parquet ด้วย Python และ Spark

อ่านเขียน Parquet files ด้วยเครื่องมือต่างๆ

แนะนำเพิ่มเติม — เรียนเทรดกับ iCafeForex

Progressive Delivery สำหรับ Data Pipelines

ระบบ progressive delivery สำหรับ data schema changes

สร้าง Data Delivery Pipeline ด้วย Parquet

Pipeline สำหรับ deliver data ด้วย Parquet format

เนื้อหาเกี่ยวข้อง — ทำความเข้าใจ DNS over HTTPS Infrastructure as Code

Performance Optimization และ Best Practices

เทคนิค optimize Parquet performance

FAQ คำถามที่พบบ่อย

Q: Parquet กับ ORC ต่างกันอย่างไร?

A: ทั้งสองเป็น columnar format Parquet เกิดจาก Cloudera/Twitter ได้รับ adoption กว้างกว่า ใช้ได้กับทุก framework (Spark, Pandas, DuckDB, Polars) ORC เกิดจาก Hortonworks เน้น Hive ecosystem มี ACID support ดีกว่า Parquet ได้ compression ratio ดีกว่าเล็กน้อยในบาง cases แต่ Parquet มี ecosystem support กว้างกว่า สำหรับ projects ใหม่แนะนำ Parquet

แนะนำเพิ่มเติม — XM Signal

เนื้อหาเกี่ยวข้อง — ดูเพิ่มเติมเรื่อง Rust Actix Web Service Mesh Setup

Q: Parquet file ใหญ่แค่ไหนถึงจะดี?

A: ขนาดที่แนะนำคือ 128MB-1GB ต่อไฟล์ ไฟล์เล็กเกินไป (< 10MB) ทำให้ metadata overhead สูงและมี file listing ช้า ไฟล์ใหญ่เกินไป (> 2GB) ทำให้ parallelism ต่ำ สำหรับ data lake ที่ partition by date ขนาด 128-512MB ต่อ partition เหมาะสม ถ้ามี small files มาก ควร compact (merge) เป็น files ที่ใหญ่ขึ้น

Q: Progressive Delivery สำหรับ data ต่างจาก software อย่างไร?

A: Software progressive delivery เปิดปิด features ด้วย code paths Data progressive delivery ต้อง handle schema evolution ด้วย (เพิ่ม/ลบ columns, เปลี่ยน types) ซึ่งซับซ้อนกว่าเพราะ downstream consumers อาจ depend on specific schema Data rollback ก็ยากกว่าเพราะ data อาจถูก consume ไปแล้ว ต้องใช้ versioned datasets และ schema registry

เนื้อหาเกี่ยวข้อง — อ่านต่อ: Grafana Loki LogQL Remote Work Setup — คู่มือฉบับสมบูรณ์ 2026

Q: เมื่อไหรไม่ควรใช้ Parquet?

A: ไม่เหมาะสำหรับ transactional workloads (OLTP) ที่ต้อง update/delete rows บ่อย (ใช้ relational database แทน), real-time streaming ที่ต้อง append ทีละ row (ใช้ Kafka/Avro แทน), small datasets (< 1MB) ที่ CSV/JSON ง่ายกว่า และ use cases ที่ต้อง human-readable format (ใช้ JSON/CSV) Parquet เหมาะสำหรับ analytical workloads ที่อ่านมากกว่าเขียน