Spark Structured Streaming — Stream Processing
Spark Structured Streaming
Spark Structured Streaming Real-time Stream Processing Kafka Window Watermark State Management Production Deployment
| Feature | Structured Streaming | Kafka Streams | Flink |
|---|---|---|---|
| Processing | Micro-batch / Continuous | Record-by-record | Record-by-record |
| Latency | 100ms - seconds | ms | ms |
| Exactly-once | Yes (with checkpoint) | Yes | Yes |
| State | Built-in + RocksDB | Built-in + RocksDB | Built-in + RocksDB |
| SQL Support | Full SQL | KSQL (separate) | Flink SQL |
| Best For | Batch + Stream unified | Kafka-native apps | Low-latency stream |
เคล็ดลับ
- Watermark: ตั้ง Watermark เสมอ ป้องกัน State โตไม่จำกัด
- Checkpoint: ใช้ S3/HDFS สำหรับ Checkpoint ไม่ใช้ Local Disk
- RocksDB: ใช้ RocksDB State Store สำหรับ State ขนาดใหญ่
- Monitor: ดู Processing Time vs Trigger Interval ถ้าเกิน = Lag
- Delta: ใช้ Delta Lake เป็น Sink สำหรับ ACID + Time Travel
การนำความรู้ไปประยุกต์ใช้งานจริง
แหล่งเรียนรู้ที่แนะนำ ได้แก่ Official Documentation ที่อัพเดทล่าสุดเสมอ Online Course จาก Coursera Udemy edX ช่อง YouTube คุณภาพทั้งไทยและอังกฤษ และ Community อย่าง Discord Reddit Stack Overflow ที่ช่วยแลกเปลี่ยนประสบการณ์กับนักพัฒนาทั่วโลก
เนื้อหาเกี่ยวข้อง — ทำความเข้าใจ แบ่งเปอร์เซ็นต์ — ทุกสิ่งที่ต้องรู้ในปี 2026
Structured Streaming คืออะไร
Spark SQL Stream Processing Micro-batch Continuous Exactly-once Kafka Delta Lake DataFrame API Catalyst Optimizer Event-time
Window Functions ใช้อย่างไร
Tumbling 5 นาทีไม่ซ้อน Sliding 10 นาที Slide 5 นาทีซ้อน Session Gap 10 นาที groupBy window session_window Metrics Average
แนะนำเพิ่มเติม — อีบุ๊กการลงทุน SiamCafeBook
เนื้อหาเกี่ยวข้อง — แนะนำให้อ่าน Python Pydantic Zero Downtime Deployment — คู่มือฉบับสมบูรณ์ 2026
Watermark ทำงานอย่างไร
Late Data จัดการข้อมูลสาย withWatermark timestamp duration State ไม่โต Memory ตัดข้อมูลเกิน Window ค่ามากใช้ Memory น้อยตัดข้อมูล
เนื้อหาเกี่ยวข้อง — REST API Design FinOps Cloud Cost
Production Deployment ทำอย่างไร
Checkpoint S3 HDFS Trigger Interval Kafka Source RocksDB State Monitor Spark UI Prometheus Alert Lag Delta Lake ACID Scale K8s YARN
แนะนำเพิ่มเติม — ดูสัญญาณเทรดที่ XM Signal
สรุป
Spark Structured Streaming Kafka Window Tumbling Sliding Session Watermark State Checkpoint RocksDB Delta Lake Production Monitor
เนื้อหาเกี่ยวข้อง — ทำความเข้าใจ GraphQL Subscriptions Developer Experience DX
