it
Dagster Pipeline Pub Sub Architecture — สร้าง
Dagster + Pub/Sub
Dagster Pipeline Pub Sub Architecture Data Orchestrator Asset Pipeline Sensor Schedule GCP Integration Event-driven Monitoring Production
เนื้อหาเกี่ยวข้อง — บทความที่เกี่ยวข้อง: GCP BigQuery ML Container Orchestration
| Component | Role | Technology | Trigger |
|---|---|---|---|
| Pub/Sub Topic | Event Source | Google Cloud Pub/Sub | Publisher sends message |
| Dagster Sensor | Event Listener | dagster-gcp sensor | Poll subscription |
| Asset Pipeline | Data Processing | Dagster @asset | Sensor triggers run |
| IO Manager | Data Storage | BigQuery / GCS / S3 | Asset materialization |
| Dagit UI | Monitoring | Web Dashboard | Always running |
เคล็ดลับ
- Sensor: ใช้ run_key ป้องกัน Duplicate Run จาก Message เดียวกัน
- DLQ: ตั้ง Dead Letter Queue สำหรับ Message ที่ Fail
- Freshness: ตั้ง FreshnessPolicy ทุก Asset ตรวจ Stale อัตโนมัติ
- Partition: ใช้ Daily Partition สำหรับ Time Series Data
- IO Manager: ใช้ BigQuery IO Manager สำหรับ GCP Ecosystem
Dagster คืออะไร
Data Orchestrator Python Software-defined Assets Dagit UI Sensor Schedule Partition IO Manager Type System GCP AWS Integration Open Source
แนะนำเพิ่มเติม — XM Signal
เนื้อหาเกี่ยวข้อง — ทำความเข้าใจ Nebula Overlay Network DevOps Culture — คู่มือฉบับสมบูรณ์ 2026
เนื้อหาเกี่ยวข้อง — ทำความเข้าใจ REST API Design Performance Tuning เพิ่มความเร็ว — คู่มือฉบับสมบูรณ์ 2026
