it
Dagster Pipeline Pub Sub Architecture — สร้าง
Dagster + Pub/Sub
Dagster Pipeline Pub Sub Architecture Data Orchestrator Asset Pipeline Sensor Schedule GCP Integration Event-driven Monitoring Production
| Component | Role | Technology | Trigger |
|---|---|---|---|
| Pub/Sub Topic | Event Source | Google Cloud Pub/Sub | Publisher sends message |
| Dagster Sensor | Event Listener | dagster-gcp sensor | Poll subscription |
| Asset Pipeline | Data Processing | Dagster @asset | Sensor triggers run |
| IO Manager | Data Storage | BigQuery / GCS / S3 | Asset materialization |
| Dagit UI | Monitoring | Web Dashboard | Always running |
เคล็ดลับ
- Sensor: ใช้ run_key ป้องกัน Duplicate Run จาก Message เดียวกัน
- DLQ: ตั้ง Dead Letter Queue สำหรับ Message ที่ Fail
- Freshness: ตั้ง FreshnessPolicy ทุก Asset ตรวจ Stale อัตโนมัติ
- Partition: ใช้ Daily Partition สำหรับ Time Series Data
- IO Manager: ใช้ BigQuery IO Manager สำหรับ GCP Ecosystem
Dagster คืออะไร
Data Orchestrator Python Software-defined Assets Dagit UI Sensor Schedule Partition IO Manager Type System GCP AWS Integration Open Source
