ai
Dagster Pipeline Log Management ELK — จัดการ Log
Dagster + ELK Log Management
Dagster Data Pipeline Log Management ELK Elasticsearch Logstash Kibana Structured Logging Monitoring Production
| Component | Role | Dagster Integration | Config |
|---|---|---|---|
| Dagster | Data Orchestrator | Source of Pipeline Logs | dagster.yaml |
| Filebeat | Log Shipper | อ่าน Dagster Log Files | filebeat.yml |
| Logstash | Log Processing | Parse JSON, Enrich, Filter | logstash.conf |
| Elasticsearch | Log Storage + Search | Index dagster-logs-* | elasticsearch.yml |
| Kibana | Dashboard + Search | Visualize Pipeline Health | kibana.yml |
เคล็ดลับ
- JSON: ใช้ JSON Structured Logging เสมอ อย่าใช้ Plain Text
- Fields: กำหนด Standard Fields run_id pipeline_name asset_name ทุก Log
- ILM: ตั้ง Index Lifecycle Management เก็บ 90 วัน ลบอัตโนมัติ
- Alert: ตั้ง Alert Error Rate Pipeline Duration Row Count Anomaly
- Correlation: ใช้ run_id เชื่อมโยง Log ข้าม Asset ใน Pipeline เดียวกัน
Dagster คืออะไร
Data Orchestrator Python Software-defined Assets Dagit Web UI Sensor Schedule Partition Resource IO Manager dbt Spark Pipeline
อ่านเพิ่ม: Elasticsearch คืออะไร? สอน Elasticsearch ตั้งแต่เริ่มต้น สำห · อ่านเพิ่ม: Prometheus และ Grafana คืออะไร? สอนสร้าง Monitoring Stack สำ · อ่านเพิ่ม: Python Automation คืออะไร? สอนเขียน Script อัตโนมัติ Web Scr
