CircleCI Orbs Data Pipeline ETL — สร้าง ETL

CircleCI Orbs คืออะไรและใช้สร้าง ETL Pipeline อย่างไร

CircleCI Orbs เป็น reusable packages ของ CircleCI configuration ที่รวม jobs, commands และ executors ไว้ด้วยกัน เหมือน libraries สำหรับ CI/CD pipelines สามารถ share และ reuse ข้าม projects ได้ ลดการเขียน config ซ้ำซ้อน

ETL (Extract, Transform, Load) Pipeline คือกระบวนการดึงข้อมูลจาก sources ต่างๆ แปลงข้อมูลให้อยู่ในรูปแบบที่ต้องการ และ load เข้า destination (data warehouse, data lake) การใช้ CircleCI สำหรับ ETL ให้ข้อดีคือ scheduled pipelines สำหรับ batch ETL, version control สำหรับ ETL code, automated testing สำหรับ data quality และ monitoring/alerting เมื่อ pipeline fail

Orbs ที่มีประโยชน์สำหรับ ETL ได้แก่ circleci/python สำหรับ Python-based ETL, circleci/aws-cli สำหรับ AWS services (S3, Redshift), circleci/gcp-cli สำหรับ Google Cloud (BigQuery), circleci/slack สำหรับ notifications และ custom orbs ที่สร้างเองสำหรับ ETL-specific tasks

ข้อดีของ CircleCI เมื่อเทียบกับ Airflow สำหรับ simple ETL คือ ไม่ต้อง manage infrastructure, built-in scheduling, Docker support ดี, parallel execution และ caching ที่ช่วยเร่ง pipeline

เนื้อหาเกี่ยวข้อง — แนะนำให้อ่าน Us Kub คืออะไร — ข้อมูลครบถ้วน 2026

ติดตั้งและตั้งค่า CircleCI สำหรับ Data Pipeline

เริ่มต้นใช้ CircleCI สำหรับ ETL

# === CircleCI Configuration ===

# .circleci/config.yml



version: 2.1



# ใช้ Orbs

orbs:

  python: circleci/python@2.1

  aws-cli: circleci/aws-cli@4.1

  slack: circleci/slack@4.12



# Parameters สำหรับ scheduled runs

parameters:

  run-schedule:

    type: boolean

    default: false

  etl-type:

    type: string

    default: "full"



# Executors

executors:

  etl-executor:

    docker:

      - image: cimg/python:3.11

    resource_class: large

    environment:

      PYTHONUNBUFFERED: "1"

      ETL_ENV: "production"



# Commands (reusable steps)

commands:

  setup-etl:

    description: "Setup ETL environment"

    steps:

      - checkout

      - python/install-packages:

          pkg-manager: pip

          pip-dependency-file: requirements.txt

      - run:

          name: Install additional tools

          command: |

            pip install awscli boto3 pandas pyarrow sqlalchemy

            pip install great-expectations dbt-core



  validate-data:

    description: "Validate data quality"

    parameters:

      source:

        type: string

    steps:

      - run:

          name: "Validate << parameters.source >> data"

          command: |

            python scripts/validate.py --source << parameters.source >>



  notify-status:

    description: "Send notification"

    parameters:

      status:

        type: string

    steps:

      - slack/notify:

          event: << parameters.status >>

          template: basic_success_1



# Jobs

jobs:

  extract:

    executor: etl-executor

    steps:

      - setup-etl

      - aws-cli/setup

      - run:

          name: Extract data from sources

          command: |

            python etl/extract.py \

              --date $(date +%Y-%m-%d) \

              --type << pipeline.parameters.etl-type >>

          no_output_timeout: 30m

      - persist_to_workspace:

          root: data

          paths: ["raw/*"]



  transform:

    executor: etl-executor

    steps:

      - setup-etl

      - attach_workspace:

          at: data

      - run:

          name: Transform data

          command: |

            python etl/transform.py --input data/raw/ --output data/transformed/

      - validate-data:

          source: "transformed"

      - persist_to_workspace:

          root: data

          paths: ["transformed/*"]



  load:

    executor: etl-executor

    steps:

      - setup-etl

      - aws-cli/setup

      - attach_workspace:

          at: data

      - run:

          name: Load data to warehouse

          command: |

            python etl/load.py --input data/transformed/ --target warehouse

      - notify-status:

          status: pass



# Workflows

workflows:

  daily-etl:

    when: << pipeline.parameters.run-schedule >>

    jobs:

      - extract

      - transform:

          requires: [extract]

      - load:

          requires: [transform]



  manual-etl:

    unless: << pipeline.parameters.run-schedule >>

    jobs:

      - extract

      - transform:

          requires: [extract]

      - load:

          requires: [transform]

          filters:

            branches:

              only: main

สร้าง Custom Orb สำหรับ ETL

สร้าง reusable ETL Orb

แนะนำเพิ่มเติม — คอร์สเทรด Forex ที่ iCafeForex

ออกแบบ ETL Pipeline ด้วย CircleCI Workflows

Python ETL scripts สำหรับ pipeline

Testing และ Data Validation ใน Pipeline

ทดสอบ ETL pipeline และ validate data quality

เนื้อหาเกี่ยวข้อง — อ่านต่อ: affective domain คือ

Monitoring และ Alerting สำหรับ ETL Jobs

ระบบ monitoring สำหรับ ETL pipeline

FAQ คำถามที่พบบ่อย

Q: CircleCI Orbs กับ GitHub Actions reusable workflows ต่างกันอย่างไร?

A: CircleCI Orbs เป็น full packages ที่รวม executors, commands และ jobs ไว้ด้วยกัน publish ผ่าน Orb Registry มี versioning ชัดเจน (semver) GitHub Actions reusable workflows เป็น workflow files ที่ reference ข้าม repos ได้ มี Marketplace สำหรับ individual actions Orbs มี structure ที่ rigorous กว่า เหมาะสำหรับ complex reusable components Actions มี ecosystem ใหญ่กว่าและเข้าถึงง่ายกว่า

แนะนำเพิ่มเติม — ดูสัญญาณเทรดที่ XM Signal

เนื้อหาเกี่ยวข้อง — แนะนำให้อ่าน Passive Income Ideas — ไอเดียสร้างรายได้แบบ

Q: CircleCI เหมาะกับ ETL ขนาดไหน?

A: CircleCI เหมาะสำหรับ batch ETL ขนาดเล็กถึงกลาง (ข้อมูล GB-level) ที่รัน scheduled (hourly, daily) resource class ใหญ่สุดมี 128GB RAM และ 64 vCPUs เพียงพอสำหรับ processing datasets หลาย GB ข้อจำกัดคือ max job runtime 5 ชั่วโมง (สำหรับ performance plan) สำหรับ ETL ขนาดใหญ่ (TB-level) หรือ real-time streaming ควรใช้ dedicated tools เช่น Airflow, Spark, Flink

Q: จะ schedule ETL pipeline บน CircleCI อย่างไร?

A: ใช้ Scheduled Pipelines ผ่าน CircleCI UI หรือ API กำหนด cron expression เช่น 0 2 * * * สำหรับทุกวัน 02:00 UTC ใช้ pipeline parameters เพื่อแยก scheduled runs จาก manual runs ข้อดีคือ trigger pipeline ด้วย specific parameters ได้ ดู schedule status ใน dashboard และ manage schedules ผ่าน API

เนื้อหาเกี่ยวข้อง — บทความที่เกี่ยวข้อง: Image Segmentation Hexagonal Architecture

Q: วิธี handle secrets ใน ETL pipeline?

A: ใช้ CircleCI Environment Variables (Project Settings -> Environment Variables) สำหรับ database credentials, API keys, cloud credentials ใช้ Contexts สำหรับ share secrets ข้าม projects ห้าม hardcode secrets ใน config.yml ใช้ OIDC tokens สำหรับ AWS/GCP แทน static credentials เมื่อเป็นไปได้ Rotate secrets เป็นประจำ และ audit access logs