Ollama Local LLM Data Pipeline ETL — สร้าง ETL

Ollama คืออะไรและใช้รัน LLM แบบ Local อย่างไร

Ollama เป็นเครื่องมือ open source สำหรับรัน Large Language Models (LLMs) บนเครื่อง local โดยไม่ต้องส่งข้อมูลไปยัง cloud service รองรับ models หลายตัวเช่น Llama 3, Mistral, Gemma, Phi-3, CodeLlama, Qwen และอีกมากมาย Ollama ทำให้การ setup LLM ง่ายมากเพียงคำสั่งเดียว

ข้อดีของการใช้ Ollama สำหรับ Data Pipeline คือ Privacy ที่ข้อมูลไม่ออกจากเครื่อง เหมาะสำหรับ sensitive data เช่น PII, financial data, medical records ไม่มีค่า API calls ลด latency เพราะไม่ต้อง network round-trip และ customizable ที่สร้าง custom models ด้วย Modelfile ได้

ใน ETL pipeline Ollama ถูกใช้สำหรับ Transform step เช่น text classification, entity extraction, summarization, sentiment analysis, data cleaning และ schema mapping โดยใช้ LLM เป็น intelligent transformer ที่เข้าใจ context ของข้อมูล

Hardware requirements ขึ้นอยู่กับขนาด model โดย 7B models ต้องการ RAM 8GB ขึ้นไป 13B models ต้องการ 16GB 70B models ต้องการ 64GB สำหรับ GPU acceleration รองรับ NVIDIA CUDA และ Apple Metal

เนื้อหาเกี่ยวข้อง — แนะนำให้อ่าน Linux Namespaces Business Continuity — คู่มือฉบับสมบูรณ์ 2026

ติดตั้ง Ollama และดาวน์โหลด Models

ขั้นตอนการติดตั้งและเตรียม models

# ติดตั้ง Ollama
# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows
# ดาวน์โหลดจาก https://ollama.com/download

# เริ่ม Ollama server
ollama serve

# ดาวน์โหลดและรัน models
ollama pull llama3:8b
ollama pull mistral:7b
ollama pull gemma2:9b
ollama pull nomic-embed-text  # สำหรับ embeddings

# ตรวจสอบ models ที่มี
ollama list

# ทดสอบ model
ollama run llama3:8b "สรุปข้อความนี้: Ollama เป็นเครื่องมือรัน LLM บน local"

# === Ollama API ===
# Default: http://localhost:11434

# Generate
curl http://localhost:11434/api/generate -d '{
  "model": "llama3:8b",
  "prompt": "Extract entities from: John Smith bought 5 items at Amazon",
  "stream": false
}'

# Chat
curl http://localhost:11434/api/chat -d '{
  "model": "llama3:8b",
  "messages": [
    {"role": "system", "content": "You are a data extraction assistant. Output JSON only."},
    {"role": "user", "content": "Extract: Order #12345 from Bangkok, total 1500 THB"}
  ],
  "stream": false
}'

# Embeddings
curl http://localhost:11434/api/embeddings -d '{
  "model": "nomic-embed-text",
  "prompt": "Machine learning pipeline"
}'

# === Custom Modelfile สำหรับ ETL ===
# Modelfile.etl
# FROM llama3:8b
# SYSTEM """You are a data extraction and transformation assistant.
# Always output valid JSON. Never add explanations outside JSON.
# Extract structured data from unstructured text accurately."""
# PARAMETER temperature 0.1
# PARAMETER top_p 0.9
# PARAMETER num_ctx 4096

# สร้าง custom model
# ollama create etl-assistant -f Modelfile.etl
# ollama run etl-assistant "Extract: ..."

สร้าง Data Pipeline ETL ด้วย Ollama

โค้ด Python สำหรับ ETL pipeline ที่ใช้ Ollama

แนะนำเพิ่มเติม — คอร์สเทรด Forex ที่ iCafeForex

Text Processing Pipeline สำหรับ Structured Data Extraction

Pipeline สำหรับแปลง unstructured text เป็น structured data

Batch Processing และ Performance Optimization

เทคนิคสำหรับ processing ข้อมูลจำนวนมาก

เนื้อหาเกี่ยวข้อง — อ่านต่อ: Azure Cosmos DB Domain Driven Design DDD

รวม Ollama กับ Airflow Data Pipeline

Airflow DAG สำหรับ ETL pipeline ที่ใช้ Ollama

FAQ คำถามที่พบบ่อย

Q: Ollama กับ OpenAI API ใช้อันไหนดีกว่าสำหรับ ETL?

A: Ollama เหมาะเมื่อข้อมูลเป็น sensitive data ที่ห้ามส่งออก cloud, ต้องการลดค่าใช้จ่าย API, ต้องการ latency ต่ำ และทำงาน offline ได้ OpenAI เหมาะเมื่อต้องการ model quality สูงสุด (GPT-4), ไม่อยากจัดการ hardware และ data volume น้อย สำหรับ production ETL ที่ process ข้อมูลมาก Ollama คุ้มค่ากว่ามาก

แนะนำเพิ่มเติม — หนังสือเทรดที่ SiamCafeBook

เนื้อหาเกี่ยวข้อง — บทความที่เกี่ยวข้อง: AWS Bedrock AI Career Development IT

Q: Model ไหนเหมาะกับ ETL tasks?

A: Llama 3 8B เหมาะสำหรับงานทั่วไปเช่น classification, entity extraction Mistral 7B เร็วกว่าเล็กน้อย เหมาะสำหรับ simple tasks Gemma 2 9B ดีสำหรับ multilingual tasks รวมถึงภาษาไทย สำหรับงาน coding ใช้ CodeLlama สำหรับ embeddings ใช้ nomic-embed-text เลือก model เล็กที่สุดที่ให้ผลลัพธ์ถูกต้องเพื่อ throughput สูงสุด

Q: Ollama รองรับ concurrent requests กี่ตัว?

A: Ollama รองรับ concurrent requests ได้ แต่ performance ขึ้นอยู่กับ GPU memory ถ้า GPU memory เพียงพอ Ollama จะ process parallel ได้ สำหรับ CPU-only ควรจำกัดที่ 1-2 concurrent requests สำหรับ GPU ที่มี VRAM 16GB ขึ้นไปสามารถ process 2-4 requests พร้อมกัน ใช้ OLLAMA_NUM_PARALLEL environment variable กำหนดได้

เนื้อหาเกี่ยวข้อง — ดูเพิ่มเติมเรื่อง ไนตงเกลคืออะไร — ข้อมูลครบถ้วน 2026

Q: ผลลัพธ์จาก LLM ไม่เป็น JSON ที่ถูกต้องทำอย่างไร?

A: ใช้ temperature 0 หรือต่ำมาก (0.1) เพื่อลด randomness ใส่ system prompt ที่ชัดเจนว่าต้อง output JSON only ให้ตัวอย่าง JSON ใน prompt (few-shot) ใช้ retry logic ถ้า parse ไม่ได้ สร้าง custom model ด้วย Modelfile ที่ tune สำหรับ JSON output และใช้ json_repair library สำหรับ fix JSON ที่มี errors เล็กน้อย