LocalAI Self-hosted Incident Management

LocalAI + Incident Management

LocalAI Self-hosted AI LLM Incident Management Triage Root Cause Postmortem Automation Production Internal Tool

LocalAI Setup

# === LocalAI Installation ===

# Docker run
# docker run -d --name localai \
#   -p 8080:8080 \
#   -v /path/to/models:/models \
#   -e THREADS=4 \
#   -e CONTEXT_SIZE=4096 \
#   localai/localai:latest
#
# Download model
# cd /path/to/models
# wget https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.2-GGUF/resolve/main/mistral-7b-instruct-v0.2.Q4_K_M.gguf
#
# Create model config
# cat > /path/to/models/mistral-instruct.yaml << 'EOF'
# name: mistral-instruct
# backend: llama
# parameters:
#   model: mistral-7b-instruct-v0.2.Q4_K_M.gguf
#   temperature: 0.3
#   top_p: 0.9
#   context_size: 4096
# EOF
#
# Test API (OpenAI compatible)
# curl http://localhost:8080/v1/chat/completions \
#   -H "Content-Type: application/json" \
#   -d '{
#     "model": "mistral-instruct",
#     "messages": [{"role": "user", "content": "Hello"}],
#     "temperature": 0.3
#   }'

from dataclasses import dataclass
import json

@dataclass
class LocalAIConfig:
    setting: str
    value: str
    purpose: str
    production: str

configs = [
    LocalAIConfig("THREADS", "4-8",
        "จำนวน CPU Thread สำหรับ Inference",
        "ตั้งเท่ากับ CPU Cores ที่จัดสรร"),
    LocalAIConfig("CONTEXT_SIZE", "4096",
        "Max Token Context Window",
        "4096 เพียงพอสำหรับ Incident Analysis"),
    LocalAIConfig("Model Quantization", "Q4_K_M",
        "ลดขนาด Model ใช้ RAM น้อยลง",
        "Q4_K_M ดี Balance ระหว่าง Quality กับ Speed"),
    LocalAIConfig("Temperature", "0.1-0.3",
        "ความ Creative ของ Output",
        "ต่ำสำหรับ Triage (0.1) สูงขึ้นสำหรับ Draft (0.3)"),
    LocalAIConfig("GPU Acceleration", "CUDA / Metal",
        "ใช้ GPU เร่ง Inference",
        "Response < 2s กับ GPU vs 5-10s กับ CPU"),
]

print("=== LocalAI Configuration ===")
for c in configs:
    print(f"  [{c.setting}] Value: {c.value}")
    print(f"    Purpose: {c.purpose}")
    print(f"    Production: {c.production}")

Incident AI Integration

# === AI-assisted Incident Workflow ===

# import requests
#
# LOCALAI_URL = "http://localhost:8080/v1/chat/completions"
#
# def ai_triage(alert_message, context=""):
#     prompt = f"""You are an incident triage system.
# Analyze this alert and respond in JSON:
# {{"priority": "P1-P4", "category": "...", "suggested_team": "...", "summary": "..."}}
#
# Alert: {alert_message}
# Context: {context}"""
#
#     response = requests.post(LOCALAI_URL, json={
#         "model": "mistral-instruct",
#         "messages": [{"role": "user", "content": prompt}],
#         "temperature": 0.1,
#     })
#     return response.json()["choices"][0]["message"]["content"]
#
# def ai_postmortem_draft(timeline, root_cause, impact):
#     prompt = f"""Create an incident postmortem draft:
# Timeline: {timeline}
# Root Cause: {root_cause}
# Impact: {impact}
# Include: Summary, Timeline, Root Cause, Impact, Action Items"""
#
#     response = requests.post(LOCALAI_URL, json={
#         "model": "mistral-instruct",
#         "messages": [{"role": "user", "content": prompt}],
#         "temperature": 0.3,
#     })
#     return response.json()["choices"][0]["message"]["content"]

@dataclass
class AIWorkflow:
    step: int
    trigger: str
    ai_action: str
    prompt_type: str
    output: str
    human_review: str

workflows = [
    AIWorkflow(1, "Alert เข้ามาจาก Monitoring",
        "AI Triage: วิเคราะห์ Priority Category Team",
        "Classification (temp 0.1)",
        "P1-P4 + Category + Suggested Team",
        "On-call ตรวจสอบ Priority ถูกต้อง"),
    AIWorkflow(2, "Incident Created",
        "AI Search: หา Similar Incident จาก KB",
        "Similarity Search (embedding)",
        "Top 3 Similar Incidents + Solutions",
        "Engineer ดู Solution เลือกใช้"),
    AIWorkflow(3, "Investigation",
        "AI RCA Hint: วิเคราะห์ Log Summary",
        "Analysis (temp 0.2)",
        "Possible Root Causes ranked",
        "Engineer Verify ก่อน Proceed"),
    AIWorkflow(4, "Resolved",
        "AI Postmortem Draft: สร้าง Draft",
        "Generation (temp 0.3)",
        "Postmortem Document Draft",
        "Team Lead Review + Edit"),
    AIWorkflow(5, "Communication",
        "AI Status Update: สร้างข้อความแจ้ง",
        "Generation (temp 0.2)",
        "Status Page Update + Slack Message",
        "Comms Lead Approve ก่อนส่ง"),
]

print("=== AI Incident Workflow ===")
for w in workflows:
    print(f"  Step {w.step}: {w.trigger}")
    print(f"    AI: {w.ai_action}")
    print(f"    Prompt: {w.prompt_type}")
    print(f"    Output: {w.output}")
    print(f"    Review: {w.human_review}")

Monitoring LocalAI

# === LocalAI Health Monitoring ===

# Health check endpoint
# curl http://localhost:8080/readyz
#
# Prometheus metrics
# curl http://localhost:8080/metrics

@dataclass
class AIMetric:
    metric: str
    threshold: str
    alert: str
    action: str

metrics = [
    AIMetric("Response Latency p99",
        "< 5s (CPU), < 2s (GPU)",
        "> 10s → Warning, > 30s → Critical",
        "เพิ่ม CPU/GPU หรือ ใช้ Model เล็กลง"),
    AIMetric("Request Queue Length",
        "< 10 pending requests",
        "> 20 → Warning, > 50 → Critical",
        "Scale LocalAI Instance หรือ Rate Limit"),
    AIMetric("Memory Usage",
        "< 80% ของ RAM ที่จัดสรร",
        "> 85% → Warning, > 95% → Critical",
        "เพิ่ม RAM หรือใช้ Quantization ต่ำลง"),
    AIMetric("Error Rate",
        "< 1% ของ Total Requests",
        "> 1% → Warning, > 5% → Critical",
        "ตรวจ Model Config Prompt Length"),
    AIMetric("Triage Accuracy",
        "> 85% เทียบกับ Human Review",
        "< 80% → Review Prompt Template",
        "ปรับ Prompt Few-shot Examples"),
]

print("=== LocalAI Monitoring ===")
for m in metrics:
    print(f"  [{m.metric}] Threshold: {m.threshold}")
    print(f"    Alert: {m.alert}")
    print(f"    Action: {m.action}")

เคล็ดลับ

• Privacy: ข้อมูล Incident อยู่ในองค์กร ไม่ส่งออกนอก ปลอดภัย
• Prompt: ออกแบบ Prompt Template ดีๆ สำคัญกว่า Model ใหญ่
• Review: AI ช่วย Draft แต่ Human ต้อง Review ทุกครั้ง
• Fallback: ถ้า LocalAI Down ต้อง Fallback Manual Process ได้
• Accuracy: วัด Accuracy ทุกเดือน ปรับ Prompt เมื่อ Accuracy ลด

การประยุกต์ใช้ AI ในงานจริง ปี 2026

เทคโนโลยี AI ในปี 2026 ก้าวหน้าไปมากจนสามารถนำไปใช้งานจริงได้หลากหลาย ตั้งแต่ Customer Service ด้วย AI Chatbot ที่เข้าใจบริบทและตอบคำถามได้แม่นยำ Content Generation ที่ช่วยสร้างบทความ รูปภาพ และวิดีโอ ไปจนถึง Predictive Analytics ที่วิเคราะห์ข้อมูลทำนายแนวโน้มธุรกิจ

สำหรับนักพัฒนา การเรียนรู้ AI Framework เป็นสิ่งจำเป็น TensorFlow และ PyTorch ยังคงเป็นตัวเลือกหลัก Hugging Face ทำให้การใช้ Pre-trained Model ง่ายขึ้น LangChain ช่วยสร้าง AI Application ที่ซับซ้อน และ OpenAI API ให้เข้าถึงโมเดลระดับ GPT-4 ได้สะดวก

ข้อควรระวังในการใช้ AI คือ ต้องตรวจสอบผลลัพธ์เสมอเพราะ AI อาจให้ข้อมูลผิดได้ เรื่อง Data Privacy ต้องระวังไม่ส่งข้อมูลลับไปยัง AI Service ภายนอก และเรื่อง Bias ใน AI Model ที่อาจเกิดจากข้อมูลฝึกสอนที่ไม่สมดุล องค์กรควรมี AI Governance Policy กำกับดูแลการใช้งาน

เปรียบเทียบข้อดีและข้อเสีย

จากตารางเปรียบเทียบจะเห็นว่าข้อดีมีมากกว่าข้อเสียอย่างชัดเจน โดยเฉพาะในแง่ของประสิทธิภาพและความสามารถในการ Scale สำหรับข้อเสียส่วนใหญ่สามารถแก้ไขได้ด้วยการเรียนรู้อย่างเป็นระบบและวางแผนทรัพยากรให้เหมาะสม

สรุป

LocalAI Self-hosted Incident Management AI Triage Root Cause Postmortem Draft Privacy Docker LLM Mistral Production Internal Automation