TensorFlow Serving Troubleshooting แก้ปัญหา

TensorFlow Serving เป็น production-grade serving system สำหรับ deploy machine learning models ที่ Google พัฒนา รองรับ gRPC และ REST API สำหรับ inference requests ในการใช้งานจริงมักเจอปัญหาหลายอย่าง เช่น model loading errors, performance bottlenecks, memory leaks, version conflicts และ scaling issues บทความนี้รวบรวมปัญหาที่พบบ่อยของ TensorFlow Serving พร้อมวิธีแก้ไข debugging techniques และ monitoring best practices

Kubernetes Deployment

# k8s.py — Kubernetes deployment for TF Serving import json class K8sDeployment: DEPLOYMENT = """ # tf-serving-deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: tf-serving labels: app: tf-serving spec: replicas: 3 selector: matchLabels: app: tf-serving template: metadata: labels: app: tf-serving spec: containers: - name: tf-serving image: tensorflow/serving:latest ports: - containerPort: 8500 name: grpc - containerPort: 8501 name: rest args: - --model_config_file=/config/model_config.txt - --enable_batching=true - --batching_parameters_file=/config/batching_config.txt resources: requests: cpu: "2" memory: 4Gi limits: cpu: "4" memory: 8Gi readinessProbe: httpGet: path: /v1/models/my_model port: 8501 initialDelaySeconds: 30 periodSeconds: 10 livenessProbe: httpGet: path: /v1/models/my_model port: 8501 initialDelaySeconds: 60 periodSeconds: 30 volumeMounts: - name: model-volume mountPath: /models - name: config-volume mountPath: /config volumes: - name: model-volume persistentVolumeClaim: claimName: model-pvc - name: config-volume configMap: name: tf-serving-config --- apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: tf-serving-hpa spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: tf-serving minReplicas: 2 maxReplicas: 10 metrics: - type: Resource resource: name: cpu target: type: Utilization averageUtilization: 70 """ def show_deployment(self): print("=== K8s Deployment ===") print(self.DEPLOYMENT[:600]) def troubleshoot_k8s(self): print(f"\n=== K8s Troubleshooting ===") checks = [ "kubectl get pods -l app=tf-serving (ดู pod status)", "kubectl logs --tail=100 (ดู logs)", "kubectl describe pod (ดู events + errors)", "kubectl top pods -l app=tf-serving (ดู resource usage)", "kubectl exec -it -- curl localhost:8501/v1/models/my_model (health check)", ] for check in checks: print(f" $ {check}") k8s = K8sDeployment() k8s.show_deployment() k8s.troubleshoot_k8s()

FAQ - คำถามที่พบบ่อย

Q: TF Serving กับ TorchServe อันไหนดี?

A: TF Serving: สำหรับ TensorFlow/Keras models, mature, Google-backed TorchServe: สำหรับ PyTorch models, AWS-backed, flexible Triton Inference Server: รองรับทุก framework (TF, PyTorch, ONNX) — แนะนำสำหรับ multi-framework เลือกตาม framework ที่ใช้ — ถ้าใช้ TF เลือก TF Serving, PyTorch เลือก TorchServe

เนื้อหาเกี่ยวข้อง — แนะนำให้อ่าน MLOps Pipeline Business Continuity —

Q: REST กับ gRPC ใช้อันไหน?

แนะนำเพิ่มเติม — iCafeForex

A: gRPC: เร็วกว่า 2-5x, binary protocol, HTTP/2, streaming — แนะนำสำหรับ production REST: ง่ายกว่า, debug ง่าย, ใช้ curl ได้ — เหมาะ development/testing Internal services: gRPC, External/browser: REST

เนื้อหาเกี่ยวข้อง — แนะนำให้อ่าน Payload CMS Machine Learning Pipeline —

Q: Model loading ช้ามาก ทำอย่างไร?

A: 1) Add warmup requests (assets.extra/tf_serving_warmup_requests) 2) ใช้ model optimization (quantization, pruning) 3) Pre-load models ก่อน route traffic 4) ใช้ PVC ที่เร็ว (SSD, NVMe) สำหรับ model storage 5) ลด model size (SavedModel strip unused ops)

แนะนำเพิ่มเติม — สัญญาณเทรดรายวัน XM Signal

เนื้อหาเกี่ยวข้อง — ทำความเข้าใจ stable diffusion lora

Q: Monitor TF Serving อย่างไร?

A: Built-in: /monitoring/prometheus/metrics endpoint Prometheus: scrape metrics → Grafana dashboard Key metrics: request_count, request_latency, model_load_latency, batch_size Alerting: latency P99 > threshold, error rate > 1%, GPU memory > 90%

เนื้อหาเกี่ยวข้อง — แนะนำให้อ่าน Elixir Ecto Low Code No Code

TensorFlow Serving Troubleshooting แก้ปัญหา