ai
TensorFlow Serving Production Setup Guide —
TensorFlow Serving Production
TensorFlow Serving ML Model Deploy Production Docker gRPC REST API Monitoring Auto-scaling Kubernetes GPU Inference
| Feature | TF Serving | TorchServe | Triton (NVIDIA) |
|---|---|---|---|
| Framework | TensorFlow only | PyTorch only | TF + PyTorch + ONNX |
| API | gRPC + REST | gRPC + REST | gRPC + REST |
| Batching | Built-in | Built-in | Built-in (advanced) |
| GPU | CUDA support | CUDA support | CUDA + TensorRT |
| Versioning | Auto version | Manual | Auto version |
| Kubernetes | Works well | Works well | Works well |
เคล็ดลับ
- Batching: เปิด Batching เพิ่ม Throughput 2-5x โดยเฉพาะ GPU
- Version: ใช้ Version Directory ให้ TF Serving โหลด Version ใหม่อัตโนมัติ
- Probe: ตั้ง Readiness Probe ให้ Model Load เสร็จก่อนรับ Traffic
- GPU: ใช้ GPU สำหรับ Model ใหญ่ ลด Latency 5-10x จาก CPU
- Monitor: ดู Latency p99 QPS Error Rate ตั้ง Alert ทุกตัว
TensorFlow Serving คืออะไร
Production ML Serving System Google SavedModel gRPC REST API Versioning Batching GPU Docker Kubernetes Low Latency High Throughput
