Recordatorio unidades core de K8s
- Pod: unidad desplegable más pequeña de K8s. Un pod es un wrapper de tu app contenerizada (por ej: una Docker image que contiene tu python API). Por lo general no se ejecuta directamente.
- Deployment: Define cuantas réplicas (pods) ejecuta tu aplicación. Si el pod se crashea, el deployment lo reinicia automáticamente por tí. Mediante el deployment especificas la container image, requisitos de recursos, variables de entorno y otra conf (en un YAML)
- Servicios: proveen los endpoints estables y persistentes para acceder a tus Pods. Los servicios usan labels par saber a que Pods redirigir tráfico.
- Kubectl: CLI de K8s
Manifest structure
Un K8s deployment manifest es un YAML que indica a AKS como ejecutar la aplicación contenerizada. Especifíca la container image, número de réplicas, recursos y conf.
overview de un manifiesto. se explican en detalle más abajo
# Code fragment - focus on Deployment manifest structure
apiVersion: apps/v1
kind: Deployment
metadata:
name: ai-inference-api # Name of your Deployment
namespace: default # Kubernetes namespace (default is fine for most scenarios)
spec:
replicas: 2 # Number of Pods to run
selector:
matchLabels:
app: inference-api # Label selector—Deployment manages Pods with this label
template:
metadata:
labels:
app: inference-api # Pod label—must match selector above
spec:
containers:
- name: api
image: myregistry.azurecr.io/inference-api:v1.0
ports:
- containerPort: 8080 # Port your app listens on inside the container
resources:
requests:
memory: "2Gi"
cpu: "1000m" # 1 CPU core
limits:
memory: "4Gi"
cpu: "2000m"
env:
- name: MODEL_NAME
value: "gpt-4"
- name: API_KEY
valueFrom:
secretKeyRef:
name: api-secrets
key: api-key
Container image specifications
El deployment referencia una container image con el formato registryname.azurecr.io/imagename:tag
# Code fragment - focus on image specification
containers:
- name: api
image: myregistry.azurecr.io/inference-api:v1.0 # Full image path with tag
Replicas para Alta Disponibilidad
El campo replicas determina el número de réplicas (pods).
Para AI workloads se recomiendan típicamente 2-3 réplicas por resiliencia por si algún Pod se crashea y +4 para tráfico alto, APIs externas o load balancing
# Code fragment - focus on replicas configuration
spec:
replicas: 2 # Run 2 Pods
Resource requests y limits
K8s necesita saber los recursos que necesita. Se especifican dos valores:
- Requests: Recursos mínimos que la app necesita para ejecutarse correctamente. Si un Pod pide 2 GBs y los nodos solo tienen 1 GB libre, el Pod se queda pending.
- Limits: Límite máximo que la App puede llegar a consumir. Si la app se excede de este valor K8s la mata y la reinicia.
# Code fragment - focus on resource requests and limits
resources:
requests:
memory: "2Gi" # This Pod needs 2GB memory to start
cpu: "1000m" # This Pod needs 1 CPU core (1000 millicores)
limits:
memory: "4Gi" # Pod can't exceed 4GB; terminated if it tries
cpu: "2000m" # Pod can't exceed 2 CPU cores
Para usos de IA:
- Memoria requests/limits: depende del modelo. Los modelos pequeños necesitan 2-4 GB.
- CPU requests/limits: Para inferencias, típicamente 1-2 CPU cores por Pod son suficientes.
Variables de entorno y secretos
Variables de entorno - config no sensible
# Code fragment - focus on environment variables
env:
- name: MODEL_NAME
value: "gpt-4"
- name: API_ENDPOINT
value: "https://api.example.com"
Secretos - config sensible (API keys, credentials)
# Code fragment - focus on secret references
env:
- name: API_KEY
valueFrom:
secretKeyRef:
name: api-secrets # Name of the Secret object
key: api-key # Key within the Secret
crear el secreto con kubectl
# Code fragment - focus on kubectl secret creation
kubectl create secret generic api-secrets --from-literal=api-key=your-secret-key
Additional resources
Deployments
Developer best practices - Pod security in Azure Kubernetes Services (AKS) - Azure Kubernetes Service