Create K8s deployment manifest (AKS)

Recordatorio unidades core de K8s

  • Pod: unidad desplegable más pequeña de K8s. Un pod es un wrapper de tu app contenerizada (por ej: una Docker image que contiene tu python API). Por lo general no se ejecuta directamente.
  • Deployment: Define cuantas réplicas (pods) ejecuta tu aplicación. Si el pod se crashea, el deployment lo reinicia automáticamente por tí. Mediante el deployment especificas la container image, requisitos de recursos, variables de entorno y otra conf (en un YAML)
  • Servicios: proveen los endpoints estables y persistentes para acceder a tus Pods. Los servicios usan labels par saber a que Pods redirigir tráfico.
  • Kubectl: CLI de K8s

Manifest structure

Un K8s deployment manifest es un YAML que indica a AKS como ejecutar la aplicación contenerizada. Especifíca la container image, número de réplicas, recursos y conf.

overview de un manifiesto. se explican en detalle más abajo

# Code fragment - focus on Deployment manifest structure
apiVersion: apps/v1
kind: Deployment
metadata:
  name: ai-inference-api     # Name of your Deployment
  namespace: default          # Kubernetes namespace (default is fine for most scenarios)
spec:
  replicas: 2                # Number of Pods to run
  selector:
    matchLabels:
      app: inference-api     # Label selector—Deployment manages Pods with this label
  template:
    metadata:
      labels:
        app: inference-api   # Pod label—must match selector above
    spec:
      containers:
      - name: api
        image: myregistry.azurecr.io/inference-api:v1.0
        ports:
        - containerPort: 8080 # Port your app listens on inside the container
        resources:
          requests:
            memory: "2Gi"
            cpu: "1000m"      # 1 CPU core
          limits:
            memory: "4Gi"
            cpu: "2000m"
        env:
        - name: MODEL_NAME
          value: "gpt-4"
        - name: API_KEY
          valueFrom:
            secretKeyRef:
              name: api-secrets
              key: api-key

Container image specifications

El deployment referencia una container image con el formato registryname.azurecr.io/imagename:tag

# Code fragment - focus on image specification
containers:
- name: api
  image: myregistry.azurecr.io/inference-api:v1.0  # Full image path with tag

Replicas para Alta Disponibilidad

El campo replicas determina el número de réplicas (pods).

Para AI workloads se recomiendan típicamente 2-3 réplicas por resiliencia por si algún Pod se crashea y +4 para tráfico alto, APIs externas o load balancing

# Code fragment - focus on replicas configuration
spec:
  replicas: 2  # Run 2 Pods

Resource requests y limits

K8s necesita saber los recursos que necesita. Se especifican dos valores:

  • Requests: Recursos mínimos que la app necesita para ejecutarse correctamente. Si un Pod pide 2 GBs y los nodos solo tienen 1 GB libre, el Pod se queda pending.
  • Limits: Límite máximo que la App puede llegar a consumir. Si la app se excede de este valor K8s la mata y la reinicia.
# Code fragment - focus on resource requests and limits
resources:
  requests:
    memory: "2Gi"      # This Pod needs 2GB memory to start
    cpu: "1000m"       # This Pod needs 1 CPU core (1000 millicores)
  limits:
    memory: "4Gi"      # Pod can't exceed 4GB; terminated if it tries
    cpu: "2000m"       # Pod can't exceed 2 CPU cores

Para usos de IA:

  • Memoria requests/limits: depende del modelo. Los modelos pequeños necesitan 2-4 GB.
  • CPU requests/limits: Para inferencias, típicamente 1-2 CPU cores por Pod son suficientes.

Variables de entorno y secretos

Variables de entorno - config no sensible

# Code fragment - focus on environment variables
env:
- name: MODEL_NAME
  value: "gpt-4"
- name: API_ENDPOINT
  value: "https://api.example.com"

Secretos - config sensible (API keys, credentials)

# Code fragment - focus on secret references
env:
- name: API_KEY
  valueFrom:
    secretKeyRef:
      name: api-secrets      # Name of the Secret object
      key: api-key           # Key within the Secret

crear el secreto con kubectl

# Code fragment - focus on kubectl secret creation
kubectl create secret generic api-secrets --from-literal=api-key=your-secret-key

Additional resources

Deployments
Developer best practices - Pod security in Azure Kubernetes Services (AKS) - Azure Kubernetes Service