Posts Tagged - AKS

Troubleshoot pods and services (AKS)

Use kubectl describe to inspect pods and events

The command kubectl describe command gives you detailed information about a pod including events.

kubectl get pods -n ai-workloads
kubectl describe pod <pod-name> -n ai-workloads

Debug using kubectl exec

kubectl exec -it <pod-name> -n ai-workloads -- /bin/sh

Inspect services using kubectl

kubectl get service -n ai-workloads
kubectl describe service <service-name> -n ai-workloads
kubectl get endpointslices -l kubernetes.io/service-name=<service-name> -n ai-workloads

Validate service-to-pod connectivity

kubectl get service -n ai-workloads
kubectl describe service inference-api -n ai-workloads
kubectl get endpointslices -l kubernetes.io/service-name=inference-api -n ai-workloads

Read More

Monitor app logs and metrics (AKS)

Ver logs de AKS

Se pueden ver:

  • Azure portal: puedes ver logs en tiempo real
  • kubectl logs para ver container logs directamente del pod.
kubectl get pods -n ai-workloads
kubectl logs <pod-name> -n ai-workloads
kubectl logs -f <pod-name> -n ai-workloads

# pod con múltiple containers
kubectl logs <pod-name> -c inference-api -n ai-workloads

Ver resource metrics

Con kubectl

kubectl top nodes
kubectl top pods -n ai-workloads

Best practices

  • Comenzar por el portal para un overview visual: usar monitoring tab y container insights para ver un estado rápido del cluster
  • Usar logs en tiempo real
  • Combinar el portal con kubectl: el portal para ver trends e históricos. kubectl para queries específicas

Read More

Como exponer apps (AKS)

Un service provee un endpoint estable para acceder a la aplicación. Sin los services, los pods usan internal IPs que cambian cuando se reinician. Los services abstraen de estas IPs y proporcionan IPs persistentes que los clientes externos pueden usar y redirigen tráfico a los Pods

El propio servicio se encarga de gestionar la carga entre los Pods y hace que si uno se crashea, el tráfico pase a otra réplica.

Elegir el tipo de servicio correcto

Elegir según la App sea interna o externa

ClusterIP (default)

Para cuando solo se necesita IPs internas dentro del cluster. Los Pods acceden al servicio usando el servicio de nombre de DNS.

Ejemplos de uso:

  • La app sirve a otros pods dentro del cluster
  • No necesitas acceso externo

Ejemplo: Tu Vector DDBB se ejecuta en dos Pods y ambos tienen que estar disponibles para otro pod que lo consume

Read More

Deploy apps to Azure Kubernete Service

Una vez tenemos los manifiestos de deployments y services, se envían al cluster con kubectl apply. K8s se encarga del resto.

Deploy con kubectl apply

El comando kubectl apply es la herramienta principal para hacer despliegues a AKS.

# Code fragment - focus on kubectl apply commands
kubectl apply -f deployment.yaml
kubectl apply -f service.yaml

# Or deploy both in one command:
kubectl apply -f deployment.yaml -f service.yaml

# Or deploy all YAML files in a directory:
kubectl apply -f .

El comando es asíncrono. Devuelve al instante pero puede tardar unos momentos en hacer los cambios

Read More

Create K8s deployment manifest (AKS)

Recordatorio unidades core de K8s

  • Pod: unidad desplegable más pequeña de K8s. Un pod es un wrapper de tu app contenerizada (por ej: una Docker image que contiene tu python API). Por lo general no se ejecuta directamente.
  • Deployment: Define cuantas réplicas (pods) ejecuta tu aplicación. Si el pod se crashea, el deployment lo reinicia automáticamente por tí. Mediante el deployment especificas la container image, requisitos de recursos, variables de entorno y otra conf (en un YAML)
  • Servicios: proveen los endpoints estables y persistentes para acceder a tus Pods. Los servicios usan labels par saber a que Pods redirigir tráfico.
  • Kubectl: CLI de K8s

Manifest structure

Un K8s deployment manifest es un YAML que indica a AKS como ejecutar la aplicación contenerizada. Especifíca la container image, número de réplicas, recursos y conf.

overview de un manifiesto. se explican en detalle más abajo

# Code fragment - focus on Deployment manifest structure
apiVersion: apps/v1
kind: Deployment
metadata:
  name: ai-inference-api     # Name of your Deployment
  namespace: default          # Kubernetes namespace (default is fine for most scenarios)
spec:
  replicas: 2                # Number of Pods to run
  selector:
    matchLabels:
      app: inference-api     # Label selector—Deployment manages Pods with this label
  template:
    metadata:
      labels:
        app: inference-api   # Pod label—must match selector above
    spec:
      containers:
      - name: api
        image: myregistry.azurecr.io/inference-api:v1.0
        ports:
        - containerPort: 8080 # Port your app listens on inside the container
        resources:
          requests:
            memory: "2Gi"
            cpu: "1000m"      # 1 CPU core
          limits:
            memory: "4Gi"
            cpu: "2000m"
        env:
        - name: MODEL_NAME
          value: "gpt-4"
        - name: API_KEY
          valueFrom:
            secretKeyRef:
              name: api-secrets
              key: api-key

Read More

Define Secrets (AKS)

En los secrets almacenamos los valores sensibles, como cadenas de conexión y API keys. Los secretos mantienen estos valores fuera del control de versiones y de las container images

Crear un secreto

Se puede crear un secreto directamente con kubectl create secret o desde ficheros secret.yaml

K8s ofrece diferentes tipos de secretos

  • kubernetes.io/dockerconfigjson para container registry credentials
  • kubernetes.io/tls para certificados TLS y keys
kubectl create secret generic app-secrets \
  --from-literal=DB_CONNECTION="Host=db;User=app;Password=secure" \
  --from-literal=API_KEY="your-api-key"

Read More

Define ConfigMaps (AKS)

Los ConfigMaps se usan para guardar config no sensible como feature flags o service endpoints. Estos ConfigMaps luego se inyectan en las imágenes y el source code.

Define a ConfigMap

Un ConfigMap es un recurso que guarda config data como valores clave-valor.

apiVersion: v1
kind: ConfigMap
metadata:
  name: app-settings
data:
  FEATURE_X_ENABLED: "true"
  SERVICE_ENDPOINT: "https://api.example.com"
  # File-like configuration can use multi-line values
  app.config: |
    log_level=info
    timeout_seconds=30

Read More

Attach persistent storage to an app (AKS)

Cuando hacemos un restart de un Pod sus datos se pierden. Para guardar datos que deben sobrevivir a un Pod restart tenemos los PersistentVolume (PV) y PersistentVolumeClaim (PVC)

En AKS Azure provee de múltiples opciones de almacenamiento incluyendo CSI drivers, los cuales integran Azure storage services y Azure Container Storage

Se declara un PCV para pedir storage con una capacidad especificada.

Choose a persistent volume option

AKS soporta dos approaches para persistent storage.

Azure Container Storage Interface (CSI) drivers integran Azure Storage con AKS. Los CSI drivers provisionan

  • Azure Disk para single-node block storage
  • Azure Files para shared file access a través de múltiples Pods
  • Azure Blob para large unstructured datasets

Define a PersistentVolumeClaim (PVC)

Un PersistentVolumeClaim es una request de storage. Especificas cuanta capacidad y que modos de acceso necesitas.

Los modos de acceso incluyen

  • ReadWriteOnce: single-node access
  • ReadWriteMany: shared-access across multiple nodes
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: data-pvc
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi
  storageClassName: default

Read More