Posts Tagged - ACA

Revision modes (Azure Container Apps)

Los revision modes en ACA determinan como la app gestiona los deployments y como coexisten múltiples versiones. El mode que elijas afecta a:

  • scaling behavior
  • traffic distribution
  • deployment strategies

Revisions y scaling

IMPORTANTE

Una revision es una captura inmutable de una versión de una container app

Read More

Manage lifecycle and execution failures (Azure Container Apps)

Dynamic sessions evita mucho del trabajo necesario para asignar y limpiar entornos aislados, pero el AI backend sigue siendo el dueño del ciclo de vida de una request. Es necesario distinguir transport failures de code failures, manejar expired states y evitar repetir operaciones con efectos secundarios.

Plan for ephemeral session state

Una session se mantiene mientras reciba requests. Cada request reinicia el tiempo de cooldown. Cuando este acaba, ACA elimina la session y todos sus ficheros temporales.

Una request posterior puede usar el mismo ID, pero este creará una nueva empty session.

El backend puede pedir info de una session para obtener info de creación, último acceso o expiración

GET <POOL_MANAGEMENT_ENDPOINT>/session?identifier=<SESSION_ID>&api-version=2025-02-02-preview
Authorization: Bearer <ACCESS_TOKEN>

Diseñar cada workflow para que pueda reconocer que faltan estados o ficheros temporales. Por ej: si el code analysis reporta que /mnt/data/op-data.csv no existe, puede ser necesario que el backend lo vuelva a subir a la session actual

Read More

Execute code and exchange files (Azure Container Apps)

El AI backend interactúa con las dynamic sessions a través de la session pool management API. El backend autentica con Entra ID y solo manda código y ficheros autorizados al environment aislado

Authenticate the backend

Cada request a management API requiere de un bearer token de Entra ID. La calling identity necesita del rol ContainerApps Session Executor. Puedes asignar este rol con scope de la session pool para que la identidad no pueda ejecutar código en pools no relacionadas.

az role assignment create \
	--role "Azure ContainerApps Session Executor" \
	--assignee <BACKEND_PRINCIPAL_ID> \
	--scope <SESSION_POOL_RESOURCE_ID>

El app code puede usar DefaultAzureCredential en ambos local y azure environments.

from azure.identity import DefaultAzureCredential

credential = DefaultAzureCredential()
access_token = credential.get_token(
	"https://dynamicsessions.io/.default"
).token

Lo ideal es pedir un token cada vez que la app prepara una llamada, y no cachearlo indefinidamente.

Read More

Configure a secure session pool (Azure Container Apps)

La config de una session pool determina cuantas AI requests se pueden ejecutar de manera simultánea, durante cuanto tanto se mantienen los datos efímeros y si el código ejecutado puede acceder a redes externas.

Set pool capacity

Podemos controlar el número de sesiones que corren de manera simultánea en las settings con maxConcurrentSessions. Cada user activo o cada conversación con un agente puede requerir su propia sesión, por lo que el número real depende del uso simultáneo esperado, más que de del número de usuarios.

Del mismo modo podemos reducir la latencia de inicio manteniendo siempre un numero de instancias en caliente con readySessionInstances. Hay que tener en cuenta que reducen la latencia pero incrementa el precio.

este ejemplo limita el máximo de sesiones a 20 y mantiene siempre 2 calientes y listas

{
  "properties": {
    "scaleConfiguration": {
      "maxConcurrentSessions": 20,
      "readySessionInstances": 2
    },
    "customContainerTemplate": {
      "containers": [
        {
          "name": "document-executor",
          "image": "contoso.azurecr.io/document-executor:1.0",
          "probes": [
            {
              "type": "Startup",
              "httpGet": {
                "path": "/ready",
                "port": 8080
              },
              "periodSeconds": 5,
              "failureThreshold": 30
            },
            {
              "type": "Liveness",
              "httpGet": {
                "path": "/health",
                "port": 8080
              },
              "periodSeconds": 10,
              "failureThreshold": 3
            }
          ]
        }
      ],
      "ingress": {
        "targetPort": 8080
      }
    }
  }
}

Read More

Choose dynamic session pool (Azure Container Apps)

(dejo partes de esto para una segunda vuelta ya que ahora mismo me parece demasiado complicado y mucho mucho detalle)

Session execution boundary

Cada session asignada se ejecuta en su propia sandbox Hyper-V-aislada (la ejecución de código se aísla de procesos, file system, host y otras sesiones). Esto permite ejecutar código generado por IA, aislado de todo lo importante.

flujo de como el backend mantiene access control, mientras que la session pool procesa el código aislado

User request
    |
    v
AI application ---- model or orchestration layer
    |
    | validated code, files, and application-generated identifier
    v
Dynamic session pool
    |
    v
Isolated session ---- execution result and generated files

El backend autentica con la pool y manda el trabajo en nombre del usuario. Los usuarios finales no reciben pool access tokens ni reciben IDs que puedan dirigirse a la sesión de otros usuarios.

La sesión mantiene un estado de ejecución efímero, mientras que la app almacena inputs y resultados persistentes fuera de la pool.

Esto se hace porque si ejecutáramos código arbitrario de IA en el mismo contenedor que la app principal, el código generado competería por recursos (CPU/memoria) con el programa principal, y podrá acceder a ficheros, credenciales o env vars.

Crear un contenedor separado para cada request tampoco lo soluciona, ya que suma tiempo el tiempo de iniciar el contenedor a cada imagen y empeora el lifecycle

Read More

Choose resources for performance and cost (Azure Container Apps)

Resource allocation en ACA afecta a ambos, performance y coste. Cada réplica consume CPU y memoria, y la combinación de recursos y de réplicas determinan la capacidad y el coste total del sistema.

Entender resource allocation

IMPORTANTE

ACA asigna CPU y memoria por contenedor. Hay una regla: la memoria tiene que ser (en GiB) por lo menos el doble que núcleos de CPU. Si asignas 0.5 CPU cores, tienes que asignar mínimo 1.0 GiB de memoria.

El coste se basa en el consumo en CPU-seconds y GiB-seconds.

Hay que tener en cuenta que aumentar los recursos por réplica aumenta el coste, pero si esto reduce el número de réplicas que necesitas, puede que al final sea más barato. Hay que encontrar el balance.

Cuando una réplica se pasa del límite de memoria que tiene asignada, la plataforma mata y reinicia la réplica. La CPU funciona de manera diferente, cuando una réplica se pasa, el sistema le hace throttling pero NO la mata.

/IMPORTANTE

Read More

KEDA scalers for custom workloads (Azure Container Apps)

Azure Container Apps (ACA) soporta un gran rango de KEDA scalers fuera de servicios de Azure. Estos scalers permiten tener event-driven scaling basado en Apache Kafka, Redis queue depth y muchos más servicios.

Explorar available KEDA scalers

ACA soporta cualquier ScaledObject basado en KEDA scalers. Estos soportan muchas más herramientas de las aquí puestas como PostgreSQL, MongoDB y APIs externas. Cada scaler monitoriza un event source específico y reporta métricas que derivan en decisiones sobre el escalado.

Configurar Apache Kafka scaling

Kafka es una plataforma event-driven. Permite transportar, almacenar y procesar grandes volúmenes de eventos de forma continua. Se basa en los conceptos Producer/Consumer/Topic

Los triggers de Kafka para el escalado se basan en consumer group lag. El scaler analiza el lag del consumer group y cuando este incrementa, el scaler aumenta las réplicas para procesar más rápido y reducir el backlog.

Los key metadata params para Kafka scaling incluye bootstrapServers, consumerGroup, topic y lagThreshold. Este último permite especificar el lag por partición que hace trigger del escalado. Si ponemos un threshold de 100 y detecta que el consumer group tiene 500 mensajes de lag a lo largo de todas las particiones, el scaler calcula que hacen falta 5 réplicas.

IMPORTANTE

Al igual que los Event Hubs, las particiones de Kafka afectan a su escalado máximo efectivo. Cada partición solo puede tener un consumer activo por consumer group, por lo que solo es efectivo tener tantas réplicas como consumer groups tengamos.

/IMPORTANTE

scale:
  minReplicas: 1
  maxReplicas: 50
  rules:
    - name: kafka-scaling
      custom:
        type: kafka
        metadata:
          bootstrapServers: "kafka-broker:9092"
          consumerGroup: "order-consumers"
          topic: "orders"
          lagThreshold: "100"
        auth:
          - secretRef: kafka-credentials
            triggerParameter: sasl

Read More

Event-driven scaling with KEDA (Azure Container Apps)

IMPORTANTE

Event-driven scaling permite a tus container apps responder a señales externas más allá del tráfico HTTP.

Azure Container Apps se puede integrar con KEDA (Kubernetes Event-driven autoscaling) para escalar basándose en queues, event streams y otros servicios de Azure.

/IMPORTANTE

Understand KEDA integration

Azure Container Apps usa KEDA para monitorizar external event sources y ajustar el número de réplicas basándose en métricas de servicios externos.

La plataforma ajusta las configuraciones del scaler de KEDA a reglas de Container Apps.

Se pueden configurar custom scalers en Container Apps, estos siguen el KEDA ScaledObject specification pattern.

Especificas lo siguiente y la plataforma hace un poll cada 30 segundos:

  • scaler type
  • metadata params (configures connection and thresholds)
  • authentication settings

Microsoft mantiene azure-native scalers como:

  • Azure Service Bus
  • Azure Event Hubs
  • Azure Storage Queue
  • Azure Blob Storage
  • Azure Log Analytics
  • Azure Monitor
  • También se soportan community-maintained scalers para sources de eventos non-Azure

Event-driven scaling soporta scale-to-zero, haciéndolo ideal para background processing workloads. Si no hay mensajes - escala a 0 réplicas. Cuando llegan eventos, se hace trigger automático del scale-up

Read More

Configure scale rules (Azure Container Apps)

Azure Container Apps usa scale rules declarativas para hacer management de un escalado horizontal. Sólo defines las condiciones y ACA se encarga de todo.

Podemos escalar por:

  • HTTP rules
  • TCP rules
  • Memory/CPU rules
  • Custom metric rules

Scale definitions

Scale definitions se compone de 3 partes:

  • limits: define el número mínimo y máximo de réplicas permitido por container app
  • rules: especifican los triggers que determinan cuándo tiene lugar el escalado
  • behaviour: describe como la plataforma toma decisiones de escalado en el tiempo, incluyendo timing y algoritmos

El escalado de Azure Container Apps (ACA) funciona a través de KEDA (Kubernetes Event-driven Autoscaling). Cuando configuras reglas, la plataforma traduce tus settings a KEDA specifications que ajustan el número de replicas acordes

Read More

ACA Update Images (& manage revisions)

Usar tags y digests intencionalmente

Las tags son convenientes para iteraciones rápidas porque puedes reusar nombres como dev o staging, pero estas pueden cambiar con el tiempo.

Los digests son identificadores inmutables que aportan trazabilidad para PROD.

Update una container app para crear una nueva revisión

Cuando haces update de la imagen de una container app, se crea una nueva revisión con la template actualizada. Se puede verificar la salud de esta revision antes de asignarle tráfico. Esto evita redirigir tráfico en PROD a una revision que falle, por ej., en el startup.

hacer update de la referencia a una imagen

az containerapp update \
	--name <app-name> \
	--resource-group <resource-group> \
	--image myregistry.azurecr.io/myapp@sha256:<digest>

después del update, inspeccionamos la template del contenedor para confirmar el cambio de imagen

az containerapp show \
	--name <app-name> \
	--resource-group <resource-group> \
	--query properties.template.containers

Read More

Optimizar recursos de contenedor y scaling (Azure Container Apps)

En Azure Container Apps, se ajustan los recursos por réplica y se escalan los límites juntos.

Per-replica sizing y coste total

Container Apps escala añadiendo o quitando réplicas. La CPU y la memoria se configura por-réplica y afectan al coste directo de la misma. El coste total es una combinación del tamaño por-réplica y el número de réplicas requerido para manejar la carga máxima.

  • Para APIs de AI es importante medir la latencia junto a concurrencia y ver si hay CPU throttling.
  • Para background workers es importante medir el throughput y controlar los límites de memoria, que pueden causar reinicios.

update de límites de CPU y memoria

az containerapp update \
	--name <app-name>
	--resource-group <resource-group> \
	--cpu <cores> \
	--memory <size>

Read More

Monitor logs (Azure Container Apps)

el acceso a logs depende de la configuración del entorno de tu Container Apps. Validar que el entrono esté conectado a Log Analytics o log streaming (para ver en tiempo real)

Log streaming (diagnóstico en tiempo real)

az containerapp logs show \
	--name <app-name> \
	--resource-group <resource-group> \
	--follow

Read More

Manage container app lifecycle (Azure Container Apps)

Decidir entre stop, restart y escale-to-zero

No es lo mismo stop que scale-to-zero. Stop es parar del todo la app, para por ejemplo, asegurar que la app no crea replicas mientras se investiga un incidente. Scale-to-zero se puede usar en un approach event-driven con tráfico intermitente.

Restart es útil para limpiar errores transientes, pero hay que tener en cuenta que deriva en un incremento de cold-start-frequency a los usuarios, por lo que hay que hacerlo con intencionalidad.

# ejemplos de los 3 comandos
az containerapp start --name <name> --resource-group <rg>
az containerapp stop  --name <name> --resource-group <rg>
az containerapp restart --name <name> --resource-group <rg>

Read More

Configure health probes (Azure Container Apps)

Las health probes protegen a tus usuarios previniendo que el tráfico alcance replicas no sanas. Son especialmente útiles para APIs de IA para que dé tiempo a que se carguen los modelos de IA, se caliente la cache y carguen las dependencias.

Readiness vs liveness

IMPORTANTE

Readiness responde a la pregunta ¿Puede esta replica recibir tráfico ahora mismo? - si falla, la plataforma no debe redirigir tráfico a esa réplica.

Liveness responde a la pregunta ¿Está sano este proceso o hay que matarlo? - si falla, la plataforma mata y reinicia la réplica

/IMPORTANTE

Read More

Verify deployments (Azure Container Apps)

In Azure Container Apps you can verify deployments through logs, revisions and replica status.

Los logs de Container Apps pueden incluir logs de tu contenedor o logs de sistema (la plataforma)

Confirmar app config e ingress

Antes de entrar a mirar logs, revisar la app config e ingress settings para revisar cosas como que se esté usando un ingress interno cuando se requiere uno externo.
También se puede obtener el FQDN para poder enviar una health check request

az containerapp show -n ai-api -g rg-aca-demo

Read More

ACA Runtime (env vars & secrets)

Environment variables (nonsensitive settings)

You can add settings during create

az containerapp create -n ai-api -g rg-aca-demo \
	--environment aca-env-demo \
	--image myregistry.azurecr.io/ai-api:v1 \
	--ingress external --target-port 8000 \
	--env-vars LOG_LEVEL=info FEATURE_EMBEDDINGS=true

Or you can update or remove existing ones

az containerapp update -n ai-api -g rg-aca-demo \
	--set-env-vars LOG_LEVEL=debug

Read More

Pull from Private Registries (Azure Container Apps)

Un registry privado permite controlar quien tiene acceso a las imágenes.

Azure Container Apps soporta:

  • para cualquier registry privado: auth con user & pwd
  • si el registry es Azure Container Registry, managed identity

Configurar user & pwd

If you’re using ACR, then the CLI may infer credentials if you omit them

az containerapp registry set -n ai-api -g rg-aca-demo \
	--server myregistry.azurecr.io \
	--username myUser \
	--password myPassword

Read More

Environments (Azure Container Apps)

Azure Container App se organiza en environments. Estos entornos son sandboxes donde se ejecutan uno o más contenedores.

Se pueden usar para separar o agrupar servicios, o por entornos típicos

  • DES
  • UAT
  • PROD

Son límites lógicos. Los servicios no pueden conectarse entre entornos.

Crear e inspeccionar un entorno

# creamos un RG
az group create \
	--name rg-aca-demo
	--location centralus
	
# creamos un entorno
az containerapp env create \
	--name aca-env-demo \
	--resource-group rg-aca-demo \
	-- location centralus
	
# inspeccionarlo
az containerapp env show \
	--name aca-env-demo \
	--resource-group rg-aca-demo

Read More

ACA Deployments (CLI & YAML)

Deploy quickly

El mejor comando para prototipos o probar el servicio es az containerapp up

(crea el environment y publica el contenedor)

az containerapp up \
	--name my-container-app \
	--resource-group rg-aca-demo \
	--location centralus \
	--environment aca-env-demo \
	--image mcr.microsoft.com/k8se/quickstart:latest \
	--target-port 80 \
	--ingress external \
	--query properties.configuration.ingress.fqdn

Si se usa una referencia para la container image, el repositorio tiene que estar en lower case. Si no, puede haber fallos de pull que se vean como errores de autenticación

Read More