Configure a secure session pool (Azure Container Apps)

La config de una session pool determina cuantas AI requests se pueden ejecutar de manera simultánea, durante cuanto tanto se mantienen los datos efímeros y si el código ejecutado puede acceder a redes externas.

Set pool capacity

Podemos controlar el número de sesiones que corren de manera simultánea en las settings con maxConcurrentSessions. Cada user activo o cada conversación con un agente puede requerir su propia sesión, por lo que el número real depende del uso simultáneo esperado, más que de del número de usuarios.

Del mismo modo podemos reducir la latencia de inicio manteniendo siempre un numero de instancias en caliente con readySessionInstances. Hay que tener en cuenta que reducen la latencia pero incrementa el precio.

este ejemplo limita el máximo de sesiones a 20 y mantiene siempre 2 calientes y listas

{
  "properties": {
    "scaleConfiguration": {
      "maxConcurrentSessions": 20,
      "readySessionInstances": 2
    },
    "customContainerTemplate": {
      "containers": [
        {
          "name": "document-executor",
          "image": "contoso.azurecr.io/document-executor:1.0",
          "probes": [
            {
              "type": "Startup",
              "httpGet": {
                "path": "/ready",
                "port": 8080
              },
              "periodSeconds": 5,
              "failureThreshold": 30
            },
            {
              "type": "Liveness",
              "httpGet": {
                "path": "/health",
                "port": 8080
              },
              "periodSeconds": 10,
              "failureThreshold": 3
            }
          ]
        }
      ],
      "ingress": {
        "targetPort": 8080
      }
    }
  }
}

Choose session cooldown

El lifecycle elimina una sesión cuando esta no recibe requests durante el periodo configurado de cooldown. Cada request nueva que llega resetea el timer.

Incrementarlo si esperas pausas entre operaciones. Reducirlo para ejecutar código no revisado.

Controlar acceso de red externo

Las sessions bloquean el tráfico externo por defecto

Esto previene que el código generado descargue material adicional o saque datos. Activar el tráfico externo solo cuando haya dependencias externas y el riesgo sea aceptable.

Es mejor separar ejecuciones confiables / no confiables y ejecutarlas por separado, que poner en riesgo ambas en una shared pool.

crear python code interpreter pool con 20 sesiones máximas con un idle timer de 300 segundos y tráfico externo desactivado

az containerapp sessionpool create \
	--name ai-document-sessions \
	--resource-group <RESOURCE_GROUP> \
	--location <LOCATION> \
	--container-type PythonLTS \
	--max-sessions 20 \
	--cooldown-period 300 \
	--network-status EgressDisabled

Proteger identidades y session data

Hyper-V isolation separa las sessions, pero múltiples ejecuciones de código en una misma session pueden acceder a los ficheros, environment vars y credenciales ejecutados previamente, dentro de esa misma session. Isolation entre sesiones no vuelve seguro los datos que hayas escrito si ejecutas múltiples ejecuciones dentro de una misma session.

Los usuarios finales nunca reciben el identity token de la pool management API. El código generado nunca necesita acceder a él.

Additional resources

Use dynamic sessions in Azure Container Apps
Managed identities in Azure Container Apps