La config de una session pool determina cuantas AI requests se pueden ejecutar de manera simultánea, durante cuanto tanto se mantienen los datos efímeros y si el código ejecutado puede acceder a redes externas.
Set pool capacity
Podemos controlar el número de sesiones que corren de manera simultánea en las settings con maxConcurrentSessions. Cada user activo o cada conversación con un agente puede requerir su propia sesión, por lo que el número real depende del uso simultáneo esperado, más que de del número de usuarios.
Del mismo modo podemos reducir la latencia de inicio manteniendo siempre un numero de instancias en caliente con readySessionInstances. Hay que tener en cuenta que reducen la latencia pero incrementa el precio.
este ejemplo limita el máximo de sesiones a 20 y mantiene siempre 2 calientes y listas
{
"properties": {
"scaleConfiguration": {
"maxConcurrentSessions": 20,
"readySessionInstances": 2
},
"customContainerTemplate": {
"containers": [
{
"name": "document-executor",
"image": "contoso.azurecr.io/document-executor:1.0",
"probes": [
{
"type": "Startup",
"httpGet": {
"path": "/ready",
"port": 8080
},
"periodSeconds": 5,
"failureThreshold": 30
},
{
"type": "Liveness",
"httpGet": {
"path": "/health",
"port": 8080
},
"periodSeconds": 10,
"failureThreshold": 3
}
]
}
],
"ingress": {
"targetPort": 8080
}
}
}
}
Choose session cooldown
El lifecycle elimina una sesión cuando esta no recibe requests durante el periodo configurado de cooldown. Cada request nueva que llega resetea el timer.
Incrementarlo si esperas pausas entre operaciones. Reducirlo para ejecutar código no revisado.
Controlar acceso de red externo
Las sessions bloquean el tráfico externo por defecto
Esto previene que el código generado descargue material adicional o saque datos. Activar el tráfico externo solo cuando haya dependencias externas y el riesgo sea aceptable.
Es mejor separar ejecuciones confiables / no confiables y ejecutarlas por separado, que poner en riesgo ambas en una shared pool.
crear python code interpreter pool con 20 sesiones máximas con un idle timer de 300 segundos y tráfico externo desactivado
az containerapp sessionpool create \
--name ai-document-sessions \
--resource-group <RESOURCE_GROUP> \
--location <LOCATION> \
--container-type PythonLTS \
--max-sessions 20 \
--cooldown-period 300 \
--network-status EgressDisabled
Proteger identidades y session data
Hyper-V isolation separa las sessions, pero múltiples ejecuciones de código en una misma session pueden acceder a los ficheros, environment vars y credenciales ejecutados previamente, dentro de esa misma session. Isolation entre sesiones no vuelve seguro los datos que hayas escrito si ejecutas múltiples ejecuciones dentro de una misma session.
Los usuarios finales nunca reciben el identity token de la pool management API. El código generado nunca necesita acceder a él.
Additional resources
Use dynamic sessions in Azure Container Apps
Managed identities in Azure Container Apps