Manage lifecycle and execution failures (Azure Container Apps)

Dynamic sessions evita mucho del trabajo necesario para asignar y limpiar entornos aislados, pero el AI backend sigue siendo el dueño del ciclo de vida de una request. Es necesario distinguir transport failures de code failures, manejar expired states y evitar repetir operaciones con efectos secundarios.

Plan for ephemeral session state

Una session se mantiene mientras reciba requests. Cada request reinicia el tiempo de cooldown. Cuando este acaba, ACA elimina la session y todos sus ficheros temporales.

Una request posterior puede usar el mismo ID, pero este creará una nueva empty session.

El backend puede pedir info de una session para obtener info de creación, último acceso o expiración

GET <POOL_MANAGEMENT_ENDPOINT>/session?identifier=<SESSION_ID>&api-version=2025-02-02-preview
Authorization: Bearer <ACCESS_TOKEN>

Diseñar cada workflow para que pueda reconocer que faltan estados o ficheros temporales. Por ej: si el code analysis reporta que /mnt/data/op-data.csv no existe, puede ser necesario que el backend lo vuelva a subir a la session actual

Separate failure categories

Un 200 OK no significa que el código enviado haya devuelto el resultado que queremos. La capa de transporte puede funcionar mientras que el código python devuelve una exception o devuelve output no esperado.

El backend debe validar ambas y monitorizar

  • transport failure: authentication, request mal formada, etc.
  • execution failure: código que devuelve una exception
  • validation failure: el código ejecuta pero devuelve algo no planificado o un schema erróneo
  • successful result: todo OK

Set execution deadlines

Las ejecuciones de código tienen un límite máximo de tiempo de runtime. El backend también puede poner su límite de HTTP timeout. Que falle por timeout no indica que el backend deje de procesar.

Apply retries safely

Si hay un timeout no sabemos si la operación se ha completado. Aplicar retries solo cuando las operaciones sean idempotentes.

Release completed sessions

El tiempo de cooldown borra automáticamente las sessions inactivas, pero el backend puede borrar una session antes de ese tiempo. Borrar las sessions cuando hayamos acabado con ella

endpoint de borrado

DELETE <POOL_MANAGEMENT_ENDPOINT>/session?api-version=2025-02-02-preview&identifier=<SESSION_ID>
Authorization: Bearer <ACCESS_TOKEN>

Operate session workflows reliably

  • Validar antes de ejecutar: comprobar payload size, idioma, operación e inputs antes de enviar código al backend
  • Autorizar cada operación: confirmar que el usuario es quien dice ser y validar server-side
  • Persistir durable data elsewhere: recordar que las sesiones son efímeras y todo se borra
  • Clasificar fallos: mantener separado e indicar fallos por transporte, ejecución, validación, timeout
  • Retry solo cuando sea seguro: operaciones idempotentes
  • Limpiar sessions intencionadamente: se pueden borrar antes de su tiempo de cooldown
  • Log safely: ojo con loggear datos sensibles como tokens, IDs, etc

Additional resources

Use dynamic sessions in Azure Container Apps
Troubleshooting in Azure Container Apps