Configure delivery and retry policies (Event Grid)

How Event Grid delivers events

Event Grid entrega eventos enviando un HTTP POST al subscriber’s endpoint. El subscriber tiene que responder con un status code 20x para hacer acknowledge. Cualquier otra respuesta o ninguna durante el timeout period, hace trigger de un retry.
Event Grid espera 30s para la respuesta después de la entrega de un mensaje. Si el endpoint no responde, se encola el mensaje para retry.

Retry and error handling

Cuando Event Grid recibe un error como respuesta, evalúa el error type y decide si lo reintenta o no. No todos los errores se reintentan.

Los siguientes errores NO se reintentan ya que son issues permanentes:

  • 400 Bad Request: el event payload está mal formado
  • 413 Entity Too Large: el evento excede el size limit del endopint
  • 403 Forbidden

Para webhook endpoints un 401 Unauthorized NO se reintenta. Para Azure resource endpoints, 401 y 404 se reintentan tras 5 minutos

Para otro tipo de errores los reintentos son exponenciales. A los siguientes tiempos se les añade un randomizer para que no ocurran de golpe.

  1. 10s
  2. 30s
  3. 1m
  4. 5m
  5. 10m
  6. 30m
  7. 1h
  8. 3h
  9. 6h
  10. Cada 12 to 24h

Retry policy settings

Hay dos params para controlar el retry (se establecen al crear un event subscription):

(se para cuando se cumpla el primero)

  • Maximum number of attempts: default 30
  • Event TTL en minutos: default 24h
az eventgrid event-subscription create \
	--name moderation-sub \
	--source-resource-id /subscriptions/{sub-id}/resourceGroups/{rg}/providers/Microsoft.EventGrid/topics/ai-events \
	--endpoint https://moderation-service.azurewebsites.net/api/events \
	--max-delivery-attempts 5 \
	--event-ttl 30

Dead-letter destinations (undeliverable events)

Cuando Event Grid agota todos los retry attempts o el TTL del evento expira, se envia el evento no entregado a la dead-letter destination. Dead-lettering está disabled by default.

Para activarlo tienes que especificar un Azure Blob Storage container como dead-letter endpoint al crear la event subscription.

az eventgrid event-subscription create \
	--name moderation-sub \
	--source-resource-id /subscriptions/{sub-id}/resourceGroups/{rg}/providers/Microsoft.EventGrid/topics/ai-events \
	--endpoint https://moderation-service.azurewebsites.net/api/events \
	--max-delivery-attempts 5 \
	--event-ttl 30 \
	--deadletter-endpoint /subscriptions/{sub-id}/resourceGroups/{rg}/providers/Microsoft.Storage/storageAccounts/{storage-account}/blobServices/default/containers/dead-letters

Cada evento marcado como dead-letter incluye propiedades que ayudan a entender por qué ha fallado.

  • deadLetterReason ejemplo MaxDeliveryAttemptsExceeded o MaxRetryDurationExceeded
  • deliveryAttempts numero de reintentos
  • lastDeliveryOutcome el resultado del last delivery NotFound, TimedOut, Busy
  • publishTime tiempo en el que Event Grid acepto el evento
  • lastDeliveryAttemptTime

La aparición de dead-letter events indican problemas sistémicos que necesitan investigación. Un batch de dead-letter events puede indicar cambios de URL o fallos generales.

Se puede crear una event subscription al Blob Storage container que contiene las dead-letters. Así puedes notificar un monitoring service cuando llega una nueva dead-letter, permitiendo alertas automáticas o reprocesados.

Transient failures

El mecanismo de retry de Event Grid se encarga automáticamente de los fallos transientes.

Tenemos que diseñar endpoints que soporten este patrón:

  • devolver 200-204 para OK. 503 si el servicio está temporalmente overloaded. 400 para fallos permanentes que no queremos que se reintenten
  • Implementar procesamiento idempotente: Llevar un track de los event IDs ya procesados. Event Grid’s at-least-once guarantee significa que los consumidores pueden recibir el mismo evento más de una vez
  • Procesar (o hacer ack) rápidamente: si tu proceso de inferencia tarda +30s devuelve un 202 (Accepted) inmediatamente y procesa el evento asíncronamente

Output batching (high-throughput workloads)

Usamos batches para sistemas que generan o procesan un gran volumen de requests. Se configura batching en el event subscription con 2 params:

  • Maximum events per batch: 1-5000
  • Preferred batch size (kbs): 1-1024. Un evento que se pase de este tamaño se entrega en su propio batch

IMPORTANTE

Batching usa all-or-none delivery. El handler devuelve un success code para el batch entero. Si algún evento del batch falla, todos se reprocesan. Esto significa que tienes que diseñar el sistema para procesar eventos en batches o rechazar todos.

/IMPORTANTE

Monitor delivery outcomes

Event Grid publica metrics a través de Azure Monitor para tener visibilidad del estado del sistema.

  • Delivery success count
  • Delivery failure count
  • Matched events: eventos que hacen match de al menos un subscription filter
  • Dropped events: eventos que hacen match de una subscripcion pero se pasan de retry limits, sin dead-lettering
  • Dead-lettered events: eventos enviados a dead-letter destination después de un número exhaustivo de retries