Azure Service Bus es un broker managed que provee de queuing y pub/sub para apps distribuidas. Sirve de capa de conexión media entre productores y consumidores. Por debajo usa AMQP (Advanced Message Queuing Protocol). Soporta ordering y detecta duplicados.
Tiene dos tipos de funcionamiento:
- queues (point-to-point delivery)
- topics + subscriptions (pub/sub o broadcast)
Cada service bus reside dentro de un namespace que sirve como contenedor y provee de allocation capacity. Puedes crear múltiples queues y topics dentro de un mismo namespace, y cada namespace tiene su propio endpoint en la forma <namespace-name>.servicebus.windows.net.
Para autenticar usa SAS (Shared Access Signatures) o Entra ID.
Why to use messaging
Las AI inference ops tienen una latencia no predecible, lo cual no está hecho para sync requests. Un documento simple puede tardar 2s y uno complejo 5m.
Messaging provee de un desacoplamiento entre producer y consumer. El producer envía un message al Service Bus queue y devuelve directamente un acknowledgment (ack) al cliente.
El consumer hace retrieve de los mensajes de la queue a su propio ritmo.
Este desacoplamiento permite escalar horizontalmente de manera independiente.
Core messaging patterns
Load leveling
El load leveling pattern usa una queue para absorber burst de requests, permitiendo a los consumidores que procesen a un ritmo estable.
Durante un pico de tráfico los mensajes se acumulan en la cola en vez de poner estrés a los consumers. Simplemente trabajan en el backlog independientemente del tamaño de este.
Competing consumers
El competing consumers pattern pone varios consumers como recibidores de una misma queue. El Service Bus entrega cada mensaje a un solo consumidor, por lo que los consumers leen de la misma cola sin procesar duplicar trabajo.
Cada consumer procesa a su propio maximum rate y podemos añadir más consumidores para incrementar el throughput sin ahcer cambios de código.
Si un consumer se crashea, como no ha hecho ack de la task, esta se pone como disponible para otros workers.
Temporal decoupling
El temporal decoupling pattern significa que los productores y los consumidores no tienen que estar online de manera simultánea. Un producer puede encolar requests con todos los consumers offline (por mantenimiento, deployment, etc).
Los mensajes se persisten en la cola hasta que los consumers vuelven y los procesan.
Esto se usa para critical AI platforms.
Manage backpressure with queue depth monitoring
Si la queue incrementa demasiado los mensajes se acumulan. En vez de tratar esto como un problema, podemos usarlo como nuestro trigger que nos indique cuando tenemos que escalar consumers.
Azure Monitor provee de métricas para revisar active message count para cada queue, y puedes activar alertas cuando superen un umbral custom
Azure Container Apps y Azure Functions soportan KEDA-based scalers que automáticamente añaden processing instances basandose en el Service Bus queue length
Service Bus Tiers
Standard Tier
Soporta queues, topics y subscriptions con recursos compartidos con otros tenants. Mensajes hasta 256 KB y variable throughput basado en la carga. Versión cost-effective.
Premium Tier
Ofrece recursos dedicados, por lo que tu workload no comparte con otros tenants. Soporta mensajes hasta 100 MB al usar AMQP (1 MB para HTTP). Ofrece latencia predecible y VNET integration / private endpoints. También ofrece availability zones.