Queues vs topics & subscriptions (Service Bus)

La primera decisión de ARQ con Azure Service Bus debe ser si usamos queues o topics + subscriptions.

Queues vs Topics

IMPORTANTE

Usamos queues cuando:

  • un único consumer necesita actuar en cada mensaje: Una pipe de doc extraction recibe un prompt, ejecuta un modelo, devuelve resultados
  • we want competing consumers for horizontal scaling: multiples consumers hacen pull de la misma queue. Service Bus asegura que cada mensaje solo es entregado a un único worker
  • no hay otros servicios que necesiten el mismo mensaje: el mensaje representa una task que se da por completado cuando un consumer lo ha procesado

Usamos topics + subscriptions cuando:

  • multiples servicios independientes reaccionan al mismo mensaje: una inferencia completa hace trigger de notificaciones, audit logs, dashboards y KPIs que se actualizan simultaneamente
  • necesitas content-based routing: Diferentes consumers reciben diferentes subsets de mensajes basándose en propiedades como priority level o document type
  • quieres añadir nuevos consumers sin modificar el producer: podemos crear nuevas subscriptions en cualquier momento sin tener que tocar el código del producer

/IMPORTANTE

Queues (single consumer)

Una queue de Service Bus entrega cada message a un único consumidor. Cuando tienes múltiples consumidores leyendo de la misma cola, Service Bus se asegura que cada mensaje sea procesado por un único consumidor.

Puedes escalar horizontalmente añadiendo más consumidores sin cambiar código. Cada consumidor se conecta de manera independiente a la queue, hace pull de los mensajes y los procesa.

Hay dos modos para controlar el ack:

  • Receive-and-delete mode: Service Bus borra el mensaje de la queue tan pronto como ha sido entregado
  • Peek-lock mode (default): Service Bus bloquea el message por una cantidad de tiempo y espera a que el consumidor explicitamente la complete, la abandone o lo marque como dead. Es el modo recomendado ya que provee at-least-once delivery. Si un consumer se crashea durante el procesado, el lock expira y el Service Bus lo vuelve a mandar a otro consumer

Las queues usan FIFO y se pueden usar para multi-step pipelines donde todos los pasos se deben ejecutar en orden

Topics + subscriptions (multiple consumers independientes)

Un Service Bus topic acepta mensajes de producers y distribuye copias a cada consumer subscrito. Cada subscripcion actua como una cola virtual independiente con sus propios consumidores.

Esté patrón se usa para escenarios donde múltiples servicios necesitan reaccionar al mismo evento de manera independiente. Ejemplo: terminamos el análisis de un documento y necesitamos notificar una alerta al usuario, un log para la BBDD para poder auditar, un aviso para el sistema de KPIs, etc. Cada subscripción procesa la copia del mensaje de manera independiente, por lo que un fallo en un sistema no afecta al resto.

Los Topics desacoplan los producers de los consumers. El producer publica mensajes a un topic sin saber cuantas subscripciones existen o lo que cada consumer hace con los mensajes. Puedes añadir nuevas subscripciones sin modificar código. Es muy util para comenzar con las necesidades y requisitos actuales y añadir nuevos servicios a medida que los necesitas sin modificar el código del resto.

Filter messages with subscription rules

Las subscriptions soportan filter rules que seleccionan messages según basándose en propiedades, permitiendo enrutar mensajes selectivamente sin escribir esa lógica en cada consumer.

IMPORTANTE

Service Bus evalúa filter rules al broken level, por lo que los mensajes que no hagan match con los filtros de una subscripción nunca se entregan a la subscripción de ese consumer.

Hay 3 tipos de filtros

  • Boolean filters: TrueFilter (default) acepta todos los mensajes; FalseFilter rechaza todos los mensajes
  • SQL filters: usa SQL-like expressions para evaluar contra app y system properties del mensaje
  • Correlation filters: matchean contra specific property values. Son más eficientes que los filtros SQL para exact-match scenarios

Se puede hacer tag de messages con app properties como model_name, priority o document_type y cada subscripción recibe solo mensajes que hacen match de ese filtro.

/IMPORTANTE

Ejemplo: filtramos por priority=high para enrutar peticiones urgentes a una VM con capacidad de GPU reservada.

# Code fragment - focus on creating a subscription rule with the management client
from azure.servicebus.management import ServiceBusAdministrationClient, SqlRuleFilter

admin_client = ServiceBusAdministrationClient(
    fully_qualified_namespace="<namespace>.servicebus.windows.net",
    credential=credential
)

admin_client.create_rule(
    topic_name="inference-results",
    subscription_name="high-priority",
    rule_name="filter-high-priority",
    filter=SqlRuleFilter("priority = 'high'")
)

Send messages with queue/topic senders

El SDK azure-servicebus usa el mismo ServiceBusClient para ambos queues y topics.

  • get_queue_sender() envía a una queue
  • get_queue_receiver() queue el consumer

  • get_topic_sender() publica en un topic
  • get_subscription_receiver() subscribe el consumer

En el receiving side, un subscription consumer se conecta a una subscripción específica en un topic. Cada subscripcion mantiene su propia copia de los mensajes, por lo que consumir de una subscripcion no afecta a la disponibilidad de mensajes de otras subscripciones.

ServiceBusClient se usa junto a with statements para asegurar que las conexiones se cierran. Es lo mismo que llamar manualmente a client.close()

# Code fragment - focus on sending to a queue versus a topic
from azure.servicebus import ServiceBusClient, ServiceBusMessage
from azure.identity import DefaultAzureCredential

credential = DefaultAzureCredential()

with ServiceBusClient(
    fully_qualified_namespace="<namespace>.servicebus.windows.net",
    credential=credential
) as client:
    # Send to a queue (point-to-point)
    with client.get_queue_sender("inference-requests") as queue_sender:
        queue_sender.send_messages(
            ServiceBusMessage("queue message body")
        )

    # Send to a topic (publish-subscribe)
    with client.get_topic_sender("inference-results") as topic_sender:
        topic_sender.send_messages(
            ServiceBusMessage("topic message body")
        )
# Code fragment - focus on receiving from a subscription
with client.get_subscription_receiver(
    topic_name="inference-results",
    subscription_name="notifications"
) as receiver:
    for msg in receiver:
        print(str(msg))
        receiver.complete_message(msg)