Una vez tienes un container con documentos, los cuales contienen embeddings, ya podemos ejecutar queries por similitud vectorial para encontrar contenido semánticamente relacionado. Esto se hace mediante la función VectorDistance
Función VectorDistance
La función VectorDistance es el core de la búsqueda vectorial en CosmosDB. Calcula la similitud entre los embeddings de un documento y el vector de una query.
VectorDistance(c.embedding, [0.1, -0.2, 0.3, ...])
params
- vector_1: document’s embedding path
- vector_2: query vector
- bool: brute-force search?
Basic vector search queries
IMPORTANTE
Una vector search query obtiene documentos ordenados por si similitud. INCLUIR SIEMPRE TOP N. Sin él devolvería todos los documentos, cobrando por ello.
/IMPORTANTE
SELECT TOP 10
c.id,
c.title,
c.category,
VectorDistance(c.embedding, @queryVector) AS SimilarityScore
FROM c
ORDER BY VectorDistance(c.embedding, @queryVector)
Generar query vectors para search
Para poder ejecutar una búsqueda vectorial hay que convertir la query del usuario a embeddings, usando el mismo modelo con el que hemos generado los embeddings del documento.
from openai import AzureOpenAI
# User's search query
query_text = "How do I fix WiFi connection problems?"
# Generate query embedding using the same model as documents
openai_client = AzureOpenAI(
api_key=api_key,
api_version="2024-02-01",
azure_endpoint=endpoint
)
response = openai_client.embeddings.create(
input=query_text,
model="text-embedding-ada-002"
)
query_embedding = response.data[0].embedding
# Execute vector search
query = """
SELECT TOP 10
c.id,
c.title,
c.category,
VectorDistance(c.embedding, @queryVector) AS SimilarityScore
FROM c
ORDER BY VectorDistance(c.embedding, @queryVector)
"""
results = container.query_items(
query=query,
parameters=[{"name": "@queryVector", "value": query_embedding}],
enable_cross_partition_query=True
)
for item in results:
print(f"{item['title']} - Score: {item['SimilarityScore']:.4f}")
Usar queries parametrizadas
Lo ideal es usar queries parametrizadas para pasar los embeddings mediante @queryVector
- Esto hace hit con la cache
- evita problemas con long query strings
parameters = [
{"name": "@queryVector", "value": query_embedding}
]
results = container.query_items(
query=query,
parameters=parameters,
enable_cross_partition_query=True
)
Interpretar similarity scores
La score depende de la distance function que haya configurado. Para cosine similarity:
- +1.0: vectores idénticos
- 0.7-0.9: contenidos MUY similares
- 0.5-0.7: contenidos moderadamente similares
- 0.1-0.5: contenidos poco similares
- 0 o negativo: contenidos completamente diferentes
Para AI apps debemos filtrar contenido para quitar low-quality matches. Un límite mínimo de 0.7 filtra contenido altamente relevante, mientras que con 0.5 obtenemos contenido moderadamente relevante.
filtrar solo resultados >= 0.7
SELECT TOP 10
c.id,
c.title,
VectorDistance(c.embedding, @queryVector) AS SimilarityScore
FROM c
WHERE VectorDistance(c.embedding, @queryVector) > 0.7
ORDER BY VectorDistance(c.embedding, @queryVector)
Control result count for different scenarios
El TOP N determina cuantos resultados devuelve la query. El valor óptimo depende según la app:
- RAG applications: 5-10 resultados para obtener contexto relevante
- User-facing search: 10-20 resultados siempre con paginación. Si un user no encuentra lo que quiere puede paginar más
- Recommendation systems: 3-5 contenidos similares altamente relevantes
Compare indexed and brute-force search
Por defecto las queries vectoriales usan el vector index configurado para beneficiarse de la velocidad. Las búsquedas mediante indexes pierden un poco de accuracy para obtener mejoras de performance. Si queremos revertir esto para una query podemos volver a una búsqueda de fuerza bruta pasando true como el tercer parámetro de VectorDistance
SELECT TOP 5
c.title,
VectorDistance(c.embedding, @queryVector, true) AS SimilarityScore
FROM c
ORDER BY VectorDistance(c.embedding, @queryVector, true)
Usarlo muy de vez en cuando ya que:
- Compara la query vectorial contra cada documento del contenedor
- Consume bastante más RUs que una query indexada
- Tiene más latencia, especialmente para large datasets
- Escala muy malamente cuantos más datos tengamos
Reservarlo para evaluation o testing, o cuando trabajamos con datasets pequeños donde nos dé igual la performance y el coste.
Optimize query performance
- Elegir el index type correcto:
diskANNes más potente pero más caro quequantizedFlat - Limitar result count: Usar
TOP N. Pedir 100 resultados si el user solo ve 10 gasta recursos - Usar partition keys: incluir la partition key en las queries si se puede
- Obtener solo campos necesarios: no pedir ampos que no se usan
- Monitorizar RU consumption