Una AI apps puede ejecutar en una misma query una búsqueda semántica y filtrar por metadatos. Estas queries requieren configuraciones específicas de índices para ser eficientes. Si se hace mal puede aumentar drásticamente la latencia y el consumo de RU al tener que escanear múltiples contenedores.
Design range indexes for filter ops
Range indexes soportan los filtros más comunes para AI apps. Queries que filtran documentos por type, status, categoria o rangos de fechas usan range indexes para no tener que escanear el contenedor entero.
query que usa range indexes para filtrar por tipo y fecha
SELECT * FROM c
WHERE c.documentType = 'pdf'
AND c.uploadDate > '2024-01-01'
Si ambos documentType y uploadDate tienes range indexes, CosmosDB usa los indices para encontrar documentos de manera eficiente. Sin índices la query hace un scan de la partición entera, consumiendo RU/s proporcional al tamaño y el result size
Configure composite indexes for multi-property sorting
Usamos composite indexes para queries que ordenan los resultados por múltiples propiedades. El composite index tiene que hacer match exacto de la secuencia de propiedades y la sort direction dentro del ORDER BY
añadimos los composite indexes
{
"compositeIndexes": [
[
{ "path": "/relevanceScore", "order": "descending" },
{ "path": "/uploadDate", "order": "descending" }
]
]
}
query que hace sort usando el índice creado
SELECT * FROM c
ORDER BY c.relevanceScore DESC, c.uploadDate DESC
IMPORTANTE
Un composite index que se declara con ambos DESC también soporta que ambos sean ASC. Lo que no soporta son orders mixtos como uno con DESC y otro con ASC. Esto requiere de otro indice
/IMPORTANTE
Optimize queries with both filters and ORDER BY
Muchas queries filtran por una propiedad y ordenan por otra. Estas queries se pueden optimizar incluyendo la propiedad filtrada dentro del ORDER BY
añadimos un composite index
{
"compositeIndexes": [
[
{ "path": "/documentType", "order": "ascending" },
{ "path": "/uploadDate", "order": "descending" }
],
[
{ "path": "/category", "order": "ascending" },
{ "path": "/relevanceScore", "order": "descending" }
]
]
}
query que NO usa el índice
SELECT * FROM c
WHERE c.documentType = 'pdf'
ORDER BY c.uploadDate DESC
si añadimos la propiedad documentType al ORDER BY, permitimos que use el composite index
SELECT * FROM c
WHERE c.documentType = 'pdf'
ORDER BY c.documentType, c.uploadDate DESC
Use composite indexes for multi-property filters
IMPORTANTE
queries que filtran por múltiples propiedades se pueden beneficiar de composite indexes. Al diseñar composite indexes con filtros, los equality filters = tienen que ir primero en la definición. Cada composite index soporta COMO MUCHO un range filter, que tiene que ser el último en el índice.
/IMPORTANTE
añadimos el composite index
{
"compositeIndexes": [
[
{ "path": "/category", "order": "ascending" },
{ "path": "/department", "order": "ascending" },
{ "path": "/createdDate", "order": "ascending" }
]
]
}
query que usa el composite index
SELECT * FROM c
WHERE c.category = 'reports'
AND c.department = 'finance'
AND c.createdDate > '2024-06-01'
Si una query necesita multiples range filters, entonces necesitas multiples composite indexes, porque cada uno solo soporta un range filter
Tuples indexes for array element filtering
Usamos los tuple indexes para mejorar la eficiencia de las queries cuando filtramos por múltiples propiedades que están dentro de arrays.
Ejemplo: tenemos un documento que guarda text chunks con información de la posición
{
"id": "doc-123",
"title": "Annual Report 2024",
"chunks": [
{ "position": 0, "text": "Executive summary...", "tokens": 150 },
{ "position": 1, "text": "Financial highlights...", "tokens": 200 },
{ "position": 2, "text": "Market analysis...", "tokens": 180 }
]
}
Un tuple index en el array chunks mejora la eficiencia de la query, indexando las combinaciones de propieades en cada array element
{
"includedPaths": [
{ "path": "/*" },
{ "path": "/chunks/[]/{position, tokens}/?" }
]
}
Tenemos una query que encuentra chunks en posiciones específicas con minimum token count filters
SELECT c.id, chunk.text
FROM c
JOIN chunk IN c.chunks
WHERE chunk.position >= 0
AND chunk.position < 3
AND chunk.tokens > 100
Balance read/write performance
Esto resume muy bien el beneficio y el problema de trabajar con índices. Prestarle mucha atención y aprenderlo de memoria
IMPORTANTE
Cada index aumenta la write latency y el consumo de RU/s porque CosmosDB actualiza los indices de manera sincrona durante las write ops. AI apps con un alto volumen de throughput tienen que balancear el index coverage con la write performance.
Guidelines:
- Include only queries properties: Si una propiedad se guarda pero nunca aparece en filtros de queries o sorting, excluirla del indice
- Analyze query frequency: Crear composite indexes para queries que se ejecutan frecuentemente. Queries que solo ocurren de vez en cuando no justifican el write overhead del indice adicional
- Monitor RU consumption: Comaprar el coste en RU/s antes y después de crear el indice. Si los writes son muy dominantes, es mejor tener pocos indices que realmente se aprovechen
- Use selective indexing: En vez de incluir siempre todas las propiedades con
/*, incluir explicitamente solo las que realmente queramos
/IMPORTANTE
Index transformation behaviour
- Añadir indices: No hacen efecto hasta que se termina de crear y actualizar
- Eliminar indices: Hace efecto inmediato al borrarlo
- Reemplazar indices: Añadir primero el indice nuevo y esperar a que haga efecto. Borrar entonces el viejo. Esto asegura que las queries siempre tengan un indice que las soporte.