Las AI apps que almacenan embeddings usan vector indexes para ejecutar búsquedas por similitud eficientes. Elegir el tipo correcto de vector index según tu workload afecta a la latencia, accuracy y RU/s consumidos.
Vector indexes in the indexing policy
Los vector indexes trabajan y residen junto a los range, composite y spatial indexes, dentro de la misma indexing policy.
Mientras que los otros tipos de indexes soportan filtering y sorting, los vector index aceleran las queries de similitud.
Antes de añadir un vector index hay que definir la vector policy para el contenedor que especifica las embedding properties.
ejemplo completo de indexing policy
este ejemplo muestra detalles importantes: el embedding path se tiene que excluir en
excludedPathspara prevenir range indexing del embedding array. ElvectorIndexesdefine undiskAnnindex para los embeddings. Tenemos range y composite indexes que soportan metadata filters que podemos usar junto al vector search
{
"indexingMode": "consistent",
"automatic": true,
"includedPaths": [
{ "path": "/category/?" },
{ "path": "/createdDate/?" },
{ "path": "/documentType/?" }
],
"excludedPaths": [
{ "path": "/*" },
{ "path": "/embedding/*" }
],
"compositeIndexes": [
[
{ "path": "/category", "order": "ascending" },
{ "path": "/createdDate", "order": "descending" }
]
],
"vectorIndexes": [
{ "path": "/embedding", "type": "diskANN" }
]
}
Select appropiate vector index type
CosmosDB ofrece 3 tipos de vector index.
Flat index - small datasets
Hace brute-force k-nearest neighbour search, comparando el query vector contra cada indexed vector. Da 100% accuracy porque evalua contra todos los vectores SIN aproximacion
Cuando usar flat index:
- datasets pequeños con un vector count por partición física modesto
- escenarios donde los query filters reducen significativamente el espacio de busqueda antes de la comparacion vectorial
- apps que requieren una accuracy garantizada donde aproximar resultados no es aceptable
Limitaciones:
- Max 505 dimensiones por vector
- Latencia y consumo de RU/s más alto para large datasets porque se compara cada vector
Ejemplo: Los usuarios siempre filtran por categoría y cada categoría tiene unos pocos de cientos de documentos
QuantizedFlat index - medium datasets
Comprime vectores usando quantization antes de guardarlos en el índice. Reduce storage requirements y mejora query throughput al coste de un accuracy algo reducido
Cuando usar quantizedFlat:
- datasets medianos con 1k - 50k vectores por particion fisica
- apps donde es aceptable cambiar algo de accuracy por una mejor performance
- escenarios donde combinamos metadata filters con vector search para reducir el set de candidatos
Características:
- Soporta hasta 4096 dimensiones
- Hace brute-force search sobre quantized vectors
- Menor latencia y consumo de RU/s que flat index con resultados comparables de accuracy
- Requiere minimo 1000 vectores antes de que el indice sea efectivo
Ofrece un balance de accuracy contra performance. Por lo general devuelve los mismos resultados que el flat index, pero ocasionalmente la quantization puede causar diferencias menores
DiskANN - large datasets
Aproxima al nearest neighbour mediante algoritmos de Microsoft. Crea estructuras de datos especializadas que permiten una fast vector search sin tener que comparar contra cada vector.
Cuando usar DiskAnn:
- datasets grandes con >50k vectores por particion fisica
- apps que requieren la menor latencia posible
- workloads donde la eficiencia de RU/s es critica
Características:
- Soporta hasta 4096 dimensiones
- Tiene la menor latencia y RU/s cost
- Mantiene una high accuracy
- Requiere de al menos 1000 vectores antes de que el indice sea efectivo
Se recomienda para PROD AI apps con colecciones grandes de embeddings
Plan for vector policy immutability
Las vector policies no se pueden modificar después de la creación de un contenedor. Si queremos cambiarlas después, tenemos que crear un contenedor nuevo y migrar los datos.