Tune vector indexes for embedding workloads (CosmosDB)

Las AI apps que almacenan embeddings usan vector indexes para ejecutar búsquedas por similitud eficientes. Elegir el tipo correcto de vector index según tu workload afecta a la latencia, accuracy y RU/s consumidos.

Vector indexes in the indexing policy

Los vector indexes trabajan y residen junto a los range, composite y spatial indexes, dentro de la misma indexing policy.

Mientras que los otros tipos de indexes soportan filtering y sorting, los vector index aceleran las queries de similitud.

Antes de añadir un vector index hay que definir la vector policy para el contenedor que especifica las embedding properties.

ejemplo completo de indexing policy

este ejemplo muestra detalles importantes: el embedding path se tiene que excluir en excludedPaths para prevenir range indexing del embedding array. El vectorIndexes define un diskAnn index para los embeddings. Tenemos range y composite indexes que soportan metadata filters que podemos usar junto al vector search

{
  "indexingMode": "consistent",
  "automatic": true,
  "includedPaths": [
    { "path": "/category/?" },
    { "path": "/createdDate/?" },
    { "path": "/documentType/?" }
  ],
  "excludedPaths": [
    { "path": "/*" },
    { "path": "/embedding/*" }
  ],
  "compositeIndexes": [
    [
      { "path": "/category", "order": "ascending" },
      { "path": "/createdDate", "order": "descending" }
    ]
  ],
  "vectorIndexes": [
    { "path": "/embedding", "type": "diskANN" }
  ]
}

Select appropiate vector index type

CosmosDB ofrece 3 tipos de vector index.

Flat index - small datasets

Hace brute-force k-nearest neighbour search, comparando el query vector contra cada indexed vector. Da 100% accuracy porque evalua contra todos los vectores SIN aproximacion

Cuando usar flat index:

  • datasets pequeños con un vector count por partición física modesto
  • escenarios donde los query filters reducen significativamente el espacio de busqueda antes de la comparacion vectorial
  • apps que requieren una accuracy garantizada donde aproximar resultados no es aceptable

Limitaciones:

  • Max 505 dimensiones por vector
  • Latencia y consumo de RU/s más alto para large datasets porque se compara cada vector

Ejemplo: Los usuarios siempre filtran por categoría y cada categoría tiene unos pocos de cientos de documentos

QuantizedFlat index - medium datasets

Comprime vectores usando quantization antes de guardarlos en el índice. Reduce storage requirements y mejora query throughput al coste de un accuracy algo reducido

Cuando usar quantizedFlat:

  • datasets medianos con 1k - 50k vectores por particion fisica
  • apps donde es aceptable cambiar algo de accuracy por una mejor performance
  • escenarios donde combinamos metadata filters con vector search para reducir el set de candidatos

Características:

  • Soporta hasta 4096 dimensiones
  • Hace brute-force search sobre quantized vectors
  • Menor latencia y consumo de RU/s que flat index con resultados comparables de accuracy
  • Requiere minimo 1000 vectores antes de que el indice sea efectivo

Ofrece un balance de accuracy contra performance. Por lo general devuelve los mismos resultados que el flat index, pero ocasionalmente la quantization puede causar diferencias menores

DiskANN - large datasets

Aproxima al nearest neighbour mediante algoritmos de Microsoft. Crea estructuras de datos especializadas que permiten una fast vector search sin tener que comparar contra cada vector.

Cuando usar DiskAnn:

  • datasets grandes con >50k vectores por particion fisica
  • apps que requieren la menor latencia posible
  • workloads donde la eficiencia de RU/s es critica

Características:

  • Soporta hasta 4096 dimensiones
  • Tiene la menor latencia y RU/s cost
  • Mantiene una high accuracy
  • Requiere de al menos 1000 vectores antes de que el indice sea efectivo

Se recomienda para PROD AI apps con colecciones grandes de embeddings

Plan for vector policy immutability

Las vector policies no se pueden modificar después de la creación de un contenedor. Si queremos cambiarlas después, tenemos que crear un contenedor nuevo y migrar los datos.