Los indices vectoriales permiten busquedas rapidas de similaridad organizando vectores en data structures que evitan la necesidad de comparar vector a vector con cada query.
Vector index fundamentals (NN vs ANN)
Sin un índice, las búsquedas necesitan un scan secuencial que compare vector a vector. Estos scans secuenciales calculan el nearest neighbour (NN), garantizando un true closest vector a costa de performance y query time que escala linearmente con el tamaño de la tabla.
En vez de NN search, podemos hacer indices de approximate nearest neighbour (ANN) lo cual cambia esa perfect accuracy por queries dramáticamente más rápidas. ANN usa data structures para encontrar vectores que son probablemente (pero no garantizado) de los más próximos. Con ANN el query time crece logarítmicamente o sublinear con el tamaño de la tabla.
La precisión de ANN se mide como recall. Si pides los 10 resultados más próximos y te entrega 8, se dice que tiene un recall de un 80%. Para AI apps un 95-99% es aceptable.
cuando es necesario implementar índices
| Table size | Index benefit |
|---|---|
| <10.000 rows | limitado; secuential scans pueden ser suficientemente rápidos |
| 10.000 - 100.000 | moderado; los índices reducen la latencia bastante |
| 100.000 - 1.000.000 | significante; se requieren índices para uso interactivo |
| > 1.000.000 | obligatorio; sin índices las queries son realmente lentas |
IVFFlat (Inverted File Flat) index
Los IVFFlat index particionan vectores en clusters y entonces buscan solo los clusters relevantes para una query. Este approach reduce el search space, manteniendo una precisión razonable.
Durante la index creation, pgvector clusteriza tus vectores en un número especifico de listas, donde cada lista contiene vectores que son similares entre ellos. Al hacer una query, pgvector identifica las listas cuyos centroids son más próximos al query vector, y entonces calcula la distancia solo con los vectores de esas listas. Si tu query calcula distancia sobre 10 listas, habiendo un total de 1000, has reducido efectivamente el search space en un 99%.
Estos índices ofrecen fast build times, lower memory usage y runtime tunability, PERO requieren training data. Con pocos datos no funcionan, tienen un lower recall ceilling y necesitan hacer rebuilding cuando los datos cambian significativamente.
IMPORTANTE
Al crear el índice especificamos el numero de listas y el operador a usar. Hay que usar un operador de distancia en las queries que haga match con el puesto en el índice.
| caso | clase | operador |
|---|---|---|
| cosine distance | vector_cosine_ops | <=> |
| euclidean distance | vector_l2_ops | <-> |
| negative inner product | vector_ip_ops | <#> |
/IMPORTANTE
-- Create IVFFlat index for cosine distance
CREATE INDEX ON products
USING ivfflat (embedding vector_cosine_ops)
WITH (lists = 1000);
| numero de productos | numero de listas a crear |
|---|---|
| <100.000 rows | 100 |
| 100.000 - 1.000.000 | 1.000 |
| 1.000.000 - 10.000.000 | 4.000 - 10.000 |
El param ivfflat.probes controla cuantas listas se buscan por query. Valores más altos pueden mejorar el recall pero también incrementar el query time.
HNSW (Hierarchical Navigable Small World) index
Los HNSW index organizan vectores en una multi-layer graph structure que permite una navegación eficiente desde cualquier starting point al NN.
HNSW construye un grafo donde cada vector es un nodo conectado a su NN. El grafo tiene multiples capas, donde las capas mas altas contienen menos nodos y sirven como express lanes para navegar. Cuando haces una query, HNSW comienza con un punto fijo de entrada en la top layer, se mueve hacia el query vector usando las capas superiores y luego refina los resultados con las capas más densas.
Estos índices ofrecen un higher recall rate (+99%), no training dependency y performance consistente, PERO requieren más uso de memoria, longer build times y fixed parameters (cambiar m o ef_construction requiere reconstruir el índice).
Al crear un HNSW index especificamos:
- el número de conexiones que cada nodo mantiene con otros nodos
m. Valores más altos crean un grafo más denso con mejor recall pero más consumo de memoria y longer build times. - el construction search width
ef_constructioncontrola la search width durante la construccion del indice. Valores más altos resultan en un indice de mejor calidad, pero aumentan el build time. Este param solo afecta al build time y calidad del grafo resultante.
Aplican las mismas reglas de operadores que para IVFFlat:
| caso | clase | operador |
|---|---|---|
| cosine distance | vector_cosine_ops | <=> |
| euclidean distance | vector_l2_ops | <-> |
| negative inner product | vector_ip_ops | <#> |
-- Create HNSW index for cosine distance
CREATE INDEX ON products
USING hnsw (embedding vector_cosine_ops)
WITH (m = 16, ef_construction = 64);
El param hnsw.ef_search controla el search width en query time (similar a probes para IVFFlat). Este valor debería ser por lo menos tan grande como el número de resultados de tus queries (LIMIT clause)
Choose an index type
IVFFlat
Requisitos
- memory budget limitado
- build time tolerance low
- 90-95% recall es aceptable
- data update frequency incluye frequent bulk updates
Ejemplo de IVFFlat: app con large catalogs con updates frecuentes donde añadimos o hacemos update de muchos productos en batch, o si tenemos una memoria limitada.
HNSW
Requisitos
- tenemos mucha memoria
- podemos tolerar longer build times
- necesitamos 99% recall
- el workload son mayormente reads con pocos updates
Ejemplo de HNSW: recommendation engine. Necesitamos high recall para que los usuarios vean todos los productos y sub-10ms query latency para mucho concurrencia.
Create and maintain indexes
Index building bloquea la tabla a writes, por defecto. Para PROD usar CONCURRENTLY para permitir writes durante index building. Tomará más tiempo y requiere más recursos, pero evita downtime.
-- Build index without blocking writes
CREATE INDEX CONCURRENTLY idx_products_embedding
ON products USING hnsw (embedding vector_cosine_ops)
WITH (m = 16, ef_construction = 64);
Los indices se degradan con el tiempo por lo que hay que monitorizar síntomas como la latencia regularmente y estar atento a cuando haga falta reconstruirlos.
REINDEX INDEX CONCURRENTLY idx_products_embedding