Optimize data layout (PostgreSQL)

Vector storage considerations

Las dimensiones de los modelos afectan al espacio que necesitamos para almacenamiento.

Dimensiones 1M vectors size
384 1.5 GB
768 3 GB
1536 6 GB
3072 12 GB

Para un product catalog de 1M de vectores usando 3072 necesitamos 12 GB de almacenamiento solo para vectores. Si además usamos un HNSW index esto se incrementa por un 50%.

IMPORTANTE

A menores dimensiones menos requisitos de almacenamiento y computacion. Un consejo es especificar las dimensiones en la definición de la columna, ya que esto aporta validación. Si intentar insertar vectores de diferentes dimensiones, falla con un error en vez de subtle bug de mismatched embedding models.

Si tenemos items con varias columnas de embeddings (por ejemplo titulo e imagen), cada columna necesita su propio index.

NO SE PUEDE CREAR UN SINGLE INDEX QUE CUBRA VARIAS VECTOR COLUMNS

CREATE TABLE products (
    id BIGSERIAL PRIMARY KEY,
    name TEXT NOT NULL,
    title_embedding vector(768),      -- Text embedding model
    image_embedding vector(512),       -- Image embedding model
    category_id INTEGER,
    price NUMERIC(10,2)
);

-- Create separate indexes for each embedding type
CREATE INDEX ON products USING hnsw (title_embedding vector_cosine_ops);
CREATE INDEX ON products USING hnsw (image_embedding vector_cosine_ops);

/IMPORTANTE

Metadata data types: structured columns vs JSONB

Usa columnas estructuradas (INTEGER, TIMESTAMP, etc.) cuando los atributos sean conocidos en tiempo de diseño, filtres u ordenes frecuentemente por atributos específicos o la query performance sea crítica

CREATE TABLE products (
    id BIGSERIAL PRIMARY KEY,
    name TEXT NOT NULL,
    embedding vector(1536),
    category_id INTEGER NOT NULL,
    price NUMERIC(10,2) NOT NULL,
    in_stock BOOLEAN DEFAULT true,
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    brand TEXT,
    rating NUMERIC(2,1)
);

JSONB guarda datos semi-estructurados como JSON Binario, lo que ofrece flexibilidad y atributos dinámicos. JSONB provee de schema flexibility, easy evolution y nested structure, PERO tiene query overhead, límites para indices y las estadísticas son menos precisas.

JSONB se usa para contenido dinámico o que raramente se filtra u ordena donde valoramos más esa flexibilidad en el schema.

 CREATE TABLE products (
    id BIGSERIAL PRIMARY KEY,
    name TEXT NOT NULL,
    embedding vector(1536),
    -- Structured columns for common filters
    category_id INTEGER NOT NULL,
    price NUMERIC(10,2) NOT NULL,
    in_stock BOOLEAN DEFAULT true,
    -- JSONB for dynamic attributes
    attributes JSONB DEFAULT '{}'
);

Metadata indexes for filtered searches

Los indices de metadatos complementar a los indices vectoriales acelerando la fase de filtrado de queries. Sin un indice apropiado de metadatos, PostgreSQL puede necesitar escanear todas las rows para aplicar filtros antes de la búsqueda vectorial.

Un single-column index se encarga de matches exactos Un composite index gestiona filter combinations. Son los más efectivos pero tienen sus limites.

Un índice (category_id, price) se activará si buscamos por WHERE category_id = 5 y también con WHERE category_id = 5 AND price < 100 pero no se activará con WHERE price < 100

-- Single-column index for exact matches
CREATE INDEX idx_products_category ON products (category_id);

-- Composite index for common filter combinations
CREATE INDEX idx_products_category_price ON products (category_id, price);

Indices parciales

Podemos crear indices parciales. Esto son indices que un tamaño reducido pero que igualmente mejoran la performance para queries filtradas.

Por ejemplo si tenemos una app donde la mayoría de queries se ejecutan con WHERE in_stick = true podemos crear un indice parcial cuyo target sea justo esas qeuries

CREATE INDEX idx_products_instock ON products (category_id) WHERE in_stock = true

Indices JSONB

(se puede, pero no me voy a meter en este cristo para la cert)

Tablas particionadas (large datasets)

Las tablas grandes (recomendado >10.000.000 rows) se pueden particional en tablas más pequeñas y manejables. Para vector workloads particionar puede mejorar la performance y simplificar el mantenimiento.

Cada partición tiene sus propios indices. Si creamos un indice en la tabla padre, automaticamente se crea en todas las particiones.

-- Create partitioned table
CREATE TABLE user_interactions (
    id BIGSERIAL,
    user_id BIGINT NOT NULL,
    embedding vector(768),
    created_at TIMESTAMP NOT NULL,
    interaction_type TEXT
) PARTITION BY RANGE (created_at);

-- Create partitions for each month
CREATE TABLE user_interactions_2025_01
    PARTITION OF user_interactions
    FOR VALUES FROM ('2025-01-01') TO ('2025-02-01');