Optimize data structures for vector storage (Redis)

Hash storage es más rápido y usa menos memoria porque los vectores se guardan como compact binary blobs.

Usar Hash cuando:

  • Tienes datos flat y simples, sin nested objects
  • necesitas maxima query performance
  • priorizas memory efficiency
  • tu modelo de datos no necesita objetos nesteados

JSON storage añade overhead debido al array structure, pero ofrece más flexibilidad.

Usar JSON cuando:

  • tus datos necesitan estructuras nested
  • necesitas almacenar múltiples vectores por item
  • tu aplicación ya usa JSON
  • la flexibilidad es más importante que la raw performance

Using Redis Hash for vectors

IMPORTANTE

Redis Hash es una data structure que guarda la información como pares clave-valor en una single key (ej: product:12345), similar a un diccionario. Cuando usas Hash para vector storage, tus embeddings se convierten en un campo (guardados como binary bytes) junto a otros datos. Hash es muy buena en performance y memory eficiente. Ofrece las queries más rápidas y el menor consumo de memoria.

/IMPORTANTE

Storing vectors in hash

# Code fragment - focus on Hash storage
import numpy as np

embedding = np.array([0.1, 0.2, 0.3, ...], dtype=np.float32)

redis_client.hset(
    "product:12345",
    mapping={
        "name": "Wireless Mouse",
        "price": "29.99",
        "category": "electronics",
        "embedding": embedding.tobytes()  # Store vector as bytes
    }
)

Creating an index for Hash-based vectors

# Code fragment - focus on Hash index
from redis.commands.search.field import TextField, NumericField, VectorField
from redis.commands.search.indexDefinition import IndexDefinition, IndexType

schema = (
    TextField("name"),
    NumericField("price"),
    TextField("category"),
    VectorField("embedding", "HNSW", {
        "TYPE": "FLOAT32",
        "DIM": 1536,
        "DISTANCE_METRIC": "COSINE"
    })
)

redis_client.ft("idx:products").create_index(
    fields=schema,
    definition=IndexDefinition(
        prefix=["product:"],
        index_type=IndexType.HASH
    )
)

Using Redis JSON for vectors

IMPORTANTE

Redis JSON guarda los datos como JSON documents, permitiendo guardar información jerárquica con nested objects y arrays.

A diferencia de Hash que está flatted, JSON te permite estructurar datos complejos de forma natural. Esta flexibilidad viene con un overhead mayor de memoria y query time comparado con Hash.

/IMPORTANTE

Storing vectors in JSON

Al guardar vectors en JSON, conviertes tu NumPy array a Python list usando tolist()

# Code fragment - focus on JSON storage
import redis.commands.json as json_commands

document = {
    "name": "Wireless Mouse",
    "price": 29.99,
    "category": "electronics",
    "embedding": embedding.tolist(),  # Convert to list for JSON
    "specs": {
        "color": "black",
        "wireless": True,
        "battery": "AA"
    }
}

redis_client.json().set("product:12345", "$", document)

Creating an index for JSON-based vectors

hay una diferencia con $. para los field names y as_name param para query references

# Code fragment - focus on JSON index
from redis.commands.search.field import TextField, NumericField, VectorField
from redis.commands.search.indexDefinition import IndexDefinition, IndexType

schema = (
    TextField("$.name", as_name="name"),
    NumericField("$.price", as_name="price"),
    TextField("$.category", as_name="category"),
    VectorField("$.embedding", "HNSW", {
        "TYPE": "FLOAT32",
        "DIM": 1536,
        "DISTANCE_METRIC": "COSINE"
    }, as_name="embedding")
)

redis_client.ft("idx:products").create_index(
    fields=schema,
    definition=IndexDefinition(
        prefix=["product:"],
        index_type=IndexType.JSON
    )
)