RAG multi-tenant con búsqueda híbrida y harness de evaluación

La mayoría de productos SaaS que agregan una función de 'chatea con tus documentos' enfrentan los mismos dos riesgos: que el contenido de un cliente aparezca en las respuestas de otro, y que la calidad del retrieval se degrade en silencio cuando alguien ajusta el chunking o los prompts. Este diseño trata ambos como problemas de ingeniería con garantías duras, en vez de cosas que se revisan a mano.

• El filtrado por tenant hecho en código de aplicación está a un WHERE olvidado de una fuga de datos.
• La búsqueda puramente vectorial pierde términos exactos — códigos de producto, mensajes de error, nombres — que la búsqueda por keywords encuentra trivialmente.
• Sin una evaluación repetible, cada cambio en chunking, embeddings o prompts es una apuesta.

Los documentos se parsean, se dividen según la estructura de encabezados y se guardan en una sola tabla de PostgreSQL con una columna de embedding pgvector y una columna tsvector. Cada fila lleva un ID de tenant, y una política de Row Level Security restringe todas las lecturas y escrituras al tenant fijado en la sesión actual de base de datos — la API lo fija una vez por request, así ninguna consulta puede alcanzar filas de otro tenant. Al consultar, la pregunta pasa por dos retrievers en paralelo: búsqueda full-text y similitud vectorial. Sus rankings se combinan con reciprocal rank fusion y los mejores candidatos pasan por un reranker antes de que el LLM componga una respuesta con citas a los chunks de origen. Un harness de evaluación aparte mantiene un set dorado de preguntas con sus pasajes esperados; reporta recall@k y fidelidad de la respuesta, y corre en CI para que un cambio que baje cualquiera de las dos métricas rompa el pipeline.

Lo primero que pondría bajo presión es el índice compartido: RLS filtra después de que el índice vectorial devuelve candidatos, así que un tenant pequeño dentro de una tabla grande puede recibir menos resultados de los pedidos. El siguiente paso es medirlo sobre un dataset desbalanceado y comparar índices parciales por tenant contra particionado.