Big Data 2025: De la acumulación a agentes IA autónomos que deciden
En 2017, cuando publicamos la primera versión de esta guía, el reto era almacenar y procesar volúmenes crecientes. Hoy, en 2025, el problema se ha invertido: las empresas se ahogan en datos pero no consiguen convertirarlos en decisiones automáticas y rentables. La brecha ya no es tecnológica —Hadoop, Spark y los data lakes están commoditizados— sino arquitectónica y organizativa: ¿cómo orquestar modelos fundacionales, agentes autónomos y bases de conocimiento vectoriales para que el dato impulse acción real sin intervención humana constante?
El problema real 2025-2026: datos sin agencia
Según IDC, el datasphere global alcanzará 181 zetabytes en 2025 (frente a los 64,2 ZB de 2020). Sin embargo, Gartner estima que el 68% de los datos empresariales nunca se analizan y solo el 12% de las organizaciones logran escalar casos de uso de IA generativa a producción. El cuello de botella ya no es el almacenamiento —el coste por TB en S3 o Azure Blob ha caído un 82% desde 2017— sino la capacidad de ejecución autónoma.
Los síntomas que vemos en BAOSS con clientes de banca, retail e industria:
- Pipelines frágiles: ETLs que rompen ante cambios de esquema en fuentes no estructuradas (PDFs, logs, audio, vídeo).
- RAGs naifs: Implementaciones de Retrieval-Augmented Generation sin evaluación automática de calidad, con alucinaciones del 15-25% en producción.
- Agentes sin memoria operativa: Workflows basados en LangGraph o CrewAI que no persisten estado entre ejecuciones ni aprenden de feedback humano (RLHF).
- Governance ausente: Sin trazabilidad de qué dato alimentó qué decisión del agente, inviable para regulaciones como AI Act europeo o DORA financiero.
Arquitectura de referencia 2025: Data + Agent Mesh
La solución no es comprar otra herramienta, sino diseñar un Agent Mesh donde datos, modelos y agentes conviven con contratos explícitos. Esta es la arquitectura que desplegamos en BAOSS para clientes que necesitan pasar de «dashboard» a «decisión autónoma»:
Capa 1: Ingesta multimodal con contratos de esquema
Sustituimos ETLs rígidos por pipelines declarativos con Apache Iceberg + dbt + Great Expectations. Cada fuente (PDFs de contratos, llamadas de contact center, telemetría IoT, emails) se ingiere en object storage particionado por tenant y dominio, con metadatos de linaje automáticos via OpenLineage. Resultado: reducción del 62% en tiempo de onboarding de nuevas fuentes (caso real: aseguradora mediana, 47 fuentes en 3 semanas vs 8 meses anterior).
Capa 2: Knowledge Graph + Vector Store híbrido
No basta con Pinecone o Weaviate. Construimos un grafo de conocimiento (Neo4j / Kuzu) superpuesto a embeddings donde entidades, relaciones y reglas de negocio conviven con búsqueda semántica. Los agentes consultan ambos: vector para similitud, grafo para razonamiento multi-salto y compliance. Métrica: precisión en respuestas complejas sube del 71% al 94% (benchmark interno con 2.300 preguntas de dominio financiero).
Capa 3: Orquestación de agentes con estado y evaluación continua
Usamos LangGraph + LangSmith + MCP (Model Context Protocol) para definir agentes como grafos de estado versionados. Cada nodo es una tool (SQL generator, API caller, code executor, human-in-the-loop). Clave: evaluación automática nocturna con jueces LLM (GPT-4o / Claude 4 Opus) sobre golden sets curados por expertos de negocio. Si la métrica cae, el agente se desactiva y alerta al owner. Despliegue: vLLM + Ollama on-prem para modelos < 70B, APIs gestionadas para frontier models.
Capa 4: Observabilidad y guardrails de decisión
Cada acción del agente deja rastro inmutable (event sourcing en Kafka + ClickHouse). Guardrails duros: políticas OPA (Open Policy Agent) que validan pre/post condiciones antes de ejecutar escrituras en sistemas core (ERP, core bancario, WMS). Auditoría completa para AI Act: trazabilidad dato → embedding → retrieval → prompt → respuesta → acción.
Casos reales BAOSS (anonimizados, métricas auditadas)
Caso 1: Banca retail — Resolución autónoma de reclamaciones
Reto: 12.000 reclamaciones/mes, 68% requerían intervención manual de back-office (media 4,2 días resolución).
Solución: Agente multi-paso (LangGraph) que: (1) clasifica tipología con fine-tuned Llama-3.1-8B, (2) recupera jurisprudencia y política interna via RAG híbrido, (3) calcula propuesta de resolución con motor de reglas Drools, (4) presenta al gestor para validación 1-click o auto-ejecuta si confidence > 0,92 y importe < 3.000€.
Resultados a 6 meses:
- Automatización full: 41% de reclamaciones (vs 12% objetivo inicial)
- Tiempo medio resolución: 1,8 días (-57%)
- ROI: 3,4x (ahorro FTE + mejora NPS 18 pts)
- Cumplimiento AI Act: 100% trazable, cero incidencias regulatorias
Caso 2: Industrial — Mantenimiento predictivo con agentes de diagnóstico
Reto: 2.400 activos monitorizados, 34% falsos positivos en alertas vibracionales, ingenieros saturados triando.
Solución: Enjambre de agentes (CrewAI) especializados: Vibration Analyst (serie temporal + FFT), Oil Analyst (espectrometría), Maintenance Planner (CMMS integration). Comparten memoria vía knowledge graph de activos. Humanos solo validan planes de acción generados.
Resultados a 9 meses:
- Falsos positivos: 34% → 8%
- Tiempo triaje: 45 min → 3 min por alerta
- Disponibilidad activos críticos: +4,2 pp
- Coste inferencia on-prem (vLLM 4xH100): 0,18€/alerta vs 2,3€/alerta API cloud
Caso 3: Retail omnicanal — Agente de pricing dinámico con constraints
Reto: 180.000 SKUs, 12 países, reglas comerciales contradictorias, pricing manual semanal.
Solución: Agente planner (GPT-4o) que propone precios diarios optimizando margen + rotación + reglas legales (Omnibus EU) + cannibalización. Ejecuta simulación en digital twin (Python + Ray), valida constraints con OPA, publica en PIM vía API. Humano aprueba batch nocturno.
Resultados a 4 meses:
- Margen bruto: +2,8 pp
- Rotación stock lento: -22%
- Tiempo ciclo pricing: 5 días → 2 horas
- Errores pricing (incumplimiento legal): 0 (guardrails OPA)
Stack técnico 2025-2026: lo que realmente usamos en producción
| Capa | Tecnologías preferidas BAOSS | Por qué |
|---|---|---|
| Ingesta / Streaming | Kafka (Confluent Cloud / Strimzi), Airbyte, Debezium CDC | Esquemas versionados, exactly-once, multi-tenant nativo |
| Storage / Lakehouse | Apache Iceberg (Tabular / Snowflake / Databricks), MinIO on-prem | ACID, time travel, partition evolution, open format |
| Transformación | dbt Core + SQLMesh, Great Expectations, Elementary | Testing, lineage, contracts, CI/CD nativo |
| Vector / Graph | Qdrant / Weaviate (vector), Kuzu / Neo4j (graph), LlamaIndex para orquestación | Híbrido nativo, filtros metadata, multi-tenancy |
| Agentes / Orquestación | LangGraph + LangSmith, CrewAI, AutoGen 0.4, MCP servers | Estado persistente, evaluación, tool calling estandarizado |
| Modelos (Frontier) | GPT-4o, Claude 4 Opus/Sonnet, Gemini 2.0 Flash | Razonamiento complejo, tool use, context window 1M+ |
| Modelos (On-prem / Privados) | Llama-3.1-8B/70B, Qwen2.5-Coder, Nemotron 3 Ultra — servidos con vLLM / Ollama / TGI | Coste controlado, data residency, latencia predecible |
| Evaluación / Guardrails | LangSmith, RAGAS, DeepEval, OPA, Guardrails AI | Métricas automáticas, políticas declarativas, CI/CD gates |
| Observabilidad | OpenTelemetry → Tempo + Loki + Mimir (Grafana Stack), ClickHouse para analytics | Unificado logs/metrics/traces, coste controlado |
| Infra / Despliegue | Kubernetes (EKS/GKE/AKS + K3s edge), ArgoCD, Crossplane, Terraform | GitOps, multi-cloud, self-service platforms |
Errores que siguen matando proyectos en 2025
- Empezar por el modelo, no por la decisión: Comprar GPUs o contratar APIs antes de definir qué decisión empresarial se automatiza y cuál es su valor económico.
- RAG sin evaluación continua: Índices vectoriales estáticos que degradan silenciosamente. Sin golden sets y jueces LLM nocturnos, no hay producción confiable.
- Agentes sin memoria operativa: Stateless chains que repiten errores. La memoria a largo plazo (episódica + semántica + procedimental) es lo que permite mejora continua.
- Ignorar el coste de inferencia a escala: 1M requests/día con GPT-4o = ~180K€/mes. La híbrida cloud/on-prem con vLLM no es opcional, es supervivencia económica.
- Governance como afterthought: AI Act entra en vigor agosto 2026. La trazabilidad dato→decisión debe estar diseñada día 1, no parcheada después.
Hoja de ruta 90 días: de piloto a producción escalable
- Semanas 1-2: Discovery + value mapping. Identificar 3-5 decisiones de alto valor, alta frecuencia, con datos disponibles. Cuantificar baseline (tiempo, coste, error, NPS).
- Semanas 3-4: Arquitectura mínima viable. Definir contratos de dato, esquema Iceberg, grafo de conocimiento inicial, guardrails OPA. Setup infra (K8s, vLLM, observ