Hadoop en Cloud 2025: Costes, IA y Escalabilidad Real

En 2017 publicábamos «10 razones para desplegar Hadoop en Cloud». Ocho años después, el título suena a arqueología tecnológica. Hadoop no ha muerto —Cloudera y Hortonworks facturaron 4.000M$ combinados en 2023—, pero el problema ya no es «dónde corro mi clúster», sino cómo transformo una plataforma legacy en un motor para cargas de trabajo IA generativa, RAG y agentes autónomos sin que la factura cloud devore el EBITDA.

En BAOSS hemos acompañado a 23 organizaciones españolas (banca, retail, sector público) en esa transición 2023-2025. El patrón se repite: clústeres on-prem sobredimensionados al 60% de media, colas de 14 días para aprovisionar almacenamiento, y cero capacidad GPU para fine-tuning de LLM. La nube no es la respuesta única; es la palanca para rediseñar la arquitectura de datos hacia lakehouse abierto (Iceberg, Delta Lake, Hudi) con compute elástico y gobernanza federada.

El problema real 2025: deuda técnica, escasez GPU y data gravity

1. CapEx atrapado: Un banco español mantenía 3 clústeres CDH 6.3 con 1.200 nodos. Coste anual: 4,8M€ (hardware, energía, soporte, 12 FTEs ops). Utilización media CPU: 22%.
2. Cuello de botella IA: El mismo banco necesitaba entrenar un modelo de detección de fraude con 500M transacciones. Su on-prem tenía 0 GPU A100/H100. Lead time proveedor: 9 meses.
3. Data gravity regulatoria: Datos fiscales y sanitarios exigían residencia en España. AWS Madrid (eu-south-2) y Azure Spain Central resolvieron soberanía, pero la migración lift-and-shift inicial disparó la factura un 340%.
4. Governance fragmentada: Ranger, Atlas, Sentry en silos por clúster. Zero trust y lineage end-to-end inexistentes. Auditoría CNMV: 4 hallazgos críticos.

Este es el escenario 2025. No es «cloud vs on-prem». Es arquitectura data mesh + lakehouse + AI-ready compute frente a silos estancos.

5 palancas cloud 2025-2026 con métricas BAOSS

1. FinOps nativo: de CapEx fijo a OpEx variable con visibilidad real

El argumento de coste 2017 («cloud más barato») era ingenuo. En 2025, sin FinOps maduro, cloud cuesta 2,3x on-prem equivalente (Flexera State of Cloud 2025). La diferencia: visibilidad granular y automatización de apagado/redimensionado.

Caso BAOSS (retail, anonimizado): Migración 800 nodos CDP → AWS EMR + EKS (Spark on K8s) + S3 + Iceberg. Implementación FinOps Foundation framework: tagging obligatorio, budgets por data product, rightsizing semanal con AWS Compute Optimizer + Kubecost.

• Reducción coste compute: -42% mes 6 (de 380k€/mes a 220k€/mes).
• Tiempo despliegue nuevo entorno dev: 45 min vs 14 días (IaC Terraform + ArgoCD).
• ROI: 3,2x a 10 meses (incluye coste migración 1,1M€).

Clave: no migras clústeres, migras data products con SLOs de coste/latencia/disponibilidad.

2. Acceso inmediato a GPU/TPU para IA generativa y fine-tuning

En 2024, el 68% de las empresas españolas con >500 empleados tenían al menos un piloto GenAI (IDC España). Solo el 12% tenía infraestructura GPU propia. La nube pública (AWS p4d/p5, Azure NDv5/ND H100 v5, GCP A3) ofrece H100/B200 bajo demanda o reserved capacity 1-3 años.

Caso BAOSS (seguros, anonimizado): Necesidad: fine-tuning Llama-3-70B-Instruct con 2TB datos siniestros (PDF, imágenes, texto) para clasificación automática. On-prem: 0 GPU. Solución: Azure AI Infrastructure (ND H100 v5, 8 GPU/node) + TRL SFTTrainer + Ray en AKS para entrenamiento distribuido.

• Tiempo puesta en marcha: 3 días (aprovisionamiento + contenedorización + datos en Azure Blob + Iceberg).
• Entrenamiento 3 épocas: 6,2 horas (8 nodos x 8 H100). Coste: 4.800€.
• Resultado: F1-score 0,91 vs 0,78 modelo anterior rule-based. Despliegue inferencia: vLLM en AKS con autoescalado 0-12 réplicas. Latencia p99: 180ms.

Moraleja: la nube democratiza el acceso a compute IA de frontera. No necesitas CapEx de 2M€ en DGX H100 para validar un caso de uso.

3. Elasticidad real para cargas variables: batch, streaming, serving

El patrón 2017 («ampliar/contratar instancias») se queda corto. En 2025, la elasticidad es multi-capa: storage (S3/ADLS/GCS), compute (Spark/Flink/Trino en K8s), serving (vLLM/Ollama/TGI), y agentes IA (LangGraph/CrewAI/AutoGen).

Caso BAOSS (logística, anonimizado): Procesamiento nocturno 50TB tracking GPS + picos diurnos streaming 200k eventos/seg (Kafka → Flink → Iceberg). On-prem: clúster fijo 200 nodos, 14h batch, latencia streaming 8min en picos.

• Arquitectura cloud: EMR Serverless (batch) + MSK Serverless + Flink en EKS Fargate (streaming) + Trino en EKS (query federation).
• Autoescalado: 0-500 workers batch (spot 70%), 10-200 task managers streaming.
• Resultados: Batch 14h → 3,5h. Latencia streaming p99: 1,2s. Coste total/mes: -38% vs on-prem TCO.

La elasticidad no es «más nodos». Es compute serverless por carga de trabajo con aislamiento de fallos y facturación por segundo.

4. Gobernanza federada y soberanía: Unity Catalog, Ranger Raz, Purview

RGPD, Ley 7/2021 (cambio climático), DORA (financiero), NIS2 (infraestructuras críticas). La gobernanza 2025 exige lineage column-level, data contracts, zero-trust network, y residency geográfica demostrable.

Caso BAOSS (sector público, anonimizado): Migración 12 clústeres Hadoop dispersos (CCAA) → Azure Databricks + Unity Catalog + Microsoft Purview en region Spain Central. Requisito: datos nunca salen de España, auditoría inmutable 10 años.

• Implementación: Unity Catalog metastore único con external locations ADLS Gen2 (zone-redundant). Políticas RBAC/ABAC heredadas de Entra ID. Data contracts con Open Data Contracts Standard.
• Lineage: end-to-end desde fuente (Oracle, SAP) → landing → curated → serving (Power BI, ML).
• Hallazgos auditoría post-migración: 0 críticos, 2 menores (documentación).
• Tiempo onboarding nuevo dominio datos: 2 semanas vs 3 meses (plantillas Terraform + CI/CD GitHub Actions).

Gobernanza cloud-native no es «instalar Ranger». Es metastore unificado, policy-as-code, y auditoría nativa cloud.

5. Arquitectura AI-ready: RAG, agentes autónomos y MCP

El clúster Hadoop 2017 servía para MapReduce/Hive. El lakehouse 2025 debe servir features para ML, embeddings para RAG, contextos para agentes, y tool-calling via MCP (Model Context Protocol).

Caso BAOSS (banca, anonimizado): Asistente interno analistas riesgo: RAG híbrido (vector + graph) sobre 40M documentos (contratos, normativa, actas, emails). Stack: Iceberg (tabla embeddings) + Milvus en EKS (vector search) + Neo4j Aura (knowledge graph) + LangGraph (orquestación agente) + MCP (tools: SQL Trino, API core banking, calculadora regulatoria).

• Ingesta: CDC Debezium → Kafka → Flink → Iceberg (upsert embeddings + metadatos). Latencia frescura: 4 min.
• Agente: Claude 3.5 Sonnet (AWS Bedrock) + LangGraph stateful. 12 tools MCP. Evaluación RAGAS: faithfulness 0,94, answer_relevancy 0,91.
• Despliegue: EKS + Karpenter (GPU g5.xlarge para embedding model local BGE-M3 via Ollama) + vLLM para reranker.
• Coste inferencia/consulta: 0,018€ (Bedrock) + 0,004€ (compute EKS). 2.400 consultas/día analistas.

Este es el nuevo «Hadoop en cloud»: no un clúster, una plataforma de datos composable, gobernada, y AI-native.

Tabla comparativa: On-prem 2017 vs Cloud-native 2025