DirectLake vs Import: el benchmark definitivo

La pregunta vuelve en cada proyecto: ¿DirectLake o Import? En vez de repetir lo que dice la documentación, monté seis escenarios reales sobre el mismo modelo de ventas y medí lo que de verdad importa: latencia de consulta, tiempo de refresco y consumo de capacidad.

Cómo monté el benchmark

Mismo modelo semántico, misma capacidad F64, mismos informes. Lo único que cambia es el modo de almacenamiento del dataset. Cada escenario varía el tamaño de la tabla de hechos: de 5 a 500 millones de filas.

Latencia de consulta

En tablas pequeñas y medias, Import gana por poco: todo vive en memoria. A partir de cierto volumen, DirectLake iguala y a veces supera, porque no tiene que cargar el modelo entero antes de responder.

• Hasta ~20M filas: Import responde un pelín antes.
• 20M–200M: prácticamente empate si el Delta está optimizado.
• Más de 200M: DirectLake evita el coste de mantener todo en RAM.

Refresco y frescura del dato

Aquí DirectLake no tiene rival: no hay refresco. Lee el Delta directamente, así que el dato está disponible en cuanto el pipeline termina de escribir. Import, en cambio, necesita un refresco completo o incremental, con su ventana y su consumo.

“Si tu negocio pide datos casi en tiempo real, DirectLake te ahorra todo el circo del refresco.”

Consumo de capacidad

Import paga por adelantado en cada refresco; DirectLake paga por consulta al materializar columnas en memoria bajo demanda. En cargas con muchos refrescos diarios, DirectLake redujo el consumo de capacidad de forma notable en mis pruebas.

Veredicto

• Elige DirectLake si necesitas frescura, tienes tablas grandes y mantienes el Delta optimizado con V-Order.
• Elige Import para modelos pequeños, transformaciones pesadas en el dataset o cuando dependes de fuentes que no son Delta.
• Híbrido: hechos en DirectLake, dimensiones pequeñas en Import. Lo mejor de ambos.

No hay un ganador absoluto: hay un ganador para tu caso. Mide el tuyo con esta misma plantilla y decide con números.