Práctica 02· Ingeniería e integración de datos
Consultoría de Databricks
Databricks ofrece a la ingeniería de datos, la analítica y el aprendizaje automático un mismo lakehouse. Como socio consultor de Databricks, diseñamos ese lakehouse, construimos las canalizaciones que lo alimentan y lo hacemos fiable a gran escala.
Cómo construimos en Databricks
Ingerir.Depurar.Gobernar.Servir.
02 / Databricks
- Azure Databricks
- Canalizaciones del lakehouse
- Gobierno con Unity Catalog
Qué es Databricks
Databricks es una plataforma de datos e IA basada en el lakehouse: una arquitectura que combina el almacenamiento abierto y económico de un lago de datos con la fiabilidad y el rendimiento de un almacén de datos. Ingenieros de datos, analistas y científicos de datos trabajan sobre los mismos datos y con las mismas reglas.
Funciona en las principales nubes. En Microsoft Azure se ofrece como Azure Databricks, y ahí es donde muchas organizaciones lo usan junto con Data Factory, Data Lake Storage y Power BI.
Databricks premia un diseño deliberado. La organización del almacenamiento, la nomenclatura, las canalizaciones y los permisos decididos desde el principio son lo que mantiene comprensible un lakehouse cuando guarda años de datos y da servicio a decenas de equipos.
Por qué elegir Databricks
Tres razones por las que las organizaciones eligen Databricks para su plataforma de datos.
Unificado
Una plataforma para ingeniería de datos, analítica SQL, ciencia de datos y aprendizaje automático, gobernada en un solo lugar en lugar de unir piezas sueltas.
Escalable
El cómputo crece con el trabajo, desde una pequeña carga diaria hasta procesos por lotes y en streaming muy grandes, sin rediseñar la arquitectura por el camino.
Colaborativo
Notebooks, SQL y tablas compartidas permiten que ingenieros, analistas y científicos de datos trabajen sobre los mismos datos con los mismos permisos.
Trabajo en Databricks
Ejemplos de nuestro historial público en Databricks.
Sistema de salud
Modernización de la historia clínica electrónica en Databricks para un gran sistema de salud: una nueva forma de almacenar, procesar y servir esos datos.
Gobierno
Integración de datos y mapeo espacial en Databricks para una gran agencia gubernamental, uniendo fuentes separadas y situándolas en el mapa.
Salud a gran escala
Gestión de datos a muy gran escala en Databricks para el sector salud, donde la fiabilidad y el gobierno de los datos no son opcionales.
Lo que hacemos en Databricks
Desde el primer espacio de trabajo hasta una plataforma que su equipo opera por sí mismo.
Arquitectura del lakehouse
Capas medallion, organización del almacenamiento y nomenclatura diseñadas desde el principio, para que la plataforma siga siendo comprensible a medida que crece.
Ingeniería e integración de datos
Canalizaciones por lotes y en streaming desde sus sistemas operativos, construidas para probarse, supervisarse y volver a ejecutarse con seguridad.
Gobierno y seguridad
Catálogos, permisos y control de acceso basado en atributos configurados para que cada persona vea los datos que le corresponden, y nadie más.
Capacitación
Trabajamos junto a sus ingenieros y analistas y los formamos para que sean dueños de la plataforma, no solo usuarios.
Hable con un consultor de Databricks
¿Empieza con Databricks o quiere poner orden en un espacio de trabajo que creció por su cuenta? Cuéntenos en qué punto está.