Implementing a Lakehouse with Microsoft Fabric
Beskrivelse
Microsoft Fabric er en spritny platform fra Microsoft. Det er en software as a service (SaaS) løsning som tilbyder end-to-end data analyse. Det vil sig, det er et samlet værtøj som favner alle roller i BI afdelingen i form af data engineers, data scientists, data analysts og data warehouse folk.
Data er ikke længere kun SQL og pænt struktureret information i databaser. Vi har brug for andre måder at opbevare og analysere data på. Fabric tilbyder både det traditionelle SQL datawarehouse (Synapse Data Warehouse) og et moderne lakehouse, hvor vi i notebooks i Apache Spark kan kombinere SQL og programmeringssprogene Python/Scala. Det giver en meget større fleksibilitet i håndteringen, klargøring og processeringen af data, og det åbner for nye muligheder i form af data analyse med komplekse algoritmer.
På kurset opretter vi et lakehouse og kigger på, hvorfor tabeller i et lakehouse med stor fordel kan gemmes i delta formatet. Fabrics værktøj til ETL (extract,transform,load) processen hedder Dataflows Gen2, og det består af Power Query online. Det nye er, at en forespørgsel(query) har en data destination.
Data Factory er værktøjet i skyen, som kan få alle tjenesterne til at tale sammen ved at udføre opgaver. Det foregår i en pipeline som f.eks. kan eksekvere et dataflow, lande data i et lakehouse og dernæst køre en python notebook.
På kurset kommer vi omkring alle ovenstående områder og giver dig det forkromede overblik, så dig og din organisation er bedre rustet til at anvende Microsoft Fabric.
Moduloversigt
- Modul 1Introduction to end-to-end analytics using Microsoft Fabric
Discover how Microsoft Fabric can meet your enterprise's analytics needs in one platform. Learn about Microsoft Fabric, how it works, and identify how you can use it for your analytics needs.
- Modul 2Get started with lakehouses in Microsoft Fabric
Lakehouses merge data lake storage flexibility with data warehouse analytics. Microsoft Fabric offers a lakehouse solution for comprehensive analytics on a single SaaS platform.
- Modul 3Use Apache Spark in Microsoft Fabric
Apache Spark is a core technology for large-scale data analytics. Microsoft Fabric provides support for Spark clusters, enabling you to analyze and process data in a Lakehouse at scale.
- Modul 4Work with Delta Lake tables in Microsoft Fabric
Tables in a Microsoft Fabric lakehouse are based on the Delta Lake storage format commonly used in Apache Spark. By using the enhanced capabilities of delta tables, you can create advanced analytics solutions.
- Modul 5Ingest Data with Dataflows Gen2 in Microsoft Fabric
Data ingestion is crucial in analytics. Microsoft Fabric's Data Factory offers Dataflows (Gen2) for visually creating multi-step data ingestion and transformation using Power Query Online.
- Modul 6Use Data Factory pipelines in Microsoft Fabric
Microsoft Fabric includes Data Factory capabilities, including the ability to create pipelines that orchestrate data ingestion and transformation tasks.
Er du i tvivl?
Det ligger os meget på sinde, at du finder det kursusforløb, der skaber størst værdi for dig og din arbejdsplads. Tag fat i vores kursusrådgivere, de sidder klar til at hjælpe dig!