05.06.2023 | Blog Featured Insights Technology

Painting the future with Microsoft Fabric – data landscape in one frame

The data world is abuzz with excitement as Microsoft launched into public a preview of its latest offering, Microsoft Fabric. This so-called all-in-one analytics solution has generated significant market hype across the data community, promising to revolutionize and simplify the data & analytics infrastructures and bring the “data into the era of AI”. What does this all mean in practice? Take a minute and let us tell you what the Fabric is all about.

Microsoft Fabric is a Software-as-a-Service (SaaS) solution wrapping all the different components of data landscape together under one package. With one licence you get it all what you need for your data environment: Data Factory, Synapse, Power BI and OneLake. You don’t need to buy the different resources separately anymore; it is all included into a single service and managed and governed centrally.

OneLake = centralized data storage for all your analytics data

OneLake is the other of the most remarkable features of the Fabric, as it aims to mitigate the need of data duplication within the whole solution. You, who have been working with data infrastructures, probably know that it is common that the data needs to be duplicated across the data solution’s layers for different analytical engines to support the different use cases of the data. In OneLake the data is stored in compressed parquet-format, and all the different analytical engines within the Fabric can query the same data efficiently.

To put this in context, both T-SQL engine for building a data warehouse and Analysis Service Engine for Power BI reports can use the same data as efficiently. Microsoft promises to extend this “One copy of data“ -paradigm further by enabling shortcuts for the data, so that different teams can use the same data for their specific purposes by creating virtual data products. In addition, OneLake offers a possibility to expand the lake into some third-party data storages, such as Amazon S3, without a need to move the data physically to the OneLake. Quite impressive.

Introducing AI to empower developers

The other remarkable feature of Fabric is the inclusion of the AI within the Fabric across the solution. This means introducing Copilot into all building blocks of the Fabric to assist you in your work to increase your efficiency. For example, in the future you can ask Copilot to build a HR report for you in Power BI. Interesting to see how well this feature is going to work. With Copilot Microsoft aims to empower the citizen developers to be more integral part of the data development process and thus promote the organizations to become even more data driven. Most of the Copilot features are still in Private Preview though, so we all must wait a bit longer to get our hands on these cool new features.

More sustainable tomorrow through innovation in resource efficiency

At Evitec, we have already begun exploring the capabilities that Microsoft Fabric offers. Our own OneLake is already up and running, and we are well in our way to uncover the possibilities of Fabric. While the service is still in preview mode, and some child-diseases are expected, many of the features seem promising. We truly are impressed by its ability to eliminate the need for data duplication.

As the volume of data continues to grow in the world, so does the carbon footprint of the data storage. And as we are thriving towards more sustainable tomorrow, it is important that also the data solutions are designed to be as resource efficient as possible, and here Fabric seems to make a clear difference by having the only one copy of the data. Given of course that the processing of the data does not lose the benefits gained by reduction of the storage.

Time will tell whether Fabric can claim all the promises Microsoft has made for it, but if it does, we think that Fabric is a real game changer in the data field. Join us to the journey to unravel the potential of your data with Microsoft Fabric!

Written by

Henni Niiranen

Data Consultant

Käytössä olevien ja vanhojen tietojärjestelmien arkistointi – asia, jota mikään yritys ei voi toiminnassaan välttää. Vuonna 2018 voimaan tullut EU:n yleinen tietosuoja-asetus (GDPR) asettaa arkistoinnille uusia vaatimuksia: aiemmin arkistointi saatettiin hoitaa varmuuskopioinnin turvin, mutta se ei enää nykyisellään onnistu. Lisäksi lainsäädäntö velvoittaa eräiden tietojen säilytysajaksi vähintään 10 vuotta.

Arkki-ratkaisulla järjestelmien arkistointi voidaan hoitaa turvallisesti ja kustannustehokkaasti. Aktiivisessa käytössä olevan järjestelmän osalta arkistointi vaikuttaa esimerkiksi järjestelmän suorituskykyyn tai raportointiin.

– Esimerkiksi luottokorttijärjestelmän arkistointiratkaisuksi Arkki on ihanteellinen, sillä dataa on paljon ja ratkaisun avulla se saadaan siivottua pois aktiivisesta kannasta. Käytännössä arkistossa aktiivisesti käytettävä kanta on Arkkia käyttämällä jopa kymmenen kertaa pienempi ja alentaa sitä kautta kustannuksiakin. Tämän lisäksi tietojen modernisoidut hakutoiminnot ja tuotettavat tiedot ovat optimoituja, mikä puolestaan vähentää järjestelmän käyttöön tarvittavan työn määrää ja uusien käyttäjien koulutukseen käytettävää aikaa, kertoo tuotepäällikkö Janne Takala.

Arkki soveltuu käytettäväksi esimerkiksi leasing-, perintä-, vakuus-, sopimus- ja investointirahoitusjärjestelmiin tai minkä tahansa tietojärjestelmän tietojen arkistointiin.

Käyttöönotto viikoissa

Käyttöönottoprosessi on tehokas ja siinä ovat apuna Evitecin asiantuntijat sekä käyttöönottoa tukevat prosessit ja työkalut.

– Prosessi muodostuu kolmesta vaiheesta: vaatimusanalyysistä, sovituksesta ja käyttöönotosta sekä tietojen lataamisesta Arkkiin. Olen ollut mukana projekteissa, joissa parissa kuukaudessa on tehty useampi eri arkistointiratkaisu, jatkaa Takala.

Arkin hyötyjä on mm. sen soveltuvuus suurten tietomassojen arkistointiin. Tynkkynen mainitsee merkittäväksi hyödyksi myös sen, että esimerkiksi finanssialalla arkistointivaatimukset ovat kymmenestä vuodesta jopa sataan vuoteen, ja ratkaisun avulla vanhoja tietoja ei tarvitse konvertoida järjestelmästä toiseen järjestelmiä uusittaessa.

Työeläkeyhtiö Elo halusi uudistaa ja nopeuttaa asiakasyritystensä työkykyjohtamista. Uusi verkkopalvelu tekee työeläkevakuuttamiseen liittyvien asioiden hoitamisesta helppoa ja nopeaa yrityksille, työnantajille ja tilitoimiston edustajille. Profit Software auttoi Eloa rakentamalla modernin tietovaraston palvelun perustaksi.

 

Verkkopalvelun lähtökohtana oli aikaisemmin manuaalisesti tehdyn työn digitalisointi ja automatisointi sekä uusien toiminnallisuuksien kehittäminen Elon asiakasyritysten tarpeisiin. (more…)