05.06.2023 | Blog Featured Insights Technology

Painting the future with Microsoft Fabric – data landscape in one frame

The data world is abuzz with excitement as Microsoft launched into public a preview of its latest offering, Microsoft Fabric. This so-called all-in-one analytics solution has generated significant market hype across the data community, promising to revolutionize and simplify the data & analytics infrastructures and bring the “data into the era of AI”. What does this all mean in practice? Take a minute and let us tell you what the Fabric is all about.

Microsoft Fabric is a Software-as-a-Service (SaaS) solution wrapping all the different components of data landscape together under one package. With one licence you get it all what you need for your data environment: Data Factory, Synapse, Power BI and OneLake. You don’t need to buy the different resources separately anymore; it is all included into a single service and managed and governed centrally.

OneLake = centralized data storage for all your analytics data

OneLake is the other of the most remarkable features of the Fabric, as it aims to mitigate the need of data duplication within the whole solution. You, who have been working with data infrastructures, probably know that it is common that the data needs to be duplicated across the data solution’s layers for different analytical engines to support the different use cases of the data. In OneLake the data is stored in compressed parquet-format, and all the different analytical engines within the Fabric can query the same data efficiently.

To put this in context, both T-SQL engine for building a data warehouse and Analysis Service Engine for Power BI reports can use the same data as efficiently. Microsoft promises to extend this “One copy of data“ -paradigm further by enabling shortcuts for the data, so that different teams can use the same data for their specific purposes by creating virtual data products. In addition, OneLake offers a possibility to expand the lake into some third-party data storages, such as Amazon S3, without a need to move the data physically to the OneLake. Quite impressive.

Introducing AI to empower developers

The other remarkable feature of Fabric is the inclusion of the AI within the Fabric across the solution. This means introducing Copilot into all building blocks of the Fabric to assist you in your work to increase your efficiency. For example, in the future you can ask Copilot to build a HR report for you in Power BI. Interesting to see how well this feature is going to work. With Copilot Microsoft aims to empower the citizen developers to be more integral part of the data development process and thus promote the organizations to become even more data driven. Most of the Copilot features are still in Private Preview though, so we all must wait a bit longer to get our hands on these cool new features.

More sustainable tomorrow through innovation in resource efficiency

At Evitec, we have already begun exploring the capabilities that Microsoft Fabric offers. Our own OneLake is already up and running, and we are well in our way to uncover the possibilities of Fabric. While the service is still in preview mode, and some child-diseases are expected, many of the features seem promising. We truly are impressed by its ability to eliminate the need for data duplication.

As the volume of data continues to grow in the world, so does the carbon footprint of the data storage. And as we are thriving towards more sustainable tomorrow, it is important that also the data solutions are designed to be as resource efficient as possible, and here Fabric seems to make a clear difference by having the only one copy of the data. Given of course that the processing of the data does not lose the benefits gained by reduction of the storage.

Time will tell whether Fabric can claim all the promises Microsoft has made for it, but if it does, we think that Fabric is a real game changer in the data field. Join us to the journey to unravel the potential of your data with Microsoft Fabric!

Written by

Henni Niiranen

Data Consultant

Kestävä rahoitus on aihe, jonka merkitys ilmastonmuutoksen kiihtymisen myötä on entisestään lisääntynyt. Kestävän rahoituksen määritelmä on toki laajempikin, ympäristötekijöiden lisäksi siinä tarkastellaan myös yhteiskuntaan ja hallintotapaan liittyviä näkökulmia, eli ns. ESG-tekijöitä (lyhenne sanoista Environmental, Social ja Governance) ja kuinka nämä huomioidaan sijoittamista koskevassa päätöksenteossa.

Vaikuttamisen mahdollisuus on kenellä tahansa sijoitustoimintaa harrastavalla, yhtä lailla institutionaalisella sijoittajalla kuin yksittäisellä rahastosäästäjälläkin. Mutta voidakseen tehdä vastuullisia valintoja, tarvitsee sijoittaja luotettavaa tietoa sijoituskohteiden kestävyydestä. Kohteiden tulisi myös olla keskenään vertailukelpoisia, jolloin tarvitaan yhteneväisiä mittareita ja käytäntöjä. EU:ssa tähän on haettu ratkaisua kahden eri asetuksen kautta. Tiedonantovelvoiteasetuksen (SFDR, Sustainable Finance Disclosure Regulation) tavoitteena on lisätä läpinäkyvyyttä sijoitustuotteiden kestävyystekijöistä. Taksonomia-asetus (TR, Taxonomy Regulation) puolestaan määrittelee milloin taloudellista toimintaa voi kutsua kestäviksi kuuden ympäristökestävyyttä mittaavan tavoitteen kautta.

Asetukset ovat sinällään jo tulleet voimaan, mutta niissä säädettyjen velvoitteiden soveltaminen jalkautuu asteittain. Molemmissa asetuksissa on artikloja, joiden yhteneväiseen tulkintaan ja soveltamiseen Euroopan komissio on pyytänyt finanssialan Euroopan valvontaviranomaisia (ESA, European Supervisory Authorities) määrittelemään tekniset standardit (RTS, Regulatory Technical Standards). Nämä eivät ole vielä kaikilta osin valmiita tai lopullisesti hyväksyttyjä, mutta oletuksena on, että niitä tulisi porrastetusti alkaa noudattaa tämän ja ensi vuoden aikana.

Finanssiala on yhteisen haasteen edessä

Asioiden keskeneräisyydestä huolimatta, valvontaviranomaiset ovat nyt kehottaneet toimijoita aloittamaan valmistelut asetusten soveltamiseen. Ja hyvä niin, sillä urakka on huomattavan suuri, vaikka toimijoille tilanne on hieman epäkiitollinen, kun ne joutuvat tähtäämään liikkuvaan kohteeseen. Niinpä kaikki sijoituspalveluja tuottavat ja tarjoavat tahot, kuten rahastoyhtiöt, pankit ja henkivakuutusyhtiöt ovat kovan urakan edessä.
Mutta mikä tekee tämän niin haastavaksi?

Pähkinänkuoressa: valtava tietomäärä kerättäväksi ja analysoitavaksi sekä pitkä välitysketju, jonka varrella on useita toimijoita.

Teknisestä näkökulmasta urakka kiteytyy tiedon sujuvaan välittämiseen ja tehokkaaseen käsittelyyn:

    • kuinka sijoituspalvelun tuottaja kerää ja analysoi sijoituskohteiden kestävyyteen liittyvää tietoa ja muokkaa tiedon sopivaan muotoon seuraavan vaiheen tarpeet huomioiden
    • kuinka sijoituspalvelun tuottaja välittää tämän tiedon sijoituspalvelua tarjoavalle taholle, tiedon kaikissa eri muodoissa, raportteina, avaintietoesitteinä ja SFDR:n määrittelyn mukaisen, sijoituskohteen kestävyyttä indikoivana värikoodina
    • kuinka sijoituspalveluntarjoaja välittää tiedon loppuasiakkaalle eri ajankohtina ja eri palvelukanavissa kuten verkkosivuilla, portaaleissa ja ehkäpä jopa tulosteina.

Pitkä ja monivaiheinen ketju, mutta modernien järjestelmien tuella ja tiedonvälityksen rajapintoja hyödyntämällä hyvinkin tehtävissä. Finanssiala on uuden edessä ja yhteisellä ponnistuksella rakennamme edellytykset kestävälle rahoitukselle.