June 5, 2023 | Blog Featured Insights Technology

Painting the future with Microsoft Fabric – data landscape in one frame

The data world is abuzz with excitement as Microsoft launched into public a preview of its latest offering, Microsoft Fabric. This so-called all-in-one analytics solution has generated significant market hype across the data community, promising to revolutionize and simplify the data & analytics infrastructures and bring the “data into the era of AI”. What does this all mean in practice? Take a minute and let us tell you what the Fabric is all about.

Microsoft Fabric is a Software-as-a-Service (SaaS) solution wrapping all the different components of data landscape together under one package. With one licence you get it all what you need for your data environment: Data Factory, Synapse, Power BI and OneLake. You don’t need to buy the different resources separately anymore; it is all included into a single service and managed and governed centrally.

OneLake = centralized data storage for all your analytics data

OneLake is the other of the most remarkable features of the Fabric, as it aims to mitigate the need of data duplication within the whole solution. You, who have been working with data infrastructures, probably know that it is common that the data needs to be duplicated across the data solution’s layers for different analytical engines to support the different use cases of the data. In OneLake the data is stored in compressed parquet-format, and all the different analytical engines within the Fabric can query the same data efficiently.

To put this in context, both T-SQL engine for building a data warehouse and Analysis Service Engine for Power BI reports can use the same data as efficiently. Microsoft promises to extend this “One copy of data“ -paradigm further by enabling shortcuts for the data, so that different teams can use the same data for their specific purposes by creating virtual data products. In addition, OneLake offers a possibility to expand the lake into some third-party data storages, such as Amazon S3, without a need to move the data physically to the OneLake. Quite impressive.

Introducing AI to empower developers

The other remarkable feature of Fabric is the inclusion of the AI within the Fabric across the solution. This means introducing Copilot into all building blocks of the Fabric to assist you in your work to increase your efficiency. For example, in the future you can ask Copilot to build a HR report for you in Power BI. Interesting to see how well this feature is going to work. With Copilot Microsoft aims to empower the citizen developers to be more integral part of the data development process and thus promote the organizations to become even more data driven. Most of the Copilot features are still in Private Preview though, so we all must wait a bit longer to get our hands on these cool new features.

More sustainable tomorrow through innovation in resource efficiency

At Evitec, we have already begun exploring the capabilities that Microsoft Fabric offers. Our own OneLake is already up and running, and we are well in our way to uncover the possibilities of Fabric. While the service is still in preview mode, and some child-diseases are expected, many of the features seem promising. We truly are impressed by its ability to eliminate the need for data duplication.

As the volume of data continues to grow in the world, so does the carbon footprint of the data storage. And as we are thriving towards more sustainable tomorrow, it is important that also the data solutions are designed to be as resource efficient as possible, and here Fabric seems to make a clear difference by having the only one copy of the data. Given of course that the processing of the data does not lose the benefits gained by reduction of the storage.

Time will tell whether Fabric can claim all the promises Microsoft has made for it, but if it does, we think that Fabric is a real game changer in the data field. Join us to the journey to unravel the potential of your data with Microsoft Fabric!

Written by

Henni Niiranen

Data Consultant

data-masking-1-1920x960-7193124

Onko sinulla tietojärjestelmissäsi aineistoa, joka tulisi saattaa GDPR-vaatimusten piiriin, tai oletko epävarma asiasta? Viranomaisvaatimukset edellyttävät henkilötietojen käsittelyä luottamuksellisesti ja turvallisesti. Tämä koskee myös yritysten tietojärjestelmiä ja esimerkiksi testiympäristöjä.

Henkilötiedot on peitettävä tai häivytettävä siten, että tietoja ei voi suoraan nähdä tai yhdistää muihin järjestelmässä oleviin tietoihin, mutta tietorakenteet pysyvät kuitenkin eheinä. Käyttötapauksesta riippuen tietojen peittäminen tehdään algoritmeilla joko anonymisoiden tai pseudonymisoiden. Englanniksi puhutaan termistä data masking. Ilman henkilötietojen huolellista suojaamista ei testiympäristöissä voida hyödyntää oikeiden käyttötapausten tietoja.

Olemme kehittäneet henkilötietojen häivyttämiseen, eli maskaukseen, tehokkaan ja läpinäkyvän, ketterän ratkaisun. Se on myös rakenteeltaan kevyt ja käyttäjäystävällinen. Ratkaisumme avulla henkilötietojen suojaaminen isoissa järjestelmissä voi parhaimmillaan olla hyvinkin yksinkertaista ja mutkatonta. Asiantuntijoillamme on jo paljon kokemusta tietosuojaan liittyvistä projekteista. Me tiedämme, mitä viranomaisvaatimukset tarkoittavat käytännössä, ja mitä ne tarkoittavat järjestelmien ja projektinhallinnan kannalta.

Ketterä ratkaisu, joka sopii moneen tilanteeseen

Tietojen häivyttämiseen kehitetty, dynaaminen ratkaisumme käsittelee ja tuottaa aineiston hyödyntäjälle datan, josta on häivytetty henkilötiedot lain määräämällä tavalla.

Kun yritys haluaa ottaa ratkaisun käyttöönsä, toimimme läheisessä yhteistyössä onnistuneen projektin takaamiseksi. Asiantuntijamme määrittelevät eli konfiguroivat asiakkaan kanssa tiedot, joita halutaan hyödyntää, ja liiketoimintatarpeet ohjaavat esimerkiksi tietolähteiden valintaa. Lisäksi tapauksesta riippuen valitaan, tehdäänkö maskaus anonymisoiden vai riittääkö pseudonymisointi. Tietorakenteet säilyvät alkuperäisen aineiston mukaisina. Maskata voi tarpeen mukaan vain tietyt tietokantakentät tai koko taulun.

Määritellyt säännöt ovat koko ajan asiakkaan nähtävissä, ja tarvittaessa muutosten teko on helppoa. Kun määritykset on tehty ja lähdelataukset toimivat, ratkaisumme maskaa datan automaattisesti ja tehokkaasti. Näin valmis aineisto on valmis hyödynnettäväksi. Ratkaisu sopii monenlaiseen tarpeeseen, ja sillä voi olla useampia rinnakkaisia hyödyntäjiä, ihmisiä tai järjestelmiä, kuten tietovaraston testiympäristöt.

Ratkaisumme etuja ovat sen ketteryys, läpinäkyvyys ja yksinkertaisuus, mikä tekee siitä myös helppokäyttöisen. Manuaalityötä on erittäin vähän, lähinnä alkuvaiheen määrittelyissä.

Me olemme valmiita auttamaan yrityksesi tietojärjestelmien henkilötietojen suojaamisessa tietosuoja-asetuksen edellyttämällä tavalla.

Mikäli haluat keskustella lisää, lähetä meille yhteydenottopyyntö osoitteeseen sales@evitecdata.local. Asiantuntijamme vastaavat sinulle ripeästi.

Tutustu myös muihin analytiikan ja tiedolla johtamisen palveluihimme.

Lue myös:

https://profitsoftware.com/yksinkertainen-ratkaisu-suojaa-henkilotietoja-yritysten-testiymparistoissa/

Customer story

Evitec kehitti Kymen Vesi Oy:lle ketterän tiedolla johtamisen järjestelmän

Kymen Vesi tuottaa vesihuoltopalveluja sekä edistää vesihuoltoa kehittäjänä ja asiantuntijana muiden toimijoiden kanssa yhteistyössä. Veden ja toiminnan laatu, turvallisuus sekä taloudellisuus ovat tärkeitä yrityksen kulmakiviä. Kun Kymen Vesi tiedosti tarpeen rakentaa tiedolla johtamisen järjestelmä, valikoitui toimittajaksi Evitec, jolla on aikaisempaa kokemusta tiedolla johtamisen ratkaisuiden rakentamisesta sekä vesilaitosyhteistyöstä.

– Halusimme parantaa tiedolla johtamista, kertoo Kymen Veden kehittämispäällikkö, Jaana Pulkkinen. – Konkreettisesti se tarkoittaa esimerkiksi oleellisten mittareiden seuraamisen helpottamista. Projektissa kehitetään edelleen myös etäluettavien datamittareiden datan tuomista laskutusjärjestelmään, Pulkkinen sanoo.

Kymen Veden tarpeisiin ja valittuihin mittareihin muodostettu tietomalli helpottaa yrityksen omien raporttien ja analyysien laatimista, sillä manuaalisen työn määrä vähenee. Selkeä ja suoraviivainen, helposti ylläpidettävä kokonaisuus myös vähentää virheitä.

– Tunnuslukujen seuraaminen on nyt entistä selkeämpää ja helpompaa, Pulkkinen sanoo.

Power BI:n päälle rakennettu ja dataa Azure-pilveen tallentava ratkaisu kerää ja yhdistää tietoja useista eri lähdejärjestelmistä, mikä voi olla teknisesti haastavaa ja työlästä toteuttaa. Erilaiset lähdejärjestelmät ja niiden toisistaan poikkeavat rajapintakäytännöt vaativat toimittajalta asiantuntemusta, jotta tiedonsiirto saadaan sujuvaksi. Microsoft Azure -alustalle laaditut pilvipohjaiset ratkaisut ovat nopeita, ketteriä ja skaalautuvia, mikä tarkoittaa, että ne vaativat vain vähän ylläpitoa ja ovat hyvin kustannustehokkaita.

Käytännössä Evitecin ratkaisussa tietoa käsitellään kolmessa kerroksessa. Data ladataan ja integroidaan Azure Data Factoryn avulla Azuren Data Lake -tietoaltaaseen, missä data pysyy tallessa ja on valmiina jalostettavaksi. Data Lake toimii data-alustana Dedicated SQL Pool -tietovarastolle (aikaisemmin SQL DW). Nämä ominaisuudet ovat saatavilla Azure Synapse Analyticsissa. Tietovarastosta data jalostetaan ja mallinnetaan raportoitavaan muotoon. Lopulta informaatio esitetään loppukäyttäjälle visuaalisina, helppokäyttöisinä raportteina Power BI:ssa.

– Yhteistyö ja tiedon kulku Evitecin kanssa on ollut hyvää, ketterää ja toimivaa, Pulkkinen kertoo. – Keskustellen ja porukalla miettien on saatu asiat aina edistymään.

microsoftteams-image-3512521 — Power BI:n päälle rakennettu ja dataa Azure-pilveen tallentava ratkaisu kerää ja yhdistää tietoja useista eri lähdejärjestelmistä.

Kymen Vesi Oy tuottaa korkealaatuisia vesihuoltopalveluja sekä toimii vesihuollon edistäjänä, asiantuntijana ja kehittäjänä yhteistyössä muiden toimijoiden kanssa.

Customer story

Lehto Group sai hyötyä tietovarastohankkeen avulla liiketoiminnan analytiikkaan ja raportointiin vain kuudessa viikossa

Tietovarastohankkeen ei tarvitse olla maratoni. Nykyaikaisilla teknologioilla ja sitoutuneen projektiryhmän avulla ratkaisu on mahdollista toteuttaa jopa viikoissa. Tämän havaitsi suomalainen rakennusyhtiö Lehto Group, joka kaipasi uusia työkaluja liiketoiminnan analytiikan tehostamiseen.

– Analytiikka- ja raportointikehitys tuo nopeutta ja selkeyttä projektien tilannekuvan muodostamiseen. Lehdon liiketoiminnan keskiössä on talousohjattu rakentaminen, missä korostuu asiakasprojektien kustannusten hallinta asetetun tavoitteen mukaisesti suunnittelusta kohteen valmistumiseen, kertoo Lehdon kehitysjohtaja Arto Tolonen.

Yhteistyö käynnistyi Lehdon analytiikka- ja raportointitarpeiden määrityksellä. Tämän pohjalta Evitec pystyi tarjoamaan käytännöllistä analytiikka- ja raportointiratkaisua liiketoiminnan avainmittareiden oikea-aikaiseen ja täsmälliseen seurantaan sekä tuottamaan visualisoituja ennusteita liiketoiminnan suunnittelun käyttöön.

– Ratkaisussa on kehitetty tietovarasto, tabulaarimallinnus sekä analytiikan visualisointi, kaikki Microsoftin uusimmilla teknologioilla. Ketterällä kehityksellä ja hyvällä kommunikaatiolla pystyimme tuomaan ratkaisun tuotantoon vain kuudessa viikossa, mikä on tietovarastohankkeelle ripeä aikataulu, kertoo Evitecin projektipäällikkö Joonas Runnakko.

Projekti Evitec toteutti Lehdolle modernin tietovarasto-, analytiikka- ja raportointiratkaisun, jonka tuottaman tiedon avulla Lehto Group pystyy toteuttamaan rakennusprojektejaan entistä kustannustehokkaammin.

Lehto Group Oyj on rakennusalan innovatiivinen uudistaja ja kehittäjä. Lehdon ydin on talousohjattu rakentaminen, joka koostuu kustannustietoisesta suunnittelusta, vakioratkaisujen hyödyntämisestä ja teollisesta valmistuksesta. Lehto Groupin liiketoiminnalla on lähes 40 vuoden historia.