05.06.2023 | Blog Featured Insights Technology

Painting the future with Microsoft Fabric – data landscape in one frame

The data world is abuzz with excitement as Microsoft launched into public a preview of its latest offering, Microsoft Fabric. This so-called all-in-one analytics solution has generated significant market hype across the data community, promising to revolutionize and simplify the data & analytics infrastructures and bring the “data into the era of AI”. What does this all mean in practice? Take a minute and let us tell you what the Fabric is all about.

Microsoft Fabric is a Software-as-a-Service (SaaS) solution wrapping all the different components of data landscape together under one package. With one licence you get it all what you need for your data environment: Data Factory, Synapse, Power BI and OneLake. You don’t need to buy the different resources separately anymore; it is all included into a single service and managed and governed centrally.

OneLake = centralized data storage for all your analytics data

OneLake is the other of the most remarkable features of the Fabric, as it aims to mitigate the need of data duplication within the whole solution. You, who have been working with data infrastructures, probably know that it is common that the data needs to be duplicated across the data solution’s layers for different analytical engines to support the different use cases of the data. In OneLake the data is stored in compressed parquet-format, and all the different analytical engines within the Fabric can query the same data efficiently.

To put this in context, both T-SQL engine for building a data warehouse and Analysis Service Engine for Power BI reports can use the same data as efficiently. Microsoft promises to extend this “One copy of data“ -paradigm further by enabling shortcuts for the data, so that different teams can use the same data for their specific purposes by creating virtual data products. In addition, OneLake offers a possibility to expand the lake into some third-party data storages, such as Amazon S3, without a need to move the data physically to the OneLake. Quite impressive.

Introducing AI to empower developers

The other remarkable feature of Fabric is the inclusion of the AI within the Fabric across the solution. This means introducing Copilot into all building blocks of the Fabric to assist you in your work to increase your efficiency. For example, in the future you can ask Copilot to build a HR report for you in Power BI. Interesting to see how well this feature is going to work. With Copilot Microsoft aims to empower the citizen developers to be more integral part of the data development process and thus promote the organizations to become even more data driven. Most of the Copilot features are still in Private Preview though, so we all must wait a bit longer to get our hands on these cool new features.

More sustainable tomorrow through innovation in resource efficiency

At Evitec, we have already begun exploring the capabilities that Microsoft Fabric offers. Our own OneLake is already up and running, and we are well in our way to uncover the possibilities of Fabric. While the service is still in preview mode, and some child-diseases are expected, many of the features seem promising. We truly are impressed by its ability to eliminate the need for data duplication.

As the volume of data continues to grow in the world, so does the carbon footprint of the data storage. And as we are thriving towards more sustainable tomorrow, it is important that also the data solutions are designed to be as resource efficient as possible, and here Fabric seems to make a clear difference by having the only one copy of the data. Given of course that the processing of the data does not lose the benefits gained by reduction of the storage.

Time will tell whether Fabric can claim all the promises Microsoft has made for it, but if it does, we think that Fabric is a real game changer in the data field. Join us to the journey to unravel the potential of your data with Microsoft Fabric!

Written by

Henni Niiranen

Data Consultant

When an insurer plans a system renewal, the primary focus is usually on how the new system supports needs today and in the future. However, few insurance companies start from scratch. Especially within life insurance, policies may be older than 50 years. Therefore, the migration of run-off portfolios usually pops up at some point during the renewal project.

Older systems often have an “uncontrolled flexibility”, a feature that originally was regarded quite handy. Individual policy details could be modified in many ways, and not all information had a designated place or format. Thus, over time, users may have entered the same information in different places and, for example, dates in different formats. Older policies also do not always have all the information required by the new structure; in which case the policy information needs to be enriched. Not to mention file formats, which have changed over the years. There are certainly many more examples. And now, 15–20 years later, when this rather mixed data should be adapted to the structures of the new system, we are faced with a data cleaning task. The scope of a migration project can often be bit of a surprise, but luckily there are tools available to help.

The power of collaboration

In data migration the cooperation between the insurance company and the system supplier is key. The insurance company knows its old products and can foresee some of the challenges in the data structures. The system supplier on the other hand, knows inside out the logic and structure of the new system. When a mechanism for checking the quality and consistency of the data is created in between, even a difficult migration becomes easier.

The three phases of migration

Data migration can be divided into three phases. In the first phase, the migration is planned, and the portfolios are studied to the smallest details. First steps are taken with smaller test data and the creation of data mapping rules starts. At the same time, the insurance company often considers whether some product portfolios can be combined to simplify the management of portfolios in the future.

In the next phase, our conversion tool will take centre stage. It is used to check whether the data to be migrated is consistent and compatible with the new system. Rarely, if ever, is older data ready at once. The conversion tool provides feedback on differences and inconsistencies, such as data fields that cannot be matched in the new structure, missing data fields, or data in an inappropriate format.

This is where the actual data cleaning begins. The same data may be run through the conversion tool several times until it can be stamped as OK. Finally, a policy lifecycle testing will be done to ensure that everything matches in the future as well. For the work to progress promptly, the conversion tool is made available also for the insurance company. Hence, the actual experts of the portfolios and those working on data cleaning can independently test the changes and updates. All in all, a time-consuming phase, but the work is rewarded in the last phase.

The actual migration is often the fastest phase. When the old data has been processed and its compatibility has been verified, this is largely a technical routine, where the converted policies smoothly float into the new system. As a final check, the outcome is reconciled with the source data.

Extensive experience of migrations

In addition to the conversion tool, Evitec Life‘s accurate description of the data structure makes migration work significantly easier. The description gives the customer a clear view of which information is needed and in which format.

At Evitec we have carried out system migrations for several decades. We have converted nearly one hundred portfolios and hundreds of thousands of policies. So, it’s fair to say that our experience has built up over time and our migration process and tools have been put to the test in many demanding projects.

docrates-pysty-150x150-4242427
Docrateen talousjohtaja Harri Puurunen

Pohjoismaiden ainoa yksityinen syöpäsairaala Docrates kehittää toimintaansa voidakseen tarjota parhaimman mahdollisen hoidon potilailleen. Kehitys tapahtuu niin hoitomenetelmissä, mahdollisimman tehokkaassa työn organisoinnissa kuin sairaalan liiketoiminnan kehittämisessä. Syöpäsairauksiin erikoistunut sairaala onkin kasvanut nopeasti alansa huippuyksiköksi. Toiminnan kehittämisessä on nyt otettu seuraava askel, kun Docrates on Profit Softwaren avulla yhdistänyt Acute-potilastietojärjestelmästä anonymisoidun datan Qlik Sense –raportointiin. Uudella datapohjaisella näkymällä sairaalan toimintaan saadaankin aiempaa tarkempi kuva niin hoitopoluista kuin liiketoiminnan eri prosesseista.

Huippuluokan toiminnan kehittäminen on sairaalaorganisaatiossa kokonaisvaltaista. Pelkkä hoidon tai liiketoiminnan prosessien kehittäminen eivät yksinään riitä, vaan kyse näiden yhdistämisestä tietoon perustuvassa suunnittelussa ja toiminnan kehittämisessä.

–Toimintamme on kasvanut sellaiseen mittakaavaan, että tarvitsimme uusia menetelmiä tiedolla johtamiseen. Acute-potilastietojärjestelmässämme on yli 4 000 potilaan 170 000 potilaskäyntiä, ja pelkästään viime vuonna meille tuli 1350 uutta potilasta. Potilastietojärjestelmä palvelee luonnollisesti hoitoprosessia, ja siinä ei ole työkaluja toiminnan monitasoiseen analysointiin ja kehittämiseen. Tarvitsimme tähän tietomassaan järkevän näkymän, josta merkityksellinen tieto saadaan näkyviin vaarantamatta mm. potilaiden yksityisyyttä. Siksi lähdimme rakentamaan anonymisoitua raportointinäkymää potilastietojärjestelmämme tietoihin Profit Softwaren avulla, kertoo Docrateen talousjohtaja Harri Puurunen.

Hoitopolut, liiketoimintayksiköiden toiminta ja markkinoinnin mitattavuus

Docrates hyödyntää Qlik Sense –teknologialla rakennettuja raportteja hyvin monitasoisesti. Voidaan esimerkiksi tarkastella syöpähoidossa olennaista tekijää: kuinka nopeasti potilas pääsee aloittamaan hoidon, tai vertailla erilaisten syöpien hoitoketjujen toimintaa organisaatiossa. Hoitotyön organisoinnin kannalta myös esimerkiksi henkilökunnan päivittäisen kuormitustilanteen tarkastelu on olennaista – sitä ei kannattaisi tehdä esimerkiksi kuukausi jälkikäteen.

–Profit Softwaren avulla onnistuimme rakentamaan näkymän tietoon, jossa voidaan ottaa sekä hyvin yleisluontoisia näkymiä että pureutua hyvin syvälle tietoon, aina tarpeen mukaan. Lisäksi raportoinnin näkymät eivät rajoitu esimerkiksi vain taloudelliseen tietoon, vaan pääsemme kehittämään toimintaa kaikilla osa-alueilla. Tässäkin, kuten kaikessa toiminnassamme, järjestelmän hyöty kulminoituu potilastyössämme: voimme tarjota parasta mahdollista hoitoa potilaillemme, Puurunen sanoo.

Valtakunnallisesti ja kansainvälisesti toimivalle Docrateelle myös maantieteellinen ulottuvuus on merkittävä tekijä. Esimerkiksi eri alueilta tulevien potilaiden tai erilaisten syöpätyyppien analysointi, sekä toiminnan kannattavuuden vertailu kotimaisten ja ulkomaisten potilaiden välillä ovat näkökulmia, joita aiemmin olisi ollut hyvin työläs vertailla.

–Järjestelmän myötä pääsemme keskittymään datan ymmärtämiseen sen sijaan, että merkittävä osa työajasta kuluisi pelkkään tiedon keräämiseen. Lisäksi olemme nyt voineet ensimmäistä kertaa pureutua todella yksityiskohtaiseen tietoon, esimerkiksi tutkia markkinointimme onnistumista tietyllä alueella, tätä ei olisi voitu aiemmin tehdä potilastiedon vaarantumatta, Puurunen kertoo.

–Qlik Sense oli meille juuri oikea valinta: helppokäyttöinen ja salamannopea raportointityökalu, joka tehostaa niin taloushallinnon, ylilääkäreiden, johtoryhmän kuin tiimien esimiesten päivittäistä työtä, Puurunen jatkaa.

Koeprojektista tuotantoon

Docrateen ja Profit Softwaren yhteistyö alkoi Acute-potilastietojärjestelmän toimittajan Vitecin suosituksesta. Profit Softwaren aiempi kokemus Acuten kanssa rakennetuista integraatioista vakuutti ja ensin toteutettiin proof-of-concept –koeprojekti, jossa tehtiin esimerkkiraportti Docrateen dataan.

–Näimme heti, miten järjestelmä toimii meidän omalla datallamme arkipäivän työssä. Sen perusteella oli helppo todeta järjestelmän hyödyllisyys ja ryhdyimme toteuttamaan hanketta. Yhteistyömme Profit Softwaren kanssa sujui erinomaisesti. He tunsivat Acuten aiemmin ja heidän tiiminsä todella halusi mukauttaa raportoinnin juuri syöpäsairaalamme tarpeisiin, jotka poikkeavat esimerkiksi lääkärikeskuksen tarpeista merkittävästi, Puurunen sanoo.