Casos de éxito
ES EN

Nuevo Business Intelligence Financiero.

2024

MAWDY (MAPFRE)

Data Analytics, Data Visualization, Full Cloud, BI, AWS, Snowflake y PowerBI

¿Quieres que trabajemos juntos?

Say Hello!
 

MAWDY, la unidad de asistencia de MAPFRE.

MAWDY, anteriormente conocida como MAPFRE Asistencia, es una compañía global especializada en modelos de distribución digitales, que ofrece servicios y soluciones que complementan sus ofertas más allá del seguro tradicional.

Partiendo de un BI ya existente, MAWDY necesitaba un cambio de tecnología. Esta nueva solución tiene como finalidad la implantación de un nuevo Business Intelligence Contable basado en la nueva arquitectura de Atenea y Power BI.

Para conseguirlo, es necesario realizar un rediseño funcional y técnico para resolver problemas de rendimiento, alineando las necesidades actuales y futuras que garanticen su continuidad.

El desafío: datos y análisis.

El principal reto al que se enfrenta el equipo de MAWDY es la necesidad de realizar un rediseño, tanto a nivel técnico como funcional, de su sistema de Business Intelligence Financiero desarrollado en sistemas on-premise.

Es por ello que el objetivo del proyecto es la implantación de un nuevo BI Financiero que esté basado en la arquitectura de Atenea, la plataforma corporativa de datos de MAPFRE, y que permita al equipo de MAWDY continuar realizando el análisis de la información contable y la consecuente toma de decisiones mediante el uso de cuadros de mando de PowerBI.

El segundo desafío al que nos enfrentamos es el de lograr que los procesos ETL implementados sean capaces de gestionar grandes volúmenes de datos (millones de registros) donde, dependiendo del país, se procesan diferentes cantidades de datos.

Para conseguir estos objetivos estructuramos las siguientes acciones:

  • Diseño e implementación de los procesos de ETL para la automatización de la carga de datos desde los diferentes orígenes.
  • Implementación de validaciones y reglas de calidad en la carga de los datos.
  • Creación de un DataMart para la explotación de los datos contables de las entidades de cada país.
  • Desarrollo de los cuadros de mando e informes necesarios para la explotación de los datos contables en Power BI.
  • Configuración de la seguridad y perfilado de usuarios.
  • Formación Power BI.

Explotación de datos y modelos de autoservicio con Power BI

La implementación del nuevo Business Intelligence Financiero de MAWDY, así como la gestión de grandes volúmenes de datos en función de cada país, nos lleva a proponer una solución basada en la arquitectura Atenea, empezando por el análisis de los procesos actuales hasta conseguir un desarrollo de modelos de autoservicio en Power BI.

  • Análisis de los procesos on-premise implementados en PowerCenter para migrarlos a Python/PySpark y desplegarlos en AWS.
    MAWDY tiene la necesidad de migrar su sistema on-premise de BI Financiero implementado en PowerCenter a la nube de AWS. Para ello, es necesario analizar los procesos a migrar para extraer la lógica de negocio y aplicarla en el nuevo sistema de BI en la nube, validando que se obtengan los mismos resultados.
  • Orquestación de los procesos ETL mediante Airflow.
    Se integra Atenea, la plataforma de analítica avanzada de MAPFRE, con el servicio autogestionado de Airflow (MWAA) para la orquestación de los procesos de extracción, transformación y carga de datos en el Datawarehouse.
  • Creación de DataMart en Snowflake para el modelado y la disponibilización de los datos contables. El siguiente paso es crear un modelo de estrella compuesto por varias tablas de hechos y dimensiones de tipo SCD2, cuyos datos se han preparado previamente en el lado de AWS antes de su volcado al DWH de Snowflake. Es ahí donde, a través de vistas, se preparan los datos de acuerdo a las necesidades de los usuarios/as que consumen los informes de Power BI.
  • Desarrollo de modelos de autoservicio en Power BI. En esta última fase del proyecto, se desarrollan modelos de autoservicio en Power BI para la disponibilización de datos a los usuarios/as finales, permitiéndoles crear sus propios reportes ad-hoc.
  • Diseño e implementación de procesos ETL mediante Python y/o PySpark para la automatización de la carga de datos y su procesado.
    Debido a la volumetría cambiante de los diferentes países donde MAWDY opera, se implementan procesos ETL que sean escalables y capaces de hacer frente a diferentes volúmenes de datos.
  • Creación de DataLake en S3 para el almacenamiento de datos.
    Para el almacenamiento de los datos en sus diferentes fases, se usa S3 para particionar los datos por país y año, de tal forma que cada país pueda procesar y consumir sus datos de manera independiente sin alterar la operativa del resto de países.
  • Desarrollo / migración de cuadros de mando e informes en PowerBI. La migración de cuadros de mando e informes se completa en Power BI, desarrollando los cuadros de mando o informes necesarios para la correcta explotación de datos contables.

Eficiencia en gestión de datos a gran escala.

Power BI

Eficiencia en gestión de datos a gran escala.

El resultado en datos

  • Se han procesado datos de los 59 países donde MAWDY tiene presencia.
  • El nuevo sistema en cloud genera resultados fiables y validados por negocio.
  • Integramos datos de múltiples fuentes como SAP, Snowflake y ficheros.
  • Aprovechamos los aceleradores de la plataforma de analítica avanzada in-house (Atenea).
  • Se han seguido las “best practices” de MAPFRE en seguridad y trazabilidad.
  • Los tiempos de carga de datos en el Data Warehouse y de actualización de los flujos de datos se han optimizado.
  • Se ha construido un nuevo sistema de orquestación basado en Airflow que maximiza el grado de paralelización y reduce los tiempos.
  • Se han sentado las bases técnicas para los futuros proyectos de MAWDY que procesen datos provenientes de SAP.
  • Las capacidades de autoservicio para el negocio se han mejorado notablemente.
  • Adecuación a la nueva jerarquía de cuentas para obtener mayor granularidad y detalle en los informes.

Tecnologías aplicadas

AWS como proveedor Cloud.

S3 para el almacenamiento de datos.

Python y PySpark para los procesos ETL de carga y transformación de datos.

Airflow para la orquestación de procesos.

Snowflake para el modelado y la disponibilización de datos.

PowerBI para la visualización y explotación
de datos.

numbers

+30tablas de SAP
procesadas
+15dimensiones SCD2
generadas
3modelos estrella
generados
+6procesos ETL
orquestados