La inteligencia de datos acelera la transformación de Naturgy.

Con 180 años de historia en el sector energético, Naturgy ofrece soluciones inteligentes e innovadoras, apostando por la vanguardia tecnológica. En estos años de experiencia, ha diversificado su negocio, convirtiéndose en el primer grupo que integra gas y electricidad en España.

Los últimos años de Naturgy vienen marcados por cambios decisivos en la estrategia, expandiendo su actividad internacional y siendo pioneros en la apuesta por las energías limpias, las nuevas tecnologías de la transición energética y la digitalización.

Teniendo como referencia esa apuesta por la innovación, desde Paradigma hemos acompañado a Naturgy en el desarrollo de un producto vanguardista, que tiene como objetivos fundamentales: integrar la Inteligencia de Datos de Aprovisionamientos y Gestión de la Energía y Mercados; y gestionar la coordinación técnica de las negociaciones sobre las condiciones económicas de los aprovisionamientos de gas.

Análisis del dato para mejorar la toma de decisiones.

El principal desafío al que se enfrenta el equipo de Naturgy es la gestión y carga de todas las fuentes de datos necesarias para poder realizar análisis que les permitan tomar las decisiones adecuadas.

Antes, los múltiples orígenes de datos se descargaban manualmente y se trataban en un Excel de forma recurrente, consumiendo gran parte del tiempo del equipo de Negocio. Además, estos datos se trabajaban en un entorno local, generando una gran dependencia de personas concretas dentro del equipo para mantener en funcionamiento todo el proyecto.

Este proyecto es el resultado de tres fases (un proyecto piloto y dos etapas de implementación) en las que Naturgy confía en Paradigma para conseguir los retos que se propusieron.

Todos los orígenes de datos que se utilizan en esta área se obtienen de distintas webs, tanto de acceso libre como de acceso con credenciales. Originalmente, el equipo de Naturgy dedicaba un tiempo todas las semanas a visitar y recorrer las webs, descargar los ficheros necesarios, y tratarlos en un Excel que se utilizaba como cuadro de mando para la toma de decisiones.

Esto entrañaba varios inconvenientes:

• Una persona del equipo descargaba un fichero en su ordenador y lo integraba en el Excel, lo que hacía imposible que todas las personas del equipo tuviesen la misma información en todo momento.
• Esa descarga manual y repetitiva de ficheros consumía mucho tiempo del equipo.

Para mejorar este proceso, se desarrolla una solución que consigue la automatización de todas las descargas de ficheros, todo ello en un entorno Cloud que garantiza la escalabilidad y el acceso compartido a los datos, y se traslada el cuadro de mando a una herramienta de visualización que permite al equipo centrar su trabajo en analizar los datos y no en procesarlos.

El proyecto consta de las siguientes etapas:

• Identificación de todas las fuentes de datos que se utilizan, y la forma en la que se obtienen.
• Definición de una solución de arquitectura en la nube, concretamente en Azure.
• Automatización de la descarga de los datos y almacenamiento en Azure en una primera capa raw.
• Tratamiento de los datos para generar una capa silver que permita el análisis de la información.
• Desarrollo de un cuadro de mando en Power BI para analizar la información.

Los componentes del proyecto son:

La automatización de la descarga de los ficheros se realiza con Azure Functions, en la que periódicamente se ejecutan procesos de scraping con Python que recorren las distintas webs en busca de nuevos ficheros.

Los ficheros descargados se almacenan en Azure Blob Storage para que el equipo de Naturgy tenga acceso a ellos y pueda consultarlos en su capa raw.

Los ficheros en raw/silver también se almacenan en Azure Data Lake, con el objetivo de centralizar la información de los datos en Naturgy y disponibilizar todo el contenido para que pueda ser usado por toda la compañía.

En un último paso de tratamiento de los datos, la información que se va a analizar se escribe en Azure SQL. Finalmente, los datos de Azure SQL son la fuente de datos del dashboard en Power BI.

En un punto intermedio, se detecta que es posible incluir un primer ciclo básico de CI/CD que permitiese tener un entorno de desarrollo y productivo con una gestión ágil de los cambios. Cobra especial relevancia la particularidad de la obtención de los datos, ya que se trata, en muchos casos, de webs públicas que cambian constantemente. Habrá que realizar pequeños ajustes en el código de obtención, por lo que es importante tener un ciclo de CI/CD que permita subir los cambios a producción.

Este proyecto ha servido para sentar las primeras bases de trabajo en proyectos de datos en Naturgy, que pueden dar pie a que la compañía evolucione en la gestión, en el tratamiento y en el almacenamiento de los datos, pudiendo obtener un retorno mucho mayor de los mismos gracias a los cambios aplicados.

Paradigma ha trabajado todo el proyecto de manera muy cercana a Naturgy, creando un único equipo, por lo que ha sido posible ir iterando de forma ágil sobre la solución. Al tratarse de un proyecto que se ha desarrollado 100% remoto, la disponibilidad del equipo de Naturgy ha sido clave para poder llegar a una solución con éxito.

Esta comunicación fluida y constante ha permitido ajustar mucho la solución al uso y necesidades de Naturgy, además de facilitar el traspaso de conocimiento, siendo una herramienta que se ha podido utilizar desde el primer momento.

Gracias a la solución planteada, el equipo de Naturgy puede dedicar gran parte de su tiempo al análisis de los datos en una herramienta de visualización centralizada y disponible.

Se ha desarrollado un cuadro de mando que permite centrar los esfuerzos del equipo de Naturgy en analizar y monitorizar una serie de variables para poder tomar las acciones necesarias de cara a las negociaciones de nuevas condiciones de aprovisionamientos de gas.

Se ha mejorado la situación de la que se partía inicialmente:

• Al llevar todo a un entorno Cloud y centralizado, ha disminuido la dependencia de individuos concretos. En todo momento, todo el equipo tiene una única versión válida de los datos y del cuadro de mando, por lo que todos pueden trabajar sobre una verdad común.
• Se ha eliminado todo el trabajo manual y repetitivo, pudiendo dedicar el tiempo a lo realmente importante.

Mejora en la toma de decisiones.

Debido a esto, se espera que la solución se refleje en una mejora de la toma de decisiones y permita al equipo una mejor negociación del aprovisionamiento del gas, consiguiendo un retorno económico mayor.

Adicionalmente, se ha definido una serie de buenas prácticas en lo que a proyectos de datos se refiere, por lo que se han sentado las bases para poder evolucionar en otros departamentos de la compañía, contando con la ayuda de Paradigma en la mejora de sus procesos.