AWS Data Exports y FOCUS 1.0: el matrimonio perfecto para controlar tus costes en la nube.

¿Qué es FOCUS 1.0?

Si eres habitual de este blog, habrás leído ya cosas relativas a Finops y FOCUS anteriormente. En efecto, FinOps Open Cost and Usage Standard (FOCUS) es una especificación de código abierto gestionada por la FinOps Foundation, diseñada para la normalización de datos de uso y costes en la nube.

Su objetivo principal es estandarizar la forma en que se representan los datos de costes y consumo de múltiples proveedores, facilitando la gestión financiera en entornos multicloud. FOCUS permite a las organizaciones consolidar información de distintas fuentes en un formato unificado, lo que mejora la claridad y eficiencia en el análisis financiero.

Su principal utilidad radica en la simplificación de la gestión financiera en entornos cloud. A través de la normalización de datos, FOCUS permite analizar costes de manera estandarizada, optimizando el control del gasto y mejorando la toma de decisiones en organizaciones que operan con múltiples proveedores de servicios en la nube. Esto permite a los equipos de FinOps y finanzas identificar oportunidades de ahorro, detectar anomalías en costes y mejorar la asignación de presupuestos.

De ahí la importancia del anuncio en Junio de 2024 de AWS en el que indicaba que su servicio AWS Data Exports ya soportaba exportación de informes con FOCUS 1.0. Hasta ese momento, AWS tenía su propio estándar de reporting de costes y consumo: Cost and Usage Report, más conocido como CUR o CUR 2.0 en su versión mejorada.

En comparación con CUR 2.0, FOCUS (y herramientas como FOCUS) presentan ventajas en términos de normalización multicloud, ya que CUR 2.0 se centra exclusivamente en AWS. Dependiendo del caso de uso, FOCUS puede ser una mejor opción para organizaciones con entornos multicloud, mientras que CUR 2.0 será más eficiente para quienes operan únicamente en AWS y requieren datos detallados en este entorno (puesto que CUR 2.0 ofrece un mayor nivel de detalle exclusivamente dentro del ecosistema de AWS).

¿En qué consiste AWS Data Exports?

AWS Data Exports es un servicio que permite a los usuarios crear exportaciones de datos de facturación y gestión de costes de AWS utilizando consultas SQL básicas. Estas exportaciones se entregan de forma recurrente en un bucket de Amazon S3 designado, facilitando su integración con herramientas de BI o soluciones de informes de terceros. Además, AWS Data Exports ofrece la posibilidad de visualizar estos datos mediante una integración con Amazon QuickSight, permitiendo desplegar un panel de control preconstruido de costes y uso en cuestión de minutos.

Entre las funcionalidades más destacadas de AWS Data Exports en relación con la gestión de costes, se incluyen:

• Creación de exportaciones recurrentes. Se pueden programar exportaciones periódicas de sus datos de facturación y uso, disponibles en formatos CSV o Parquet, lo que facilita el análisis continuo y actualizado de los costes.
• Control detallado de los datos exportados. Mediante la selección de columnas y el filtrado de filas utilizando SQL básico, permite flexibilidad para personalizar las exportaciones e incluir únicamente la información relevante para sus análisis específicos.
• Integración sin interrupciones con herramientas de análisis. La integración directa con Amazon QuickSight permite visualizar sus datos de facturación y uso en un panel de control preconstruido, facilitando la interpretación y el análisis de los costes de manera eficiente.

Así mismo, en lo relativo a FOCUS 1.0, incluye las siguiente funcionalidades o ventajas añadidas:

• Organización estandarizada de costes. FOCUS 1.0 estructura los costes en columnas definidas, como ListCost, BilledCost y EffectiveCost, asegurando que cada tipo de dato de facturación se ubique en una columna consistente. Esto permite una referencia clara y precisa tanto dentro de una misma fuente como entre distintas fuentes. Además, calcular descuentos es más sencillo, ya que puede realizarse con una fórmula única, como EffectiveCost/ListCost.
• Estructura homogénea para los datos. Para mantener un formato uniforme, FOCUS 1.0 utiliza un esquema estandarizado que asigna cada tipo de información de facturación a la misma columna sin importar la fuente. También incluye cinco columnas específicas de AWS para datos exclusivos de facturación, como los tipos de uso y las categorías de costes.
• Valores unificados. Con FOCUS 1.0, los valores de ciertos campos, como la categoría del servicio y la cantidad de uso, siguen un estándar único. Por ejemplo, si un cálculo se basa en el tiempo, siempre se registrará como "Hours", evitando variaciones como "hr" o "hrs". Esto elimina la necesidad de conversiones o ajustes adicionales al analizar los datos.

Como podemos imaginar, la conformidad de AWS Data Exports con FOCUS es crucial para que estos datos puedan integrarse y ser útiles en los, cada vez más habituales, entornos multicloud. Al alinearse con este estándar, AWS Data Exports facilita la normalización y consolidación de datos de múltiples proveedores, simplificando la gestión financiera y permitiendo comparaciones más coherentes y precisas entre diferentes entornos de nube.

¿Qué tal funciona este matrimonio?

Pues, de momento, parece que el compromiso de AWS con FOCUS es firme y duradero. Prueba de ello es que a los pocos meses del primer anuncio ya tenía una versión mejorada con menos brechas de conformidad y disponibilidad general en todas las regiones.

Como podemos observar, tanto desde la web de AWS como desde la de FOCUS (haciendo referencias a la de AWS), se ofrece una solución automatizada para implementar esta arquitectura en multicloud incluido un dashboard recomendado para FOCUS y que se puede desplegar fácilmente con cloudformation siguiendo los manuales antes indicados.

Lo hemos probado manualmente en una única cuenta y, ciertamente, AWS Data Exports es sencillo de configurar. Dicho servicio está accesible desde la consola de Billing and Cost aunque directamente podemos buscar el servicio vía buscador.

Al configurar la exportación, pide configurar un bucket de S3 donde vuelca todos los datos en formato Parquet.

Con dicho bucket como Data Source hemos configurado un crawler de Glue que nos cree la base de datos y tabla en Glue con los siguientes pasos. Primero, configuramos la fuente de datos:

Y, a continuación, configuramos la tabla de Glue (si necesitamos que la cree, se puede hacer desde este mismo paso):

Una vez creado el crawler (programado o bajo demanda) lo ejecutamos y, así, se creará la tabla a la que podremos acceder desde Athena sin problemas:

De esta forma, si queremos acceder desde QuickSight solo tenemos que habilitar el data source en la configuración de QuickSight y podremos visualizar los datos para, luego, implementar el dashboard que nos interese. Como los datos están en un bucket en formato Parquet, es sencillo acceder a ellos desde cualquier otra herramienta que acepte dicho formato.

Como podemos observar, el acceso a estos datos es rápido y sencillo y todavía más usando las herramientas que facilita AWS para el caso de multicuenta (enlazada anteriormente).

Por último, aquí podemos ver las columnas que obtenemos con la exportación así como las disconformidades con el estándar, lo cual es muy de agradecer para evitar quebraderos de cabeza.

Conclusiones

En resumen, el matrimonio de AWS Data Exports con FOCUS 1.0 tiene mucho futuro y representa un avance significativo en la gestión de costes en entornos multicloud. Gracias a la normalización de datos que ofrece este estándar, las organizaciones pueden consolidar y analizar información de costes de múltiples proveedores de manera unificada, mejorando la claridad y eficiencia en la toma de decisiones financieras.

La inclusión de funcionalidades como la estructuración estandarizada de costes, la homogeneización de datos y la unificación de valores simplifica notablemente la gestión financiera en la nube. Además, la integración con Amazon QuickSight y la posibilidad de exportar datos en formatos accesibles como CSV o Parquet permiten a los equipos de FinOps optimizar sus flujos de trabajo y mejorar la supervisión del gasto en la nube. La facilidad de configuración de AWS Data Exports y su integración con herramientas como Glue y Athena demuestran que esta solución no solo es potente, sino también accesible para aquellas organizaciones que buscan mejorar su control financiero en la nube.

Si tu organización necesita ayuda para implantar soluciones de FinOps y aprovechar al máximo las capacidades de FOCUS 1.0, en Paradigma Digital podemos ofrecerte el apoyo necesario para optimizar la gestión de costes en la nube y mejorar la eficiencia financiera de tu empresa.