Dentro de la evolución destacan las mejoras de rendimiento y actualización de las versiones de la plataforma de Big Data corporativa para una mejor organización y gestión de parámetros, transformación de las tablas de origen a tablones y migración de tablas a un módulo común denominado “common data”.

Este proyecto cuenta con los procesos propios de gobierno de los datos, para lo que se establecen una aprobación previa a la ingesta y una serie de validaciones técnicas y funcionales realizadas en la capa de landing de la plataforma. La capa Business a la que acceden los usuarios se alimenta de dos tablas (como numerador y denominador de los presupuestos). 

El reporte de los datos se realiza con MicroStrategy y el proceso ETL se basa en tecnología Scala/Spark.

Abordamos los desarrollos de los proyectos específicos que exige esta regulación, realizando la previa definición y análisis de requerimientos, para el posterior  diseño y programación con el modelado de datos, procesos ETL basados en Scala/Spark, y las pruebas de usuario e integración para la puesta en producción (despliegue, optimización de procesos, etc..).

Una vez realizado el despliegue del proyecto prestamos soporte al mismo a través de un centro de excelencia donde realizamos tareas propias de la calidad del software, monitorización, análisis y optimización de procesos, coordinación de updates y migraciones, así como elaboramos “velocity tools” ó utilidades comunes con servicio común para todos los proyectos de la plataforma.

Las principales tecnologías son Scala/Spark para el procesamiento, en una BBDD Hive, y bajo un planificador en Control-M.

El desarrollo del proyecto se basa en el diseño y programación (modelado de datos, procesos ETL), pruebas y puesta en producción (despliegue, optimización de procesos, etc..). Todo ello basado en procesos bajo Powercenter, en una base de datos Teradata con reportes al usuario final en Microstrategy.

El objetivo es “Establecer unas reglas de juego comunes para todas las entidades de crédito y proveedores de servicios de pago”.

Para la correcta ejecución del proyecto se participa en el proceso de levantamiento de los requisitos funcionales en cuanto a los productos a los que afecta, clientes (personas físicas), nivel de aplicación (a nivel “cuenta”). Con ese punto de partida realizamos el análisis de la plataforma informacional de la entidad para determinar cómo extraer la información necesaria para el reporte, solicitando la información necesaria que no existe en el origen. Para garantizar que la información es la correcta y necesaria para el reporte se realiza un muestreo ó sets de catas de información con los usuarios.

En el contexto del proyecto se realiza igualmente el modelado e implementación de las transformaciones en Powercenter, para el desarrollo de los procesos de modelado que permiten la obtención del producto comercial, cliente, comisiones asociadas a cada producto en el periodo de aplicación, intereses cargados y abonados, tipos de interés, así como la carga y extracción de información que no está en la plataforma. Desde nuestro equipo se realiza la creación de tablas finales y definición de estructura de salida y reporte. 

Para asegurar el rendimiento de los desarrollos es necesario abordar una recuperación de todo el volumen de información asociada a una cuenta (varios clientes asociados a la misma) en un año. Dentro del alcance de la colaboración se incluyen de igual forma la necesaria documentación técnica y funcional de los desarrollos; la ejecución de pruebas integrales, documentación de pruebas y resolución de incidencias

La cesión de la información, se realiza mediante la consolidación de la información obtenida y se carga en tablas finales, descarga de información desde tabla final a fichero plano para cesión. Finalizando la explotación de la información en Microstrategy con disponibilidad del detalle de la información para consultas de los clientes así como la creación de informes para la explotación de la información del reporte.