El desarrollo del proyecto se basa en el diseño y programación (modelado de datos, procesos ETL), pruebas y puesta en producción (despliegue, optimización de procesos, etc..). Todo ello basado en procesos bajo Powercenter, en una base de datos Teradata con reportes al usuario final en Microstrategy.

El objetivo es “Establecer unas reglas de juego comunes para todas las entidades de crédito y proveedores de servicios de pago”.

Para la correcta ejecución del proyecto se participa en el proceso de levantamiento de los requisitos funcionales en cuanto a los productos a los que afecta, clientes (personas físicas), nivel de aplicación (a nivel “cuenta”). Con ese punto de partida realizamos el análisis de la plataforma informacional de la entidad para determinar cómo extraer la información necesaria para el reporte, solicitando la información necesaria que no existe en el origen. Para garantizar que la información es la correcta y necesaria para el reporte se realiza un muestreo ó sets de catas de información con los usuarios.

En el contexto del proyecto se realiza igualmente el modelado e implementación de las transformaciones en Powercenter, para el desarrollo de los procesos de modelado que permiten la obtención del producto comercial, cliente, comisiones asociadas a cada producto en el periodo de aplicación, intereses cargados y abonados, tipos de interés, así como la carga y extracción de información que no está en la plataforma. Desde nuestro equipo se realiza la creación de tablas finales y definición de estructura de salida y reporte. 

Para asegurar el rendimiento de los desarrollos es necesario abordar una recuperación de todo el volumen de información asociada a una cuenta (varios clientes asociados a la misma) en un año. Dentro del alcance de la colaboración se incluyen de igual forma la necesaria documentación técnica y funcional de los desarrollos; la ejecución de pruebas integrales, documentación de pruebas y resolución de incidencias

La cesión de la información, se realiza mediante la consolidación de la información obtenida y se carga en tablas finales, descarga de información desde tabla final a fichero plano para cesión. Finalizando la explotación de la información en Microstrategy con disponibilidad del detalle de la información para consultas de los clientes así como la creación de informes para la explotación de la información del reporte.

Se implementa una solución vanguardista, que reduce el tiempo de desarrollo del proceso de desarrollo de nuevas analíticas y algoritmos por parte del usuario, planteando una App en la cual el usuario tenga un catálogo de funciones a utilizar y que pueda combinarlas para formar una pipeline con el procesamiento que el desee. 

Nuestra arquitectura, totalmente integrable, utiliza contenedores con Docker y Kubernetes (OpenShift) de forma que pueda escalar horizontalmente fundamentada en microservicios que exponen los datos a través de diferentes API y, con una BBDD basada en documentos y escalables para salvar el problema de la mutabilidad de los datasets y la concurrencia. La persistencia está basada en Indexación de la información; realizamos una refactorización del código utilizando una atomización de funciones y parametrización de las mismas, y para en los ámbitos de Devops se crean y configuran pipelines de despliegues.

Las principales tecnologías aplicadas son: Python, django, Apache Airflow, mongoDB, postgreSQL y RabbitMQ como protocolo de mensajería.