Bluetab

an IBM Company

Bluetab

Detección de Fraude Bancario con aprendizaje automático II

by

Detencción de fraude bancario con aprendizaje automático II

Bluetab

¡Un modelo para pillarlos a todos !

La creación de modelos descriptivos y predictivos se basa en la estadística y el reconocimiento de patrones de grupos con características similares. Hemos creado una metodología que permite la detección de anomalías usando el comportamiento histórico de transacciones del canal ATM para una de las entidades financieras más importantes en Latam.

Mano a mano con el cliente y un grupo de estadistas y expertos en tecnología, hemos creado una herramienta para los procesos de auditoría que facilita la detección de anomalías en los frentes más importantes y accionables para el negocio. Desde problemas operativos, de disponibilidad, errores tecnológicos, hasta fraude interno o externo.

El canal de ATMs representa una área de negocio que se encuentra sometida a contacto directo con el público usuario, y es vulnerable por razones como la conectividad y fallas de hardware. El número de transacciones diarias de una red de más de 2000 cajeros involucra una cantidad enorme de indicadores y métricas registradas tanto de carácter tecnológico, como también operativo. Actualmente un grupo de auditores se da a la tarea de muestrear y analizar de manera manual este stream de datos para identificar riesgos sobre la operativa del canal ATM.

Las características de la operativa, hacen que la tarea de reconocer patrones sea diferente para cada ATM dado que la tecnología en cada unidad y el volumen de transacciones está influenciada por factores como el fenómeno estacional, la demografía e incluso el estatus económico de la zona. Para hacer frente a este reto /bluetab desarrolló un framework alrededor de Python y SQL para la segmentación de las tipologías más adecuadas conforme a criterios variables, y la detección de anomalías sobre un conjunto de más de 40 indicadores clave para la operativa del canal. Para ello se  involucraron modelos de aprendizaje no supervisado, y  series de tiempo que nos permiten identificar entre grupos de cajeros comparables y lograr una detección de anomalías más certera.

Los resultados de este framework, puramente matemáticos, fueron condensados y traducidos en métricas de vulnerabilidad manejables para el negocio, y que desarrollamos de la mano del usuario final en Qliksense. De esta manera pusimos en manos del cliente un entorno de análisis que cubre todos los aspectos importantes de la operativa pero que además permite incorporar otras casuística a demanda.

Ahora los auditores pueden hacer análisis sobre meses de información que considera las situación temporal del mercado, la posición geográfica o las características tecnológicas y transaccionales, donde antes solo tenían capacidad para analizar muestras.

Trabajamos con nuestro cliente para impulsar iniciativas que permitan incorporar la tecnología y hacer más eficiente la operación y agilizar el tiempo de respuesta ante cualquier incidencia.

¿Quieres saber más de lo que ofrecemos y ver otros casos de éxito?
DESCUBRE BLUETAB

SOLUCIONES, SOMOS EXPERTOS

DATA STRATEGY
DATA FABRIC
AUGMENTED ANALYTICS

Te puede interesar

Detección de Fraude Bancario con aprendizaje automático

by

Detencción de fraude bancario con aprendizaje automático

Bluetab

El sector financiero se encuentra en la actualidad sumergido en una lucha contra el fraude bancario siendo uno de sus mayores retos. En el 2018, la banca española notificó un aumento del 17,7% de las reclamaciones producidas por cobros o transacciones indebidas con respecto al año anterior y sólo en 2017 hubo más de 123.064 fraudes online a empresas y particulares.

La banca española está encarando la batalla contra el fraude desde un punto de vista tecnoló-gico. Actualmente en pleno proceso de digitaliza-ción, con inversiones que rondan los 4.000 millo-nes de euros anuales, está dedicando sus esfuer-zos en la adopción de nuevas tecnologías como el Big Data y la Inteligencia Artificial. Con estas tecnologías se pretende mejorar y automatizar distintos procesos donde se incluye la gestión y detección del fraude.

En /bluetab estamos llevando a cabo distintas iniciativas dentro del marco tecnológico de Big Data e Inteligencia Artificial en el sector finan-ciero. En el marco de nuestras iniciativas de “Advanced Analytics & Machine Learning” nos encontramos actualmente colaborando en proyectos de Seguridad y Fraude donde, gracias al uso del Big Data y la Inteligencia Artifi-cial, somos capaces de ayudar a nuestros clien-tes a crear modelos predictivos más precisos.

Y, ¿cómo el aprendizaje automático puede ayudar a prevenir el fraude bancario?. Poniendo foco en las colaboraciones realizadas dentro del área de Fraude, /bluetab afronta este tipo de iniciativas partiendo de una serie de transferencias identificadas como fraude y de un set de datos con las sesiones de los usuarios en la banca electrónica. El reto consiste en generar un modelo capaz de predecir cuándo una sesión puede ser fraudulenta poniendo el “target” en los falsos positivos y negativos que el modelo pueda producir.

La comprensión del negocio y de los datos es de gran importancia para realizar una correcta modelación

Para la resolución de este tipo de retos tecnológicos, hemos observado cómo el uso de una meto-dología es de vital importancia para poder encarar estos retos. En /bluetab hacemos uso de una adaptación in-house y “ad-hoc” para Banca de la metodología CRISP-DM en la cual distinguimos las siguientes fases:

  • Comprensión del negocio
  • Comprensión de los datos
  • Calidad de los datos
  • Construcción de predictores inteligentes
  • Modelación


Consideramos que en los proyectos de detección de Fraude Online la comprensión del negocio y de los datos es de gran importancia para realizar una correcta modelación. Un buen análisis de los datos nos permite poder observar cómo éstos están relacionados con la variable objetivo (el fraude), así como otros aspectos estadísticos (distribución de los datos, búsqueda de outliers, etc.) de no menor importancia. En estos análisis se puede observar la existencia de variables con gran capacidad predictiva las cuales denominamos “variables diamante”. Atributos como: el número de visitas a la web, el dispositivo utilizado para la conexión, el sistema operativo o el navegador utilizado para la sesión (entre otras), suelen encontrarse fuertemente relacionadas con el fraude bancario. Además, el estudio de estas variables nos dice que, de manera individual, pueden llegar a reunir más del 90% de las transacciones fraudulentas. Es decir, el análisis y la comprensión del negocio y los datos, permite evaluar la mejor forma de plantear una solución sin vernos perdidos en un mar de datos.

Una vez se tiene el conocimiento del negocio y de los datos y tras haber obtenido aquellas varia-bles con mayor poder predictivo, es imprescindible contar con herramientas y procesos que aseguren la calidad de estas variables. Es indispensable realizar los entrenamiento de los modelos predictivos con variables y datos históricos fiables. Un entrenamiento con variables de baja calidad podría dar lugar a modelos erráticos con gran impacto dentro del negocio.

Tras asegurar la fiabilidad de las variables predictoras seleccionadas, la siguiente etapa pasa por construir variables predictoras inteligentes. Estas variables seleccionadas en los pasos anteriores, aún teniendo una fuerte relación con la variable a predecir (target) puede provocar ciertos problemas de comportamiento a la hora de realizar la modelación, es por eso que es nece-sario un paso de preparación de los datos. Esta preparación de datos pasa por realizar ciertas adaptaciones a las variables para poder ser utilizada dentro del algoritmo, como puede ser el tratamiento de nulos o el tratamiento de variables categóricas. Adicionalmente, se debe realizar un tratamiento correcto de los outliers identificados en los pasos previos, para no incluir información que pueda distorsionar el modelo.

De la misma manera, con el objetivo de “afinar” el resultado, es de vital importancia aplicar distintas transformaciones a las variables para mejorar el valor predictivo del modelo. Transformaciones matemáticas básicas como la exponencial, la logarítmica o la estandarización, junto con transformaciones más complejas como la WoE permiten poder mejorar de manera nota-ble la calidad de los modelos predictivos gracias al uso de variables más trabajadas facilitando la tarea al modelo.

Por último, la etapa de modelación se centra en enfrentar distintos tipos de algoritmos con distintas configuraciones de hiperparámetros para obtener aquél modelo que genere una mejor predicción. Aquí es donde herramientas como Spark nos ayudan en gran medida, al poder realizar entrenamientos de distintos algoritmos y configuraciones de manera rápida, gracias a la programación distribuida.

Para la sostenibilidad de su aplicación y evitar la obsolescencia del modelo, esta metodología se debe ir siguiendo de manera mensual en cada caso de uso y más a la hora de encarar una iniciativa como es el fraude bancario. Esto se debe a que pueden aparecer nuevas formas de fraude que no estén contempladas en los modelos entrenados. Por ello es importante tener entendimiento y seleccionar adecuadamente las variables con las que reentrenar los modelos, para que no se queden obsoletos con el tiempo, lo que podría perjudicar gravemente al negocio.

En definitiva, una buena metodología de trabajo es vital a la hora de enfrentarse a problemas dentro del mundo de la Inteligencia Artificial y Advanced Analytics, siendo esenciales las fases de comprensión del negocio y de los datos. Siendo un “must” en la actualidad el disponer de herramientas internas especializadas que permitan ejecutar este tipo de proyectos en pocas semanas, generando quick wins en nues-tros clientes y sus negocio

¿Quieres saber más de lo que ofrecemos y ver otros casos de éxito?
DESCUBRE BLUETAB

SOLUCIONES, SOMOS EXPERTOS

DATA STRATEGY
DATA FABRIC
AUGMENTED ANALYTICS

Te puede interesar

Espiando a tu kubernetes con kubewatch

by

Espiando a tu Kubernetes con Kubewatch

Bluetab

Desde la Práctica Cloud queremos impulsar la adopción de la nube como forma de trabajo en el mundo de IT. Para ayudar en esta tarea, vamos a publicar multitud de artículos de buenas prácticas y casos de uso, otros hablarán aquellos servicios clave dentro de la nube.

En esta ocasión hablaremos de Kubewatch.

¿Qué es Kubewath?

Kubewatch es una utilidad desarrollada por Bitnami Labs que permite el envío de notificaciones a distintos sistemas de comunicación.

Los webhooks soportados son:

  • Slack
  • Hipchat
  • Mattermost
  • Flock
  • Webhook
  • Smtp

Integración de kubewatch con Slack

Las imágenes disponibles están publicadas en el GitHub de bitnami/kubewatch

Si queréis, podéis descargaros la última versión para probarla en vuestro entorno local:

$ docker pull bitnami/kubewatch

Una vez dentro del contenedor podéis jugar con las opciones:

$ kubewatch -h

Kubewatch: A watcher for Kubernetes

kubewatch is a Kubernetes watcher that publishes notifications
to Slack/hipchat/mattermost/flock channels. It watches the cluster
for resource changes and notifies them through webhooks.

supported webhooks:
 - slack
 - hipchat
 - mattermost
 - flock
 - webhook
 - smtp

Usage:
  kubewatch [flags]
  kubewatch [command]

Available Commands:
  config      modify kubewatch configuration
  resource    manage resources to be watched
  version     print version

Flags:
  -h, --help   help for kubewatch

Use "kubewatch [command] --help" for more information about a command.

¿De qué tipos de recursos podemos obtener notificaciones?

¿Cuándo recibiremos una notificación?

En cuanto haya una acción sobre algún objeto de kubernetes, así como creación, destrucción o actualización.

Configuración

En primer lugar, crearemos un canal de slack y le asociaremos un webhook. Para ello, iremos a la sección de Apps de Slack, buscaremos “Incoming WebHooks” y pulsaremos “Add to Slack”:

En el caso de no tener aún un canal creado para este propósito daremos de alta uno nuevo:

En este ejemplo, el canal a crear se llamará “k8s-notifications”. Posteriormente debemos configurar el webhook, yendo para ello al panel de “Incoming WebHooks” y añadiendo una nueva configuración donde tendremos que seleccionar el nombre del canal al que queremos enviar notificaciones. Una vez seleccionado, la configuración nos devolverá una «Webhook URL» que será la que utilicemos para configurar Kubewatch. Opcionalmente, tenemos la posibilidad de seleccionar el icono (opción «Customize Icon») con el que visualizaremos la recepción de eventos y el nombre con el que llegarán (opción “Customize Name”).

En este punto ya estamos listos para configurar los recursos de kubernetes. En el GitHub de Kubewatch tenemos algunos ejemplos de manifiestos y también la opción de instalación por Helm. Sin embargo, aquí construiremos los nuestros propios.

En primer lugar, crearemos un fichero “kubewatch-configmap.yml” con el ConfigMap que servirá para configurar el contenedor de kubewatch:

apiVersion: v1
kind: ConfigMap
metadata:
  name: kubewatch
data:
  .kubewatch.yaml: |
    handler:
      webhook:
        url: https://hooks.slack.com/services/<your_webhook>
    resource:
      deployment: true
      replicationcontroller: true
      replicaset: false
      daemonset: true
      services: true
      pod: false
      job: false
      secret: true
      configmap: true
      persistentvolume: true
      namespace: false

Simplemente tendremos que activar con “true” o desactivar con «false» los tipos de recursos sobre los que queremos recibir notificaciones. Asimismo, establecemos la url del Incomming Webhook que dimos de alta previamente.

Ahora, para que nuestro contenedor tenga acceso a los recursos de kubernetes a través de su api vamos a dar de alta el fichero “kubewatch-service-account.yml” con un Service Account, un Cluster Role y un Cluster Role Binding:

kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: kubewatch
rules:
- apiGroups: ["*"]
  resources: ["pods", "pods/exec", "replicationcontrollers", "namespaces", "deployments", "deployments/scale", "services", "daemonsets", "secrets", "replicasets", "persistentvolumes"]
  verbs: ["get", "watch", "list"]
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: kubewatch
  namespace: default
---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: kubewatch
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: kubewatch
subjects:
  - kind: ServiceAccount
    name: kubewatch
    namespace: default

Por último, crearemos un fichero “kubewatch.yml” para desplegar la aplicación:

apiVersion: v1
kind: Pod
metadata:
  name: kubewatch
  namespace: default
spec:
  serviceAccountName: kubewatch
  containers:
  - image: bitnami/kubewatch:0.0.4
    imagePullPolicy: Always
    name: kubewatch
    envFrom:
      - configMapRef:
          name: kubewatch
    volumeMounts:
    - name: config-volume
      mountPath: /opt/bitnami/kubewatch/.kubewatch.yaml
      subPath: .kubewatch.yaml
  - image: bitnami/kubectl:1.16.3
    args:
      - proxy
      - "-p"
      - "8080"
    name: proxy
    imagePullPolicy: Always
  restartPolicy: Always
  volumes:
  - name: config-volume
    configMap:
      name: kubewatch
      defaultMode: 0755

Vemos que el valor de la clave “mountPath” será la ruta del fichero donde se escribirá la configuración de nuestro ConfigMap dentro del contenedor (/opt/bitnami/kubewatch/.kubewatch.yaml). Podemos ampliar aquí la información sobre cómo montar configuraciones en kubernetes. En este ejemplo, vemos que nuestro despliegue del aplicativo será a través de un único pod. Evidentemente, en un sistema productivo tendríamos que definir un Deployment con el número de réplicas que consideremos convenientes para tenerlo así siempre activo, aun en caso de pérdida del pod.

Una vez listos los manifiestos vamos a aplicarlos a nuestro clúster:

$ kubectl apply  -f kubewatch-configmap.yml -f kubewatch-service-account.yml -f kubewatch.yml

En unos pocos segundos tendremos listo el servicio:

$ kubectl get pods |grep -w kubewatch

kubewatch                                  2/2     Running     0          1m

El pod de kubewatch tiene asociado dos contenedores: kubewatch y kube-proxy, este último para atacar a la API.

$   kubectl get pod kubewatch  -o jsonpath='{.spec.containers[*].name}'

kubewatch proxy

Verificamos a través de los logs que ambos contenedores han levantado correctamente y sin mensajes de error:

$ kubectl logs kubewatch kubewatch

==> Config file exists...
level=info msg="Starting kubewatch controller" pkg=kubewatch-daemonset
level=info msg="Starting kubewatch controller" pkg=kubewatch-service
level=info msg="Starting kubewatch controller" pkg="kubewatch-replication controller"
level=info msg="Starting kubewatch controller" pkg="kubewatch-persistent volume"
level=info msg="Starting kubewatch controller" pkg=kubewatch-secret
level=info msg="Starting kubewatch controller" pkg=kubewatch-deployment
level=info msg="Starting kubewatch controller" pkg=kubewatch-namespace
... 
$ kubectl logs kubewatch proxy

Starting to serve on 127.0.0.1:8080

Podríamos igualmente acceder al contenedor de kubewatch para probar la cli, ver la configuración, etcétera:

$  kubectl exec -it kubewatch -c kubewatch /bin/bash

¡Ya tenemos listo nuestro notificador de eventos!

Ahora toca probar. Utilizaremos, por ejemplo, la creación de un deployment para testear el correcto funcionamiento:

$ kubectl create deployment nginx-testing --image=nginx
$ kubectl logs -f  kubewatch kubewatch

level=info msg="Processing update to deployment: default/nginx-testing" pkg=kubewatch-deployment

Los logs ya nos avisan que se ha detectado el nuevo evento, así que vamos a nuestro canal de slack para verificarlo:

¡El evento ha sido notificado correctamente!

Ya podemos eliminar el deployment de prueba:

$ kubectl delete deploy nginx-testing

Conclusiones

Evidentemente, Kubewatch no suple a los sistemas básicos de alerta y monitorización que todo orquestador productivo debe mantener, pero nos proporciona una manera fácil y eficaz de ampliar nuestro control sobre la creación y modificación de los recursos en kubernetes. En este caso de ejemplo, hemos realizado una configuración de kubewatch transversal a todo el clúster, “espiando” todo tipo de eventos, algunos quizá inservibles si mantenemos una plataforma como servicio, pues nos enteraríamos de cada uno de los pods creados, eliminados o actualizados por cada equipo de desarrollo en su propio namespace, lo cual es usual, legítimo y no aporta valor. Quizá sea más conveniente filtrar por los namespaces sobre cual queremos recibir notificaciones, como por ejemplo de kube-system, que es donde albergaremos generalmente nuestros servicios administrativos y donde solo los administradores deben tener acceso. En ese caso, simplemente tendremos que especificar el namespace en nuestro ConfigMap:

apiVersion: v1
kind: ConfigMap
metadata:
  name: kubewatch
data:
  .kubewatch.yaml: |
    namespace: "kube-system"
    handler:
      webhook:
        url: https://hooks.slack.com/services/<your_webhook>
    resource:
      deployment: true
      replicationcontroller: true
      replicaset: false

Otra utilidad interesante puede ser “escuchar” a nuestro clúster tras un ajuste signicativo de la configuración como, por ejemplo, de nuestra estrategia de autoescalado, herramientas de integración, etcétera, pues siempre nos notificará los scale up y scale down, pudiendo ser interesante sobre todo en un momento inicial. En definitiva, Kubewatch amplía el control sobre los clústeres, siendo nosotros quienes decidamos el alcance que le damos. En sucesivos artículos veremos cómo gestionar los logs y las métricas de forma productiva.

¿Quieres saber más de lo que ofrecemos y ver otros casos de éxito?
DESCUBRE BLUETAB

SOLUCIONES, SOMOS EXPERTOS

DATA STRATEGY
DATA FABRIC
AUGMENTED ANALYTICS

Te puede interesar

Servicio de Inteligencia artificial para la lectura de documentos no estructurados

by

Servicio de Inteligencia artificial para la lectura de documentos no estructurados

Proporcionamos un servicio BPaaS (Business Process as a Service) para una de las instituciones financieras líderes en innovación y tecnología en el mercado español. Realizamos la clasificación de decenas de tipologías de documentos no estructurados de los que además se extraen hasta 10 datos diferentes. Con un acierto superior al 98% en la clasificación de documentos y superior a un 90% en la extracción de información. 

Nuestra tecnología realiza un preprocesamiento de la documentación para posteriormente extraer tanto el texto como distintas características del documento para clasificarla más adelante mediante mecanismos de aprendizaje automático. Posteriormente se extraen los datos relevantes según la tipología documental utilizando tareas de identificación y categorización de información clave de entidades en texto mediante el uso de modelos sofisticados basados en redes neuronales y otros mecanismos de aprendizaje automático.

QR code screenshot

La solución se integra de forma transparente en los flujos de trabajo ya existentes en el cliente, dotando a sus equipos de backoffice de una capacidad de procesamiento excepcional, reduciendo los tiempos de procesamiento, mejorando la calidad y abaratando los costes de estos equipos.

Nuestro enfoque se basa en la solución FastCapture propia de Bluetab la cual adaptamos a los casos de uso y casuísticas propias del servicio prestado a cada cliente. El despliegue de la solución se realiza mediante microservicios en un cluster Kubernetes en EKS que nos permite adaptar el tamaño de la infraestructura de procesamiento de manera elástica; nuestro software se desarrolla mediante lenguajes de programación Elixir, usando Phoenix Framework y React en las interfaces de usuario y Python, Keras y TensorFlow entre otros mecanismos de Machine Learning.

CASOS DE ÉXITO

Truedat en Utilities

by

Truedat en Utilities

Nuestro cliente es una multinacional referente del sector de la energía con inversiones en extracción, generación y distribución, con importante implantación en Europa y Latinoamérica. 

Desde Bluetab hemos apoyado a nuestro cliente en el proceso de transformación digital que están abordando gracias a nuestra solución tecnológica Truedat que permite hacer una gestión integral de los procesos de gobierno del dato en entornos de Data Lake. La solución ha permitido al cliente comenzar a catalogar sus datos en los nuevos entornos digitales, generar un glosario de negocio global y mejorar en las actividades de calidad y perfilado de datos,

El alcance de la solución debía permitir trabajar con tecnologías cloud, principalmente serverless AWS, y poder incorporar nuestra solución truedat en un entorno tecnológico muy avanzado.

woman placing sticky notes on wall

CASOS DE ÉXITO

Truedat en el sector Seguros

by

Truedat en el sector Seguros

Uso de truedat como herramienta de gobierno en una de las principales entidades aseguradoras de españa para cumplir con requerimientos de regulación.

Para poder cumplir con dichos requerimientos se gestionan las definiciones de conceptos de negocio y catalogan de forma automática las bases de datos sujetas a regulación. Se definen también las reglas de calidad siguiendo un modelo de calidad específico definido para la entidad.

Esto permite presentar informes de calidad actualizada sobre los datos regulados. Adicionalmente se utiliza la herramienta de trazabilidad para poder documentar el origen de los datos usados en previsión de requerimientos adicionales.

turned on gray laptop computer

CASOS DE ÉXITO

© 2024 Bluetab Solutions Group, SL. All rights reserved.