Ahorra en la normalización de datos

Contexto

En cualquier programa relacional la calidad de datos uno de los principales retos. Los datos con el tiempo, si no se utilizan, tienden a deteriorarse. Para ello es fundamental implementar los mecanismos para mejorar la calidad de datos y poder medirla. En un mundo “customer-centric” donde las comunicaciones “off” son menos frecuentes y, el valor de la normalización reside sobre todo en:

– Validar la calidad de las arrobas vía procesos de double opt-in

– Coordenadas geográficas para poder posicionar a los clientes en mapas.

– Poder establecer lógicas ad-hoc de deduplicación y consolidación de datos a partir de un buen proceso de limpieza y normalización.

 

Limpieza de datos: Procesos relacionados con la eliminación de información irrelevante que solamente genera ruido (símbolos, outliers, espacios….).

Normalización de datos: Procesos relacionados con la “campificación” de la información origen y validación contra maestros de dominios de valores cerrados y expresiones regulares para los dominios abiertos.

Deduplicación de datos: Procesos relacionados con la identificación única de los individuos o empresas a partir de lógicas de priorización (fuente origen, recencia actualización…)

Consolidación de datos: Obtener la ficha única de individuo o empresa más completa y exacta de todos los considerados duplicados.

Problema

Históricamente los servicios de normalización se han concentrado en unas pocas empresas especializadas que, en muchos casos, solamente cubrían ciertos mercados. Esto se traducía en unos servicios caros a los cuales solamente podían acceder grandes compañías de los sectores de la banca, seguros, telecos….  y generaba gran dependencia debido a los costes de integración con estos servicios.

Nuestro cliente quería conocer alternativas al proveedor que en su momento le estaba dando el servicio de normalización para su base de datos de clientes.

Solución

Estuvimos investigando una alternativa a las herramientas conocidas de mercado hasta encontrar una muy buena solución a nivel de calidad-precio.

Para la normalización de direcciones desarrollamos unos procesos y lógicas de normalización a partir de la información ofrecida a través del servicio de Google Maps y la información procedente de Instituto Nacional de Estadística (INE). El proceso es el siguiente:

    1. ETL entrada de datos de direcciones, nombres, teléfonos, emails…
    2. Transformaciones para adaptar la información a la API de Google Maps y resto de dominios cerrados y abiertos
    3. Solicitud del servicio de Normalización de direcciones a Google Maps (Geolocation API)
    4. Obtención de datos de la dirección normalizada, así como las coordenadas geográficas.
    5. Validar y completar la salida de datos con la información ofrecida por el INE (datos censales)
    6. Salida final campificada de la dirección, nombres, arrobas, teléfonos

Para la deduplicación y consolidación de las fichas de clientes estudiamos cada fuente origen a nivel de calidad de datos y establecimos unos criterios de deduplicación a partir de los bloques de Nombre/Apellidos, Dirección, Email/Teléfono etc…

Resultados

– Ahorro de costes en un 85% para un nivel de calidad equivalente al ofrecido por la herramienta utilizada hasta el momento.

– Tiempos de proceso equivalentes a herramientas del mercado.

– Capacidad de normalización de direcciones de clientes de fuera de España.

– Tiempo de implementación fue de dos semanas.

Share on linkedin
Share on facebook
Share on twitter
Share on pinterest
Share on email
Share on whatsapp

Privacidad

De conformidad con lo dispuesto en el Reglamento General de Protección de Datos, UE 2016/679, le informamos que sus datos personales son tratados y almacenados por The Mount Data S.L., como responsable del tratamiento, con domicilio social en C/Còrsega 329, 7-B 08037 Barcelona, con la finalidad del mantenimiento de la relación necesaria con usted y de gestionar comunicaciones promocionales e informativas por correo electrónico acerca de The Mount Data, así como sus actividades y eventos que puedan resultar de su interés. Sus datos serán conservados para futuras comunicaciones y almacenaremos sus datos el tiempo necesario para realizar dicha gestión, hasta que solicite su supresión. Usted podrá ejercitar sus derechos de acceso, rectificación, oposición, supresión, limitación y portabilidad, así como su derecho a revocar el consentimiento otorgado por la presente en cualquier momento, mediante comunicación escrita, acompañada de copia de DNI, dirigida a la dirección citada anteriormente o a través del envío de un correo electrónico con firma digital reconocida a la siguiente dirección info@themountdata.com. Dicha comunicación deberá incluir nombre y apellidos, petición en que se concreta la solicitud, dirección a efectos de notificaciones, fecha, firma y fotocopia del DNI u otro documento válido que lo identifique. Usted tiene derecho, además, a presentar una reclamación ante la autoridad de control competente.

COOKIES

Sus datos formarán parte de un fichero titularidad de The Mount Data S.L. y serán tratados para poderle informar periódicamente de novedades, productos y servicios. Puede ejercitar sus derechos de acceso, rectificación, cancelación y oposición, así como revocar su consentimiento para el envío de comunicaciones comerciales electrónicas, enviando un e-mail a info@themountdata.com. Mediante la inclusión de su correo electrónico y/o teléfono móvil Ud. nos autoriza a enviarle información comercial a través de su cuenta de correo electrónico así como otros medios electrónicos equivalentes.