Big Data y Business Intelligence ¿Cómo efectuar la recogida de datos?

Una de las formas más eficientes de caminar hacia una organización más inteligente es identificando los datos que necesitas para obtener un conocimiento que te permita la toma de decisiones empresariales de manera adecuada. Para ello, el primer paso es el objeto de este post, donde exponemos las diferentes maneras que existen en la recogida de datos en entornos de Big Data y Business Intelligence.

Las fuentes de datos más habituales son los registros históricos de las compañías, los almacenes de datos, los dispositivos inteligentes, los sistemas de gestión de datos, Internet y el Internet de las Cosas, los datos abiertos que cada vez más frecuentemente están poniendo a disposición del mundo analítico muchas empresas y organizaciones. Los datos pueden provenir de fuentes Online u Offline, a través de APIs en tiempo real o accediendo a bases de datos relacionales, estos pueden ser internos de la empresa o externos y en bases de datos estructuradas, semiestructuradas o desestructuradas. Como podéis observar la variedad puede ser enorme. Por tanto en entornos de Big Data y Business Intelligence, saber seleccionar las fuentes de datos que pueden resultar útiles para nuestro propósito es fundamental a la hora de desarrollar un proyecto de este tipo.

La mayoría de las empresas sólo se centran en la recogida de datos internos de la propia empresa, normalmente porque les resulta más barato y fácil de gestionar. Eso está bien cuando tu propósito se puede resolver con este tipo de datos, pero hoy en día no siempre es así.

El proceso de recogida de datos en Big Data y Business Intelligence puede ser muy fácil o muy difícil de llevar a cabo dependiendo de las fuentes de información, pero más allá de los datos internos o externos, estructurados o desestructurados, las siguientes formas de recogida de datos que expongo son las más comunes para las empresas.

• Datos obtenidos a través de la participación de personas en encuestas, formularios online, estudios de mercado, satisfacción de servicios o productos, opiniones en redes sociales, etc. Suelen ser datos interno o externo y pueden ser estructurados o semiestructurados.
• Datos transaccionales: son datos generados por los sistemas, por ejemplo, cuando un cliente hace una compra en un supermercado, se recaba multitud de datos sobre lo que ha comprado, el precio, ofertas, dónde y cuándo, que tipos de productos. Normalmente estamos hablando de datos internos y estructurados en la empresa.
• Datos comprados: datos recopilados por empresas que se comercializan a terceros, hay bases de datos muy conocidas sobre información financiera como son Axesor o Informa que se dedican a este tipo de negocio.
• Datos capturados: datos que son recogidos a través del uso de dispositivos móviles, aplicaciones web, máquinas de producción de la empresa, sensores o todo lo que esté relacionado con el Internet de las cosas.
• Datos abiertos: fuentes de información gratuita que pueden aportar un valor añadido a tus fuentes de información. Hay infinidad de fuentes muy interesantes y de cualquier tipo de sector. Algunas de las fuentes de datos abiertos más genéricas son, por ejemplo:
  • Portal de datos abiertos de la Unión Europea (http://data.europa.eu/euodp/es/data/)
  • Portal de datos abierto del Gobierno de Espña (http://datos.gob.es/)
  • Datos abiertos de Amazon (https://aws.amazon.com/es/datasets/)
  • Datos sobre Facebook (https://developers.facebook.com/docs/graph-api)

Autor: Diego Torres, profesor del Máster en Big Data y Business Intelligence