Cuando hablamos de Big Data nos referimos puntualmente a un gran volumen de datos que pueden estar, principalmente, almacenados en bases de datos con una estructura definida; sin embargo, las diversas plataformas y herramientas de dónde provienen los datos, hacen de esta característica una labor más compleja a la hora de estructurarlos y almacenarlos en una base de datos convencional.
¿Qué dicen los expertos sobre el Big Data?
Según expertos, “Big Data son datos que contienen una mayor variedad y que se presentan en volúmenes crecientes y a una velocidad superior, esto se le conoce como las tres V: variedad, volumen, velocidad.”
El Big Data no sólo se aplica a datos que no están estructurados, sino también, a datos estructurados que superen un número de almacenamiento.
Algunos escritores y expertos en analítica, consideran que este número puede ser a partir de 30 o 50 terabytes en adelante.
En lo que muchos coinciden, es que gracias al auge del Big Data, los datos no estructurados ya no representan un problema en el análisis, gracias a todo el abanico de tecnologías y soluciones que han surgido a lo largo de la década y han beneficiado a todos los sectores del mercado, generando un impacto positivo en nuestra vida cotidiana.
En los sectores de la salud y el financiero, por ejemplo, es posible recopilar en un día, millones de datos a través de diferentes aplicaciones de Big Data.
Big Data para el sector de la salud
En el sector salud, utilizando diferentes herramientas de Big Data podemos recopilar en un día, millones de datos en un consultorio médico; ¿Te imaginas todos los datos que se podrían almacenar de todos los consultorios médicos en un país entero utilizando aplicaciones de Big Data?
Una de las aplicaciones más importantes que se está implementando en la actualidad con Big Data en el sector salud, es la segmentación de la población a nivel sanitario, con la finalidad de mejorar el rendimiento de los servicios sociosanitarios, desarrollando modelos capaces de predecir el comportamiento, y así prestar con eficiencia la atención requerida al paciente.¹
Imaginemos un escenario donde toda la información de nuestra salud esté centralizada a nivel tecnológico, donde los datos que arrojen los relojes inteligentes (Smartwatch) y los teléfonos inteligentes (Smartphones), como: kilómetros recorridos, la cantidad de pasos que hemos dados, las pulsaciones por segundo, puedan ser vistos por nuestro médico de familia el día que nos presentemos a una consulta médica. Sin duda alguna, esto mejoraría la calidad de la atención al paciente y la eficiencia en los tratamientos.
Sin embargo, cada uno de estos datos e información que se revela en nuestros dispositivos, debe ser debidamente utilizada, bajo la conciencia del usuario, sin hacer caso omiso de la invasión a la privacidad y asumiendo la responsabilidad de la seguridad de la información.
Big Data para el sector financiero
En el sector financiero encontramos un sin fin de aplicaciones de Big Data, la más común o relevante es el análisis predictivo que permite, como su nombre indica, anticiparse a un comportamiento en específico.
De igual manera, se aplica el concepto de segmentación, generando grupos de usuarios que cumplen con ciertas características de homogeneidad al interior y heterogeneidad con otros grupos, que permiten tomar decisiones; por ejemplo, conocer si un cliente puede tener una vida crediticia adecuada, y bajo esta información, ofrecerle más productos.
Otra de las aplicaciones del Big Data en el sector financiero, es la optimización de los procesos para entregar resultados más rápidos, y por consiguiente, hacer que la experiencia de usuario tenga un mejor resultado, siempre teniendo en cuenta el análisis de la información en tiempo real. Por ejemplo, la lectura del documento de identidad escaneado para extraer los datos del cliente en tan solo segundos.
Herramientas para la aplicación del Big Data
Existen diversas herramientas que se han desarrollado para llevar a cabo un proyecto de análisis de grandes volúmenes de datos. Para hacer la lectura correcta de los datos que se extraen y se almacenan, existe un framework estándar llamado Hadoop. Una herramienta de Apache, que para el alivio de todos, es open source, la cual permite el almacenamiento, análisis y procesamiento de los datos.
Las bases de datos dentro de este ecosistema son muy importantes, ya que su tiempo de procesamiento (buscar y responder), debe ser óptimo para cubrir la necesidad de un tiempo de respuesta adecuado.
Como lo hablamos anteriormente, existen bases de datos no estructuradas (NoSQL). Dentro de las más comunes podemos nombrar MongoDB, una base de datos orientada a documentos, de código abierto, que se almacena en BJORN, una representación binaria de JSON.
También, tenemos las bases de datos orientadas a columnas, este tipo de base de datos permiten un rendimiento de consulta mucho más rápido para las operaciones intensivas de lectura, reduciendo el número de veces que se accede al disco. La principal ventaja de estas bases de datos, es poder paralelizar la información de una forma mucho más sencilla.
Una de las bases de datos más potentes en el mercado es HP Vertica, la cual está optimizada para trabajo masivo y distribuido, balanceando la carga entre memoria y disco, y tiene extensiones para trabajar directamente con funciones de machine learning, análisis de series de tiempo, análisis de sentimientos, así como ejecutar programas en escritos R y en Python.
Vertica es capaz de gestionar terabytes de información en equipos de coste relativamente bajos, resolviendo tareas entre 50 y 200 veces más rápido que las bases de datos orientadas a filas convencionales, esto se logra tomando en cuenta 3 características principales:
- Compresión + Encoding, permite almacenar más datos en menos espacio.
- Clustering, facilidad de escalado.
- Optimización continua automática.
Otras cosas importantes que podemos comentar sobre Vertica, son sus capacidades de:
- Tener distintas proyecciones o tablas temporales para los mismos datos, almacenándolos tal y como se van a consultar frecuentemente.
- Diferentes zonas de almacenamiento, una para los datos que se han almacenado frecuentemente, los cuales pueden sufrir algún tipo de modificación más pronta, y otra para los datos más antiguos optimizados para su lectura.
El funcionamiento de estas capacidades es transparente al usuario que realiza las consultas.
Aplicaciones y servicios del Big Data
A través de las herramientas mencionadas anteriormente, entre otras, es posible extraer información de diferentes formatos para su análisis y almacenamiento.
En Stradata somos expertos en crear sistemas de alertas automáticas e inteligentes, generando valor y soluciones relevantes en la analítica y gestión de datos. Esta información es estudiada y analizada para entregar resultados en tiempo record, generando valor y conocimiento que retroalimenta nuestros algoritmos.
En la prevención de delitos LAFT, nuestras soluciones análiticas y tecnológicas son capaces de extraer todo tipo de información. Lo más importante para resaltar de esta extracción, es la detección de nombres en todo el texto contenido en un documento.
En este escenario presentamos datos no estructurados, un gran volumen de información dado por la cantidad de texto, páginas dentro de un documento y un tiempo de respuesta que es todo un reto cumplido.
Esto lo logramos a través de algoritmos que involucran inteligencia artificial, permitiendo que una consulta de la información extraída entre millones de datos almacenados, sea eficiente y eficaz; así como la generación de alertas en tiempo real, a través de la recopilación y análisis de datos de manera rápida e inteligente.
¡Contáctanos ahora!
Autor: M. Araujo.
Fuentes
¹https://www.iic.uam.es/soluciones/salud/
²https://www.iic.uam.es/innovacion/aplicaciones-big-data-empresa/
Otras fuentes
