fbpx

Big Data | Aplicaciones y servicios

Aplicaciones y servicios basados en Big Data
Big Data | Aplicaciones y servicios

Empecemos por preguntarnos ¿qué es Big Data?

Cuando hablamos de Big Data nos referimos puntualmente a un gran volumen de datos que pueden estar, principalmente, almacenados en bases de datos. Estas bases de datos se utilizan con una estructura definida, sin embargo, las diversas plataformas y herramientas de donde provienen los datos, hacen de esta característica una labor más compleja a la hora de estructurarlos y almacenarlos en una base de datos convencional.

Según expertos, Big Data son datos que contienen una mayor variedad y que se presentan en volúmenes crecientes y a una velocidad superior, esto se le conoce como las tres V (variedad, volumen, velocidad).”

También es importante resaltar que el Big Data no sólo se aplica a datos que no están estructurados, sino también, a datos estructurados que superen un número de almacenamiento. Algunos escritores del tema, consideran que este número puede ser a partir de 30 o 50 terabytes en adelante.

Con el auge del Big Data, los datos no estructurados ya no representan un problema en el análisis, gracias a todo el abanico de tecnologías y soluciones que han surgido a lo largo de la década y han beneficiado a todos los sectores del mercado, generando un impacto positiva en nuestra vida cotidiana.

Herramientas para el desarrollo de aplicaciones de Big Data

Existen diversas herramientas que se han desarrollado para llevar a cabo un proyecto de Big Data, pues el principal objetivo es la distribución de los datos en diferentes almacenes, con esto surge otra necesidad más importante aún, la lectura correcta de los datos que se han distribuido, para ello, existe un framework estándar llamado Hadoop. Una herramienta de Apache, que para el alivio de todos, es open source, la cual permite el almacenamiento, análisis y procesamiento de los datos.

Las bases de datos dentro de este ecosistema son muy importantes, ya que su tiempo de procesamiento (buscar y responder) debe ser óptimo para cubrir la necesidad de un tiempo de respuesta adecuado. Como lo hablamos anteriormente, existen base de datos no estructuradas (NoSQL), que dentro de las más común podemos nombrar MongoDB, una base de datos orientada a documentos, de código abierto, que se almacena en BJORN, una representación binaria de JSON.

También, tenemos las bases de datos orientadas a columnas, este tipo de base de datos permiten un rendimiento de consulta mucho más rápido  para las operaciones intensivas de lectura, reduciendo el número de veces que accede al disco. La principal ventaja de estas bases de datos, es poder paralelizar la información de una forma mucho más sencilla.

Una de las bases de datos más potentes en el mercado es HP Vertica, la cual está optimizada para trabajo masivo y distribuido, balanceando la carga entre memoria y disco, y tiene extensiones para trabajar directamente con funciones de machine learning, análisis de series de tiempo, análisis de sentimientos, así como ejecutar programas en escritos R y en Python.

Vertica es capaz de gestionar terabytes de información en equipos de coste relativamente bajos, resolviendo tareas entre 50 y 200 veces más rápido que las bases de datos orientadas a filas convencionales, esto se logra tomando en cuenta 3 características principales:

  • Compresión + Encoding, permite almacenar más datos en menos espacio.
  • Clustering, facilidad de escalado.
  • Optimización continua automática.

Otras cosas importantes que podemos comentar sobre Vertica, son sus capacidades de:

  • Tener distintas proyecciones o tablas temporales para los mismos datos, almacenándolos tal y como se van a consultar frecuentemente.
  • Diferentes zonas de almacenamiento, una para los datos que se han almacenado frecuentemente, los cuales pueden sufrir algún tipo de modificación más pronta, y otra para los datos más antiguos optimizados para su lectura.

El funcionamiento de estas capacidades es transparente al usuario que realiza las consultas.

 

 

 

Tecnología Big Data en el los sectores

Sector salud

En el sector salud, por ejemplo, podemos recopilar, en un día, millones de datos en un consultorio médico; ahora pensemos en todos los datos que podemos almacenar de todos los consultorios médicos en un país entero, si esto se lograra, es imposible no pensar en Big Data.

Una de las aplicaciones más importantes que se está implementando en la actualidad con Big Data en el sector salud, es la segmentación de la población a nivel sanitario, con la finalidad de mejorar el rendimiento de los servicios sociosanitarios, desarrollando modelos capaces de predecir el comportamiento, y así prestar con eficiencia la atención requerida al paciente.¹

Imaginemos un escenario donde toda la información de nuestra salud esté centralizada a nivel tecnológico, donde los datos que arrojen los relojes inteligentes (Smartwatch) y los teléfonos inteligentes (Smartphones), como: kilómetros recorridos, la cantidad de pasos que hemos dados, las pulsaciones por segundo, puedan ser vistos por nuestro médico de familia el día que nos presentemos a una consulta médica; sin duda alguna, esto mejoraría la calidad de la atención al paciente y la eficiencia en los tratamientos. 

Sin embargo, cada uno de estos datos e información que se revela en nuestros dispositivos, debe ser debidamente utilizada, bajo la conciencia del usuario, sin hacer caso omiso de la invasión a la privacidad y asumiendo la responsabilidad de la seguridad de la información.

Sector financiero

En el sector financiero encontraremos un sin fin de aplicaciones del Big Data, la más común o relevante es el análisis predictivo, que permite, como su nombre indica,  anticiparse a un comportamiento en específico. De igual manera, se aplica el concepto de segmentación, generando  grupos de usuarios que cumplen con ciertas características de homogeneidad  al interior y heterogeneidad con otros grupos, que permiten tomar decisiones, por ejemplo, conocer si un cliente puede tener una vida crediticia adecuada, y bajo esta información, ofrecerle más productos.² 

Otra de las aplicaciones del Big Data en esta industria, es la optimización de los procesos para entregar resultados más rápidos, y por consiguiente, hacer que la experiencia de usuario tenga un mejor resultado; siempre teniendo en cuenta el análisis de la información en tiempo real. Por ejemplo, la lectura del documento de identidad escaneado para extraer los datos del cliente en tan solo segundos.

Permitiendo extraer información proveniente de documentos PDF’s para el análisis, y la disposición de estos a nivel informativo. Toda esta información es estudiada y analizada en bases de datos para entregar resultados en tiempo record, generando valor y conocimiento que retroalimenta nuestros algoritmos. Lo más importante para resaltar de esta extracción, es la detección de nombres en todo el texto contenido en el documento.

En este escenario presentamos datos no estructurados, un gran volumen de información dado por la cantidad de texto, páginas dentro del documento y un tiempo de respuesta que es todo un reto cumplido.

Esto lo logramos a través de algoritmos que involucran inteligencia artificial, permitiendo que una consulta de la información extraída entre millones de datos almacenados, sea eficiente y eficaz; así como la generación de alertas en tiempo real, a través de la recopilación y análisis de datos de manera rápida e inteligente.

En Stradata sabemos que la innovación tecnológica es vital para el crecimiento de las empresas, por eso, somos expertos en crear sistemas de alertas automáticas e inteligentes, generando valor  y soluciones relevante en la analítica y gestión de datos. 

Autor: M. Araujo.

Fuentes

¹https://www.iic.uam.es/soluciones/salud/

²https://www.iic.uam.es/innovacion/aplicaciones-big-data-empresa/

Otras fuentes

https://unpocodejava.com/2015/07/26/analizando-hp-vertica/

Tags:
No Comments

Sorry, the comment form is closed at this time.

¿Necesitas ayuda? Chatea con nosotros!
Iniciar una Conversación
¡Hola! En que podemos ayudarte.