MEdit4CEP-SP: A model-driven solution to improve decision-making through user-friendly management and real-time processing of heterogeneous data streams

Abstract

Organisations today are constantly consuming and processing huge amounts of data. Such datasets are often heterogeneous, making it difficult to work with them quickly and easily due to their format constraints or their disparate data structures. Therefore, being able to efficiently and intuitively work with such data to analyse them in real time to detect situations of interest as quickly as possible is a great competitive advantage for companies. Existing approaches have tried to address this issue by providing users with analytics or modelling tools in an isolated way, but not combining them as a onein- all solution. In order to fill this gap, we present MEdit4CEP-SP, a model-driven system that integrates Stream Processing (SP) and Complex Event Processing (CEP) technologies for consuming, processing and analysing heterogeneous data in real time. It provides domain experts with a graphical editor that allows them to infer and define heterogeneous data domains, while also modelling, in a user-friendly way, the situations of interest to be detected in such domains. These graphical definitions are then automatically transformed into code, which is deployed in the processing system at runtime. The alerts detected by the system, in real-time, allow users to react as quickly as possible, thus improving the decision-making process. Additionally, MEdit4CEP-SP provides persistence, storing these definitions in a NoSQL database to permit their reuse by other instances of the system. Further benefits of this system are evaluated and compared with other existing approaches in this paper.

Las organizaciones hoy en día están constantemente consumiendo y procesando grandes cantidades de datos. Tales conjuntos de datos son a menudo heterogéneos, lo que dificulta trabajar con ellos de manera rápida y fácil debido a sus restricciones de formato o sus estructuras de datos dispares. Por lo tanto, ser capaz de trabajar de manera eficiente e intuitiva con estos datos para analizarlos en tiempo real para detectar situaciones de interés lo más rápido posible es una gran ventaja competitiva para las empresas. Los enfoques existentes han intentado abordar este problema proporcionando a los usuarios herramientas de análisis o modelado de forma aislada, pero no combinándolas como una solución todo en uno. Para llenar este vacío, presentamos MEdit4CEP-SP, un sistema impulsado por modelos que integra las tecnologías de Procesamiento de Flujo (SP) y Procesamiento de Eventos Complejos (CEP) para consumir, procesar y analizar datos heterogéneos en tiempo real. Proporciona a los expertos del dominio un editor gráfico que les permite inferir y definir dominios de datos heterogéneos, al mismo tiempo que modela, de una manera amigable para el usuario, las situaciones de interés a ser detectadas en dichos dominios. Estas definiciones gráficas se transforman automáticamente en código, que se despliega en el sistema de procesamiento en tiempo de ejecución. Las alertas detectadas por el sistema, en tiempo real, permiten a los usuarios reaccionar lo más rápido posible, mejorando así el proceso de toma de decisiones. Además, MEdit4CEP-SP proporciona persistencia, almacenando estas definiciones en una base de datos NoSQL para permitir su reutilización por otras instancias del sistema. Los beneficios adicionales de este sistema se evalúan y comparan con otros enfoques existentes en este documento.