Más allá del lote, cómo el ERP avanza más rápido con la transmisión de datos

Los datos se mueven. Todos los datos en algún momento de su vida se han movido desde o hacia un lugar u otro. Ya sea desde una base de datos a una aplicación, desde algún tipo de repositorio basado en la nube hacia y desde un dispositivo IoT, o simplemente entre servicios internos dentro de un sistema operativo o sus puntos de conexión asociados, los datos casi siempre están en movimiento.

Incluso cuando los datos se han detenido y residen en un almacenamiento a largo plazo, normalmente habrán sido procesados ​​a través de algún tipo de mecanismo de transporte en una etapa u otra. Estas obviedades fundamentales significan que a menudo nos centramos en la cadencia de los datos y examinamos su capacidad para llegar a donde deben estar de manera oportuna.

Si recordamos la época anterior al milenio, los servicios de datos y los usuarios que dependían de ellos a menudo tenían que adaptarse a "construcciones nocturnas" si querían que su columna vertebral de datos les brindara la información más actualizada. Esta fue (y de hecho sigue siendo) la era del procesamiento por lotes, también conocido a veces como automatización de cargas de trabajo o programación de trabajos.

Según la empresa de integración de datos y plataforma empresarial en la nube.tibco, el procesamiento por lotes es una forma rentable de procesar grandes cantidades de datos en poco tiempo.

“Un buen ejemplo de procesamiento por lotes es cómo facturan las compañías de tarjetas de crédito. Cuando los clientes reciben las facturas de sus tarjetas de crédito, no se trata de una factura separada para cada transacción; más bien, hay una factura para todo el mes. Esa factura se crea mediante procesamiento por lotes. Toda la información se recopila durante el mes, pero se procesa en una fecha determinada, de una sola vez”, señala Tibco en un documento técnico.

Más allá del lote, al tiempo real

Pero el mundo ahora avanza más rápido que por lotes; Todos trabajamos en un universo siempre activo donde los teléfonos inteligentes deben brindar servicios oportunos en segundos y las aplicaciones empresariales deben brindarnos servicios y conectividad continuamente integrados. Esta es la era de los datos en tiempo real.

Una de las tecnologías habilitadoras clave en este espacio esapache Kafka. Con sus raíces en 2011, la tecnología surgió de un proyecto interno para crear una cola de mensajes impulsada por ingenieros de software que trabajaban enLinkedIn.Desde sus inicios en la cola de mensajería “básica”, la plataforma de transmisión de datos Apache Kafka ahora es capaz de manejar más de un millón de mensajes por segundo, una cantidad que equivale a algunos billones de mensajes por día.

Esta tecnología va más allá de Kafka – Jay Kreps, Confluent

Si bien Apache Kafka puro sigue siendo de código abierto y las responsabilidades de gestión operativa quedan en manos del usuario,Confluente proporciona un servicio de análisis y procesamiento de flujos nativo de la nube totalmente administrado. Es una tecnología que, según el cofundador y director ejecutivo de Confluent, Jay Kreps, "va más allá de Kafka" para casos de uso de aplicaciones modernas en tiempo real para impulsar lo que él llama toma de decisiones en tiempo real, o al menos la iteración digital de dicho proceso. .

¿Qué es la transmisión de datos?

Volviendo por un momento a la escuela de ingeniería de software, podemos definir la transmisión de datos como un principio informático. Denota un enfoque que supervisa una secuencia ordenada en el tiempo para que los datos pasen a través de una aplicación, componente o servicio. Los servicios de transmisión de datos, que normalmente se centran en los registros de datos de nivel inferior que ocurren dentro de cualquier sistema de TI determinado, transportan archivos de registro que se relacionan con todo, desde una sola pulsación del teclado hasta lecturas de sensores de instrumentación de máquinas industriales.

Por más granulares y diminutos que sean estos registros, una vez agregados ayudan a pintar una imagen ricamente ilustrativa de lo que sucede exactamente dentro de una implementación de TI. Esta realidad nos lleva lógicamente hacia ERP, es decir, el análisis de transmisión de datos puede proporcionarnos una visión diseñada con precisión de lo que sucede dentro de una aplicación o función de software empresarial. Entonces, ¿cómo aplicamos este poder?

"Estoy afirmando lo obvio, pero los datos son lo que mantiene a cualquier organización en el camino correcto, por lo que [el] acceso en tiempo real que promete la transmisión de datos debería lógicamente verse como un gran activo", dice Chris Gorton, vicepresidente senior para EMEA norte. Mercados del sur y emergentes en la empresa de plataforma de gestión de datos.Siniti.

El tiempo real no significa nada si no se puede confiar en los datos que se transmiten – Chris Gorton, Syniti

"No gobernar y garantizar la precisión de los datos ralentiza las operaciones de los procesos comerciales, dificulta el proceso de ventas y puede dejar a las organizaciones en riesgo de incumplimiento".

El hombre de Syniti nos recuerda que la consolidación de operaciones comerciales clave a través de un sistema ERP desenreda los datos, lo que los hace mucho más fáciles de administrar y limpiar, de modo que toda la empresa pueda estar segura de que está utilizando la información correcta, en el momento adecuado. “El factor de automatización inherente de un sistema ERP reduce la posibilidad de errores e introduce una coherencia que significa que los datos producidos y transmitidos pueden garantizar el cumplimiento y la colaboración entre los equipos. Significa que las empresas pueden operar de manera más eficiente, que las grandes ventas se pueden cerrar más rápidamente... y esas decisiones difíciles se pueden tomar con más confianza”, añade Gorton.

El ascenso de los acontecimientos

Muchos en el negocio de los datos han estado presionando por una adopción más amplia de estas tecnologías ciertamente bastante profundas durante un tiempo. Vicepresidente de tecnología enpoco de nerviosismo Keith Rigg afirma abiertamente que su equipo ha estado abogando por la mensajería basada en eventos “desde hace algún tiempo”. Su equipo está a favor de patrones en tiempo real cuando lleva soluciones al mercado; Dicen que este enfoque refleja la plataforma de integración de datos de la empresa que automatiza los flujos de trabajo y mejora la productividad a través de la hiperautomatización.

"Han sucedido varias cosas a lo largo del tiempo", dice Rigg. “Hay demasiadas organizaciones que todavía dependen de trabajos programados por lotes durante la noche para llevar un clon de su ERP o datos transaccionales a un almacén de datos, antes de informar sobre información desactualizada; por ejemplo, desde una perspectiva de integración, cosas que se programan cada hora o, ya sabes, dos veces al día”.

Dice que esta verdad incómoda significa que siempre hay una latencia. Siempre existe la posibilidad de que diferentes sistemas en la empresa no estén de acuerdo entre sí. Por lo tanto, no existe una única versión de la verdad dentro del negocio. Por ejemplo, las finanzas podrían decir algo diferente a los servicios al cliente. Del mismo modo, el servicio de atención al cliente podría estar aceptando un pedido porque parece que todavía hay crédito disponible, pero el departamento de finanzas ya les ha suspendido el crédito porque no han pagado una factura.

“Ahora bien, esos problemas pueden haber existido históricamente porque la propia organización no era lo suficientemente madura para automatizar y tener un único sistema virtual y una única visión de la verdad. O, en muchos casos, las barreras tecnológicas eran tales que no era imposible”, explica Rigg.

Fue muy difícil llegar a ese lugar feliz – Keith Rigg, Jitterbit

El vicepresidente de Jitterbit nos insta a avanzar rápidamente hasta donde nos encontramos hoy. Sugiere que ahora (y para ser honesto, probablemente durante los últimos cinco o incluso diez años) la tecnología no ha sido la barrera. Sugiere que ha sido la conciencia de la gente de que se han eliminado esas barreras técnicas, o de que están en el punto correcto del ciclo de vida de una inversión para poder decir, bueno, ¿sabes qué? Ahora es el punto hacer una actualización o un reemplazo. y podemos hacer la transición a esta nueva forma de trabajar.

Durante la última media década, Jitterbit siempre ha abogado por la mensajería basada en eventos tanto para clientes existentes como potenciales. Al utilizar su puerta de enlace API como conducto hacia la propia plataforma de integración de la empresa, la empresa se asegura de que los datos se muevan por toda la empresa en tiempo real. O si no, admite, casi en tiempo real. Los componentes básicos del “marco de escucha” de la empresa le otorgan una capacidad de transmisión en el nivel básico de la plataforma. La cola de mensajes Jitterbit brinda a los usuarios la capacidad de persistir mensajes y garantizar la entrega desde un sistema de origen a un sistema de destino.

En el negocio del registro (de datos)

A medida que adoptamos la transmisión de datos en una mayor cantidad de puntos de contacto de aplicaciones en toda la empresa, inevitablemente nos enfrentaremos a un panorama de datos más complejo en general. Por lo tanto, tiene sentido que los especialistas en transmisión de datos desarrollen habilidades de ERP y, igualmente, que los proveedores de ERP y los socios de integración desarrollen habilidades de transmisión de datos.

Entonces, en el futuro, debemos darnos cuenta de que la transmisión real de datos en tiempo real es generalmente la parte más sencilla del proceso de gestión de datos. La complejidad surge de interpretar esos datos de una manera que sea procesable y agregue valor al negocio, al tiempo que se garantiza que se pueda confiar en la autenticidad de los datos recopilados. Esta es la opinión de Bob De Caux, en su rol de vicepresidente de IA y Automatización enSI.

“La forma más eficiente de transmitir datos es cuando se implementa como un registro de eventos conectado a varias fuentes. Comprender lo que significan estos datos transmitidos en un contexto empresarial permite conectar los datos con los aspectos significativos de los activos dentro de una organización donde, en última instancia, se puede agregar valor.

Las empresas ya no analizan únicamente un único flujo de datos – Bob De Caux, IFS

"Ahora existe tecnología que puede manejar la detección de anomalías de múltiples variantes, lo que significa reunir datos y analizarlos a partir de múltiples flujos y registros de eventos", dice De Caux.

Hablando de la experiencia directa extraída del trabajo con la base de clientes de IFS, De Caux dice que al observar cómo los usuarios finales interactúan con una aplicación y los datos sensoriales que fluyen, los procesos de negocio se pueden analizar y automatizar utilizando IA. Explica que, esencialmente, esto crea un circuito de retroalimentación, lo que permite automatizar la automatización de estos procesos. Si bien sigue existiendo un elemento humano dentro de este proceso empresarial, es necesario un alto nivel de explicabilidad. El usuario final debe comprender qué está firmando y los resultados de esas decisiones automatizadas deben proporcionarse de una manera que un humano pueda interpretar.

“Si un proceso de negocio está automatizado y algo sale mal en el futuro, será necesario que haya un registro auditable que demuestre el cumplimiento de cualquier regulación futura sobre IA y automatización. Tener acceso a flujos de datos en tiempo real permite a las empresas mejorar sus procesos, ofrecer una mejor experiencia al cliente y permitir una toma de decisiones más informada; sin embargo, esto sólo puede suceder si los datos que se utilizan son seguros y auténticos”, concluye De Caux.

Soñar el sueño de la transmisión de datos se ha convertido posiblemente en una parte integral de la forma en que se están desarrollando los sistemas de TI empresariales más avanzados. A los evangelistas del streaming les gusta hablar de la “muerte del lote”, pero eso es (nuevamente, posiblemente) porque suena ágil y es un buen titular de apertura o una sesión de trabajo en una conferencia. Habrá un elemento de datos por lotes dentro de la mayoría de los departamentos de TI de cualquier tamaño, principalmente porque los tipos de datos son muy variados y diversos, pero el flujo de ERP en tiempo real ha ido mucho más allá de ser una quimera.