Machine Learning simplificado

Según Forrester Research, "el 98 % de las empresas tiene dificultades para extraer información de los datos que recopila; esto se debe, principalmente, a la falta de experiencia interna".¹ Es posible que una empresa sea capaz de mantener cierta ventaja competitiva sin esa experiencia, pero el ritmo al que todo cambia hacia la transformación digital acabará afectando a su negocio.

Esta evolución natural del mercado es la principal razón por la que las empresas, actualmente, se están están centrando en utilizar mejor sus datos e incorporar la IA y el machine learning para mejorar sus negocios.

El machine learning es decisivo para mejorar y automatizar las operaciones, y facilita prevenir eventos y comportamientos. Esto simplifica que la organización programe y aplique acciones con antelación, basadas en esta información.

Por ejemplo, con machine learning y el análisis predictivo, las empresas identifican nuevos compradores o clientes y pueden dirigir sus acciones hacia ellos o decidir cuál es el mejor momento para realizar una venta. Esto es posible gracias al conocimiento de cómo se comportan y qué prefieren sus consumidores.

En sanidad, por ejemplo, se pueden analizar los diagnósticos codificados y los datos de admisión, traslado y alta del paciente. Con esta información se pueden reducir las tasas de reingresos. Machine learning ahorra tiempo y recursos, mejora las previsiones, facilita el tomar mejores decisiones y revierte en mejores resultados.

Suena muy bien, pero tiene un inconveniente y que, desarrollar modelos de ML es difícil y necesita de conocimientos que, hoy día, son escasos y, también, caros.

Afortunadamente, los expertos del sector trabajan para facilitar el uso del ML creando nuevas herramientas, como AutoML e IntegratedML.

Este resumen tecnológico descubre:

• Por qué el ML es fundamental para el éxito de la empresa.
• La escasez de talento dificulta que las empresas aprovechen el machine learning.
• Qué es AutoML.
• Qué es InterSystems IntegratedML® y cómo está diseñado:
  
  • Capacita a los desarrolladores de software para desarrollar modelos de ML y aplicaciones habilitadas para ML.
  • Aumenta la productividad de los científicos de datos.
  • Racionaliza los procesos operativos y analíticos para mejorar la experiencia del cliente, la eficiencia operativa y la productividad.
  • Mejora la precisión de las previsiones, genera mejores resultados empresariales y permite diferenciarse de la competencia.

Este documento es de especial ayuda para los ejecutivos de líneas de negocio, gerentes y profesionales de TI, tanto si su objetivo es ampliar la productividad del equipo como si, simplemente, están iniciándose en la materia.

Como aplicación de la IA, el ML entrena a una máquina para que aprenda sobre los datos a partir de la experiencia y la inferencia. Además, sin estar específicamente programada para ello, machine learning mejora continuamente los resultados.

ML analiza diversos tipos de datos y es capaz de crear modelos capaces de satisfacer una amplia variedad de requisitos analíticos y operativos. Además, estos modelos siguen trabajando sin conexión y, entre otros factores, contribuyen a entender cómo se comportan los clientes y a localizar ineficiencias en los procesos.

Al integrarse en línea o en el propio flujo operativo de la empresa, proporciona mejoras evidentes como recomendar un producto al cliente, mientras navega, o el servicio más adecuado e, incluso, avisar con antelación cuando hay riesgo de que un proveedor no cumpla o detectar una transacción fraudulenta antes de aprobarla.

Todos los departamentos de una organización pueden beneficiarse del machine learning, incluyendo ventas y marketing, I+D, legal, recursos humanos, soporte al cliente, desarrollo de productos e, incluso, el área de finanzas. ML proporciona valor en casi todas las industrias y promete convertirse en omnipresente a medida que más organizaciones lo adopten.

De hecho, está en la vida cotidiana desde en los asistentes como Alexa, de Amazon, o Siri, de Apple, hasta en los filtros antispam y los detectores de malware; también está en el método de sugerencia de nuevos contactos en Facebook o de nuevos grupos, en los chatbots que proporcionan atención en línea y, también, en los coches inteligentes.

El Machine Learning ofrece muchas ventajas, pero cabe preguntarse por qué no lo utilizan más empresas. Hay una razón importante que lo explica y es que es difícil de usar y exige un nivel elevado de conocimientos.

Necesita de expertos que entiendan la teoría, la tecnología, los métodos y las herramientas pero, actualmente, esos expertos son escasos y están muy solicitados. Según los últimos datos de U.S- Bureau of Labor Statistics, en los Estados Unidos hay menos de 32.000 científicos de datos.² Para agravar este escenario, gran parte del talento disponible está siendo contratado por gigantes digitales como Amazon, Facebook, Google y Microsoft, que ofrecen salarios altísimos. Esto hace difícil que las empresas puedan competir por estos recursos.

Automated Machine Learning (AutoML) es una tecnología en expansión que facilita que las organizaciones amplíen el alcance de sus equipos de ML e iniciar con solidez sus primeros proyectos.

AutoML es un enfoque relativamente nuevo de la ciencia de datos: automatiza y simplifica la creación de modelos de ML. Prepara los datos de forma automática. Toma los datos en bruto y los convierte en variables útiles para modelos de machine learning. Por ejemplo, transforma una fecha en su mes y día de la semana o extrae la longitud de un texto. Automatiza la selección de los modelos, su entrenamiento y el análisis de los resultados, y prueba diferentes algoritmos de ML con parámetros variables para generar el mejor modelo para cualquier problema.

Para las organizaciones que cuentan con un equipo de científicos de datos, es capaz de automatizar gran parte de los procesos manuales y de prueba y error utilizados para crear modelos de ML. Esto mejora significativamente la productividad del equipo, ahorrando tiempo y esfuerzo.

Si la empresa no cuenta con expertos en ML, realizar este proceso, y crear y entrenar modelos, es todo un reto. Sin embargo, con AutoML, la empresa puede generar modelos ML útiles, cuente o no con científicos de datos, empezando con con casos de uso sencillo y AutoML. En paralelo, puede formar a sus desarrolladores para que asuman la mayor parte de los procesos de analísis y desarrollo de ML.

Sin embargo, es importante no perder de vista que muchas herramientas AutoML actuales son limitadas. Pueden crear modelos ML, pero no proporcionan funcionalidades para ejecutarlos en los procesos de negocio, en tiempo real. Sin embargo, InterSystems IntegratedML es diferente en este importante aspecto.

InterSystems IntegratedML es una función integrada en la plataforma de datos InterSystems IRIS®, un entorno completo de software de gestión de datos. Ofrece todas las características y ventajas del AutoML tradicional; sin embargo, como está integrado en InterSystems IRIS puede desarrollar e implantar aplicaciones que ejecuten los modelos de forma dinámica y sin fisuras, para responder a eventos y transacciones en tiempo real, sin extraer ni mover ningún modelo ni dato.

Por ejemplo, una entidad que emite tarjetas de crédito y necesita identificar el riesgo de fraude antes de aprobar cada transacción. Esta entidad ejecuta una aplicación de tarjetas de crédito de alto rendimiento y en tiempo real, desarrollada con InterSystems IRIS. En ella se almacenan los datos demográficos y financieros de los clientes y las transacciones con tarjetas de crédito. Esta aplicación puede contener cientos de elementos de datos para cada transacción con tarjeta, incluyendo si cada una fue fraudulenta o válida.

Los desarrolladores de aplicaciones bancarias pueden generar un modelo de ML automáticamente, con IntegratedML, para identificar las transacciones que conllevan riesgo a partir de los datos históricos. Basta con elegir el campo objetivo, por ejemplo, "is_fraudulent", y dejar que IntegratedML genere el modelo y ajuste los parámetros más adecuados.
A diferencia de las soluciones tradicionales, el AutoML basado en IntegratedML se incorpora a la aplicación de tarjeta de crédito y se ejecuta, en tiempo real, con cada transacción entrante. De esta forma, la aplicación toma las acciones adecuadas si el modelo determina un alto riesgo de fraude; por ejemplo, puede impedir la transacción y enviar un mensaje de texto al titular de la tarjeta.

IntegratedML también facilita actualizar los modelos a medida que las aplicaciones se ejecutan en producción y se generan nuevos datos. En los fraudes con tarjetas de crédito, cuando la aplicación detecta y bloquea un método, los delincuentes suelen probar otros nuevos. Todos los datos, incluso los más recientes, se almacenan en la plataforma y ya no es necesario crear extractos manuales ni mover información entre entornos. El banco puede afinar continuamente los modelos con los datos más recientes, para detectar y prevenir nuevos patrones de ataque en cuanto aparecen.

Con InterSystems IRIS e IntegratedML, las aplicaciones reaccionan en tiempo real, entienden el contexto y actúan de forma automática. Para la empresa, eso se traduce en decisiones más rápidas y mejoras que se notan en los resultados. La solución contribuye a que la empresa se adelante en la comercialización de nuevos productos o en adelantarse a su competencia ante nuevos acontecimientos o responder a un cambio en el comportamiento de los clientes con antelación.

IntegratedML capacita a los desarrolladores, aunque tengan un conocimiento escaso de ML, para utilizar SQL y desarrollar estos modelos.

Esto no significa que las empresas dejen de contar con los científicos de datos, todo lo contrario. Las grandes organizaciones, que cuentan con estos equipos expertos, ahorran un tiempo muy valioso con IntegratedML. Por ejemplo, una encuesta de 2018, realizada por Kaggle ML and Data Science³, descubrió que los científicos de datos dedican casi el 40 % de su tiempo a recopilar y limpiar datos⁴ (véase la Figura 1 a continuación). Utilizar IntegratedML en la preparación de datos y la ingeniería de características, descarga a los equipos de estas tareas rutinarias, pero imprescindibles, para que se centren en aspectos valiosos para las empresas, como es el caso de la optimización de modelos.

Para aquellas organizaciones que se inician en ML, IntegratedML facilita a los desarrolladores y analistas, que se centran en crear aplicaciones y analizar los datos, centrarse en la exploración de cómo puede ayudarles ML.

IntegratedML automatiza el trabajo básico, como la identificación de los modelos más adecuados, su construcción y entrenamiento, y en el establecimiento de parámetros. También acelera el proceso de integración de los modelos ML en las aplicaciones de producción. A medida que los desarrolladores avancen y se familiaricen con los procesos y los resultados, modificarán los parámetros opcionales y ellos mismos establecerán esos valores. La solución aumenta la productividad de los equipos, liberando tiempo para que se puedan centrar en la optimización real del modelo, en lugar de gestionar los datos, trabajar en la ingeniería o en la selección de características.

Para formar un modelo con IntegratedML, incluido el identificar las características de entrada adecuadas a partir de los datos de origen, ajustar los parámetros y ejecutarlo, se realizan mediante unos pocos comandos SQL.

• CREAR MODELO WillSurvive PREDICTING (Sobrevivió) FROM Titanic

El conjunto de datos Titanic es un clásico para explicar machine learning a quien empieza. Reúne información sencilla sobre los pasajeros del buque y un objetivo claro, que es un ejemplo didáctico: sobrevivió sí o no.

Con pocos campos y pocos registros, muestra cómo se crea en minutos y cómo se entrena y usa un modelo, sin entrar en complicaciones. Por eso aparece a menudo en cursos, tutoriales y demostraciones.

Por ejemplo, en "Create Model will survive predicting Titanic", los desarrolladores especifican el nombre del modelo (WillSurvive), el campo objetivo que se va a predecir (Survived) y un conjunto de datos del que se obtendrá el campo objetivo y todos los campos de entrada del modelo (Titanic). La sintaxis FROM es totalmente general y puede especificar cualquier expresión de subconsulta. Los metadatos asociados a este conjunto de datos también se usan para deducir los tipos de datos de los campos de destino y de entrada, definiendo completamente el problema que debe resolver el modelo.

• TRAIN MODEL WillSurvive FROM Titanic

El comando ENTRENAR MODELO (Train model) especifica los datos que se utilizarán para el entrenamiento y ejecuta el motor AutoML, que toma como entrada un conjunto de datos relacionales. Como la sintaxis FROM es general, el mismo modelo puede entrenarse varias veces con diferentes conjuntos de datos. Por ejemplo, puede que se desee entrenar un modelo de campaña de marketing en diferentes segmentos de clientes o volver a entrenar el modelo de forma regular, a medida que se disponga de nuevos datos de entrenamiento.

El motor AutoML se encarga, automáticamente, de todas las tareas necesarias de machine learning. Para obtener uno o varios modelos ejecutables, AutoML identifica las características relevantes a partir de los datos seleccionados, considera los tipos de modelos aplicables en función de los datos y la definición del problema, y ajusta los hiperparámetros.

Los desarrolladores pueden elegir entre diferentes motores AutoML, como InterSystems AutoML, H2O y DataRobot Enterprise AI Platform. Todas las opciones del motor AutoML están perfectamente integradas en InterSystems IRIS y son transparentes para los desarrolladores.

• SELECT PREDICT(Sobrevivirá) As Predicted FROM Titanic
• SELECT PROBABILITY(WillSurvive FOR 1) FROM Titanic

Una vez entrenado, el modelo proporciona resultados a través de una de dos funciones escalares, PREDICT() y PROBABILITY(). PREDICT() devuelve el valor más probable o estimado para la columna especificada, según lo determinado por el modelo entrenado. Para problemas de categorización, PROBABILITY () devuelve la probabilidad calculada del modelo entrenado de que el campo objetivo del modelo sea igual a un valor definido por el usuario. Estas sencillas funciones escalables pueden utilizarse en cualquier lugar de una consulta y en cualquier combinación con otros campos y funciones. Una de las innovaciones clave de IntegratedML es que gestiona, de forma transparente, la correspondencia entre los campos disponibles en el contexto de la consulta y los campos de entrada que el modelo necesita para su ejecución.

IntegratedML ofrece más flexibilidad a los desarrolladores. Por ejemplo, permite vincular el modelo a otras fuentes de datos distintas de la tabla o la consulta con la que se creó o se entrenó, como se ve en este ejemplo.

• SELECT Name, PREDICT(WillSurvive WITH Sex = Geschlecht, Age = DATEDIFF(year, NOW(), Geburtsdatum), Fare = TicketPreise, Cabin = Kabine) FROM Hindenburg

La mayoría de las soluciones de AutoML funcionan de forma aislada, con una integración débil y de bajo caudal de datos, con las plataformas y aplicaciones externas. IntegratedML adopta otro enfoque. Funciona a la perfección en la plataforma de datos de InterSystems IRIS para acelerar y simplificar el entrenamiento y la ejecución de los modelos de ML. Adicionalmente, facilita que estos modelos se integren en las aplicaciones de IRIS, sin tener que mover los datos o los modelos. La puesta en producción de los modelos ML es uno de los mayores frenos para una adopción rápida en las aplicaciones empresariales.

La tecnología de InterSystems impulsa 150.000 implantaciones en todo el mundo, en diferentes sectores de actividad. InterSystems IRIS es una plataforma de software de gestión de datos diseñada, específicamente, para acelerar y simplificar el desarrollo de aplicaciones basadas en datos, en tiempo real.

InterSystems IRIS facilita que los desarrolladores incorporen analítica avanzada, incluyendo la inteligencia de negocio, IA, ML, el procesamiento de lenguaje natural y el análisis predictivo, en los procesos de negocio de misión crítica y en tiempo real. El motor de base de datos transaccional-analítico, de alto rendimiento, integrado en la plataforma soporta simultáneamente cargas de trabajo operativas y analíticas a muy alta escala.

Además de sus capacidades integradas de desarrollo y ejecución de ML, InterSystems IRIS también facilita:

Integración de datos y aplicaciones — InterSystems IRIS proporciona un conjunto completo de capacidades de integración e interoperabilidad para limpiar, transformar y normalizar datos, y soportar integraciones complejas. Ofrece conectividad y transformaciones de datos preparadas para utilizarse en una amplia gama de aplicaciones empaquetadas, bases de datos, estándares industriales, protocolos y tecnologías para facilitar la integración, el análisis de datos y la creación de modelos predictivos y prescriptivos.

Puede integrar el procesamiento analítico, como consultas SQL, análisis predictivo, ML y procesamiento del lenguaje natural (NLP) en aquellos procesos empresariales compuestos que conectan fuentes de datos y aplicaciones dispares. Estos procesos compuestos agilizan las operaciones y activan alertas sin afectar al rendimiento de la aplicación.

Escalabilidad — InterSystems IRIS es escalable vertical y horizontalmente, y es muy eficiente en cuanto a recursos. Esto la hace idónea para aplicaciones que soportan tasas de ingesta de muy alto volumen, altos niveles de cargas de trabajo analíticas, muchos procesos de negocio concurrentes y la capacidad de procesar, almacenar y analizar grandes conjuntos de datos de forma rentable.

Informes y trazabilidad — Todos los datos (incluidos los datos en vuelo, metadatos y datos asociados con transacciones asíncronas de larga duración) se almacenan automáticamente en la base de datos integrada y están disponibles para informes y análisis en tiempo real. La visualización y el diagnóstico del comportamiento de las integraciones y los procesos resultan más sencillos gracias a las funciones de seguimiento visual.

Desarrollo gráfico — Las herramientas gráficas de código reducido capacitan a los desarrolladores para diagramar visualmente los procesos, las transformaciones, las reglas y los flujos de trabajo. Esto les permite centrarse en las interacciones lógicas entre los sistemas en lugar de en la codificación. Los modelos gráficos fomentan la colaboración entre las líneas de negocio y TI, simplificando y agilizando el desarrollo de nuevas aplicaciones o la modificación de las ya existentes.

Despliegue — InterSystems IRIS soporta una amplia gama de opciones de despliegue, incluyendo las principales nubes públicas, privadas, en las instalaciones de la empresa o en modo híbrido.

El machine learning ya es una capacidad básica y las organizaciones dispuestas a competir lo están incorporando en sus procesos. Desgraciadamente, los científicos de datos son escasos y sus sueldos se están disparando, lo que dificulta que las grandes organizaciones amplíen su huella de ML y que las pequeñas empiecen a utilizarlo. Hay que tener en cuenta que, aunque las innovaciones como AutoML son de ayuda, por sí solas no son suficiente.

InterSystems IntegratedML proporciona capacidades AutoML, a través de una interfaz SQL intuitiva y totalmente integradas en la plataforma de datos. IntegratedML facilita el despliegue de modelos de ML en aplicaciones de misión crítica en tiempo real, sin necesidad de trasladar los datos o los modelos, y sin requerir una plantilla de científicos de datos. Juntos, InterSystems IRIS e IntegratedML facilitan la creación de un ciclo virtuoso de mejora, perfeccionando continuamente los modelos de ML, en respuesta a los datos de producción más recientes.

Si la organización dispone de su propio equipo de científicos de datos, IntegratedML mejorará su productividad. Si la empresa acaba de iniciar su andadura en la IA, la solución contribuirá a incorporar el ML ahora, sin necesidad de contar con expertos que, hoy por hoy, son inasequibles para la organización.

En cualquiera de los casos, IntegratedML contribuye a que:

• Acelerar y simplificar la creación de modelos ML.
• Ejecutar acciones programáticas inteligentes en tiempo real.
• Racionalizar los procesos para mejorar la experiencia del cliente, la eficiencia operativa y la productividad.
• Mejorar la precisión de las previsiones y acelerar los resultados empresariales.
• Desarrollar aplicaciones más inteligentes, de forma más rápida y sencilla, y con menos recursos.
• Ganar la guerra del talento de la IA.

Para más información sobre InterSystems IRIS e IntegratedML: InterSystems.com/IRIS

---

^{1 - Instantánea de oportunidades de Forrester. (2019) Data Insights Are Key to Differentiated Customer Experience: A Unified Data Analytics Platform Enables Timely and Contextually Relevant CX 2 - https://www.bls.gov/ooh/computer-and-information-technology/computer-and-information-research-scientists.htm 3 - https://www.kaggle.com/headsortails/what-we-do-in-the-kernels-a-kaggle-survey-story 4 - https://businessoverbroadway.com/2019/02/19/how-do-data-professionals-spend-their-time-ondata-science-projects/}