Mejoras en Mosaic AI de Databricks: Innovaciones en IA Generativa

Mejoras en Mosaic AI de Databricks: Innovaciones en IA Generativa

Databricks Inc. ha anunciado mejoras significativas en su conjunto de herramientas Mosaic AI, diseñado para la construcción y despliegue de modelos de inteligencia artificial, especialmente aquellos dirigidos a aplicaciones de IA generativa. Estas mejoras, presentadas en la Cumbre de Datos + IA en San Francisco, buscan ofrecer un mejor soporte para sistemas de IA compuestos, que incluyen múltiples componentes interactivos, así como mejorar la calidad de los modelos y la gobernanza de la IA.

Los sistemas de IA compuestos utilizan diversos elementos, como modelos, recuperadores, bases de datos vectoriales y herramientas para evaluación, monitoreo, seguridad y gobernanza. Estos pueden combinar diferentes tipos de modelos de IA, como algoritmos de aprendizaje automático, modelos de procesamiento de lenguaje natural y sistemas de visión por computadora, cada uno aportando funcionalidades especializadas.

Una de las novedades es el Marco de Agentes de Mosaic AI, que ayuda a los desarrolladores a crear aplicaciones de generación aumentada por recuperación (RAG) de manera rápida y segura, utilizando modelos base y datos empresariales. RAG mejora las tareas de generación de texto al incorporar información relevante de un corpus o base de conocimiento específica de una organización. Además, la Evaluación de Agentes de Mosaic AI permite iteraciones rápidas y redeployments para mejorar progresivamente los modelos, funcionando como una herramienta de evaluación asistida por IA que determina automáticamente la calidad de los resultados y proporciona una interfaz para recibir retroalimentación de expertos humanos.

Otra característica nueva, GenAI Tools, permite a las organizaciones gobernar, compartir y registrar agentes o herramientas mediante Unity Catalog, una capa de gobernanza unificada para datos dentro de la Plataforma de Inteligencia de Datos de Databricks. Este catálogo asegura que los modelos se puedan usar y gobernar de manera segura, facilitando su descubrimiento en toda la organización. Los agentes de IA son programas autónomos que imitan el comportamiento y la toma de decisiones humanas.

Mosaic AI Model Training permite ajustar modelos base de código abierto con datos privados de la organización, produciendo resultados considerados superiores a los modelos entrenados mediante RAG. Estos modelos ajustados son más rápidos y económicos de servir que los modelos propietarios más grandes, ya que requieren menos potencia de cómputo. El Gateway de Mosaic AI proporciona una interfaz única para consultar, gestionar y desplegar cualquier modelo de código abierto o propietario, permitiendo a los usuarios cambiar de modelo con facilidad.

Recientemente, Databricks anunció su intención de liberar Unity Catalog bajo una licencia de código abierto, lo que demuestra su compromiso con ecosistemas abiertos. Unity Catalog ofrece un acceso unificado a cualquier formato de datos y motor de cómputo, permitiendo la lectura de tablas en el formato Delta Lake de Databricks, así como en formatos de Apache Iceberg y Apache Hudi. Además, permite registrar modelos y establecer controles de acceso y etiquetas, facilitando su uso y gestión.

Databricks también ha reforzado su asociación con Nvidia para integrar su arquitectura de computación CUDA en la Plataforma de Inteligencia de Datos de Databricks, añadiendo soporte nativo para la aceleración de GPU de Nvidia y desarrollando soporte para computación acelerada en Photon, su motor de consultas vectorizado. Estas mejoras posicionan a Databricks como un líder en el ámbito de la inteligencia artificial generativa y el manejo de datos, facilitando a las organizaciones la implementación de soluciones de IA más robustas y eficientes.

Databricks mejora su soporte para el entrenamiento de modelos de IA generativa con nuevas herramientas y funcionalidades.

Fuente: SiliconANGLE News | URL