OpenAI: Nuevas Estrategias para la Transparencia en IA

OpenAI: Nuevas Estrategias para la Transparencia en IA

OpenAI ha enfrentado críticas en los últimos meses por la percepción de que está avanzando demasiado rápido en el desarrollo de inteligencia artificial (IA) más potente. En un intento por demostrar su compromiso con la seguridad de la IA, la empresa presentó recientemente una nueva técnica que busca hacer más transparentes los procesos de sus modelos de IA. Esta técnica implica que dos modelos de IA dialoguen, lo que obliga al modelo más avanzado a ser más claro y comprensible en su razonamiento, permitiendo así que los humanos entiendan mejor sus decisiones. Según Yining Chen, un investigador de OpenAI involucrado en este trabajo, esto es fundamental para construir una inteligencia artificial general que sea segura y beneficiosa.

La técnica ha sido probada en un modelo de IA diseñado para resolver problemas matemáticos simples. Los investigadores pidieron al modelo que explicara su razonamiento mientras respondía preguntas, y un segundo modelo se encargó de verificar la precisión de las respuestas. Este intercambio promovió una mayor transparencia en el razonamiento del modelo que resolvía los problemas.

OpenAI ha hecho público un documento que detalla este enfoque como parte de su plan de investigación a largo plazo sobre la seguridad de la IA. Jan Hendrik Kirchner, otro investigador de OpenAI, espera que otros investigadores puedan continuar con este trabajo y explorar otros algoritmos.

La transparencia y la capacidad de explicación son preocupaciones clave para los investigadores de IA que buscan desarrollar sistemas más poderosos. Aunque los modelos de lenguaje grandes a veces ofrecen explicaciones razonables, existe el temor de que futuros modelos puedan volverse opacos o engañosos, persiguiendo objetivos indeseables mientras ocultan sus verdaderas intenciones.

Este esfuerzo de investigación es parte de un enfoque más amplio para comprender cómo operan los modelos de lenguaje grandes, como ChatGPT. OpenAI ha intensificado su trabajo en seguridad de IA tras recibir críticas sobre su enfoque. En mayo, se supo que un equipo dedicado a estudiar el riesgo a largo plazo de la IA había sido disuelto, justo después de la salida de Ilya Sutskever, cofundador y líder técnico clave de la empresa.

OpenAI fue fundada con la promesa de hacer que la IA sea más transparente y segura. Sin embargo, algunos críticos argumentan que, tras el éxito de ChatGPT y la creciente competencia en el sector, la empresa ha priorizado avances llamativos y participación en el mercado sobre la seguridad. Daniel Kokotajlo, un investigador que dejó OpenAI y firmó una carta abierta criticando su enfoque, considera que el nuevo trabajo es importante pero incremental, y que aún se necesita más supervisión en la construcción de esta tecnología. Además, una fuente interna de OpenAI sugiere que la supervisión externa de las empresas de IA es esencial para garantizar que se prioricen los beneficios sociales sobre las ganancias.

OpenAI presenta avances en la seguridad de la IA, pero críticos insisten en que se necesita más supervisión.

Fuente: www.wired.com | URL