Innovación en Modelos de Razonamiento
OpenAI ha anunciado la introducción de su nueva familia de modelos de razonamiento de inteligencia artificial, o3, que según la compañía, supera en capacidad a los anteriores o1 y cualquier otro modelo lanzado previamente. Estos avances se lograron incrementando la capacidad de cómputo durante las pruebas, además de implementar un nuevo paradigma de seguridad denominado alineación deliberativa.
Alineación Deliberativa para Mayor Seguridad
El viernes pasado, OpenAI publicó una investigación sobre la “alineación deliberativa”, detallando su método más reciente para garantizar que los modelos de razonamiento de IA se mantengan alineados con los valores de sus desarrolladores humanos. Esta técnica permite que los modelos o1 y o3 consideren la política de seguridad de OpenAI durante la inferencia, mejorando significativamente su alineación con los principios de seguridad de la empresa.
Mejora en la Respuesta a Consultas
Según la investigación de OpenAI, la alineación deliberativa ha mejorado la capacidad del modelo o1 para responder de manera segura, reduciendo las respuestas a preguntas consideradas inseguras por la empresa y aumentando la efectividad en responder consultas benignas. Esta mejora se refleja en una mayor alineación con las políticas de seguridad, disminuyendo la tasa de respuestas “inseguras” y mejorando la calidad de las respuestas proporcionadas.
Desafíos en la Seguridad de la IA
A medida que los modelos de IA ganan popularidad y potencia, la investigación en seguridad de IA se vuelve cada vez más relevante y controversial. Figuras como David Sacks, Elon Musk y Marc Andreessen han criticado algunas medidas de seguridad de IA, considerándolas una forma de censura, lo que resalta la naturaleza subjetiva de estas decisiones.
Funcionamiento de los Modelos o1 y o3
Los modelos o1 y o3 operan desglosando las preguntas en pasos más pequeños mediante un proceso denominado “cadena de pensamiento”. Tras este análisis, los modelos generan una respuesta basada en la información procesada. La clave de la alineación deliberativa radica en que estos modelos han sido entrenados para re-preguntarse utilizando el texto de la política de seguridad de OpenAI durante esta fase, asegurando respuestas más alineadas con dichas políticas.
Uso de Datos Sintéticos en el Entrenamiento
OpenAI ha implementado métodos innovadores durante la fase de post-entrenamiento, utilizando datos sintéticos generados por otros modelos de IA en lugar de respuestas humanas. Esta técnica ha permitido una alta precisión en la alineación de los modelos con las políticas de seguridad sin incurrir en altos costos de cómputo, demostrando una aproximación escalable para futuras alineaciones.
Perspectivas Futuras y Disponibilidad
El modelo o3 está programado para su lanzamiento en 2025, y se espera que demuestre aún más avances en términos de seguridad y capacidad. OpenAI considera que la alineación deliberativa es una vía prometedora para asegurar que los modelos de razonamiento de IA, como ChatGPT en español, se adhieran a los valores humanos a medida que estas tecnologías continúan evolucionando y ganando mayor autonomía.
