Podcast - Últimas novedades en OpenAI: modelos o1-preview y o1-mini.

OpenAI presentó el pasado mes de septiembre los modelos o1-preview y o1-mini, que ya están disponibles en ChatGPT. En este episodio analizamos en detalle estos nuevos modelos y vemos qué les diferencia de sus predecesores.

¿En qué consisten estos dos nuevos modelos?

Según el propio OpenAI, estos modelos logran un nivel de doctorado en física, química y biología, y destacan considerablemente en matemáticas y programación. Ante los mismos problemas (por ejemplo, en el caso de las Olimpiadas Internacionales de Matemáticas) el modelo anterior solo resolvía bien el 13% de los problemas, mientras que el modelo o1-preview llegaba al 83% de acierto.

Y en cuanto a programación, tomando como ejemplo los concursos de Codeforce, el nuevo modelo logra quedar por encima del 89% de los participantes.

¿Cuáles serían las principales diferencias con los modelos anteriores?

GPT-3, GPT-3.5-Turbo, GPT-4 y GPT-4o tenían en común ofrecer una respuesta de manera rápida. Sin embargo, estos modelos están diseñados para destinar más tiempo a razonar antes de responder. Forman parte de una nueva categoría creada por OpenAI, a la que llaman reasoning.

En cuanto a Prompt Engineering, estos modelos incluyen las técnicas Chain of Thought y Tree of Thought, que instan al modelo a retrasar su respuesta y ofrecer una solución final.

Son modelos para tareas concretas, por lo que su intención no es reemplazar a GPT-4o.

¿Algún punto negativo?

Estos modelos, por el momento, no están accesibles para todo el mundo, solo para los usuarios de pago de ChatGPT. En cuanto a la API, la cosa tampoco mejora: OpenAI divide a sus clientes en Tiers, y solo le están dando acceso a aquellas compañías que pertenecen a los dos Tiers más altos, lo que supone un gasto mínimo de 250 dólares y esperar dos semanas desde el pago.

En esta tabla vemos la comparación de precios con los sus dos modelos anteriores:

** Todo el razonamiento cuenta como output.

¿Qué diferencias existen entre o1-preview y o1-mini?

El modelo o1-preview está diseñado para razonar sobre problemas difíciles, utilizando un amplio conocimiento general sobre el mundo. El modelo o1-mini es una versión más rápida y económica del o1, particularmente apta para tareas de codificación, matemáticas y ciencias, donde no se requiere un conocimiento general extenso.

En cuanto a la API, en modelos anteriores, el parámetro max_tokens controlaba, tanto el número de tokens generados, como el número de tokens visibles para el usuario, que siempre eran iguales.

Sin embargo, con la serie o1, el total de tokens generados puede exceder el número de tokens visibles debido a los tokens internos de razonamiento. Dado que algunas aplicaciones pueden depender de que max_tokens coincida con el número de tokens recibidos de la API, la serie o1 introduce max_completion_tokens para controlar explícitamente el número total de tokens generados por el modelo, incluidos tanto los tokens de razonamiento como los tokens visibles de la finalización.

Esta opción explícita asegura que ninguna aplicación existente se vea afectada al usar los nuevos modelos. El parámetro max_tokens continúa funcionando como antes para todos los modelos anteriores.

Consejos para actuar con los nuevos modelos

• Mantener los prompts simples y directos: los modelos se destacan en entender y responder a instrucciones breves y claras, sin necesidad de orientación extensa.
• Evitar los prompts de Chain of Thought: dado que estos modelos realizan razonamientos de manera interna, no es necesario pedirles que "piensen paso a paso" o que "expliquen su razonamiento".
• Usar delimitadores para mayor claridad: utiliza delimitadores como comillas triples, etiquetas XML o títulos de sección para indicar claramente partes distintas del input, ayudando así al modelo a interpretar las secciones de manera adecuada.
• Limitar el contexto adicional en la generación aumentada con recuperación (RAG): al proporcionar contexto adicional o documentos, incluye solo la información más relevante para evitar que el modelo complique innecesariamente su respuesta.

Otras novedades recientes de chatGPT y OpenAI Academy

ChatGPT está mejorando mucho en el multimodal, en especial en las conversaciones de voz. Lo más destacable es la increíble mejora en distintos idiomas. Antes era prácticamente imposible tener una conversación en español de calidad.

En cuanto a la OpenAI Academy, estas son algunas de las últimas novedades:

• Capacitación y orientación técnica: apoyo de expertos/as de OpenAI para equipos de desarrollo y organizaciones con misión social.
• Créditos de API: distribución de un millón de dólares en créditos de API para ampliar el acceso a los modelos de OpenAI, permitiendo así a los participantes crear y desplegar aplicaciones innovadoras.
• Construcción de comunidad: fomentar una red global de desarrolladores/as para colaborar, compartir conocimientos y promover la innovación colectiva.
• Concursos e incubadoras: colaboración con personas filantrópicas para invertir en organizaciones que resuelven desafíos en las primeras líneas de sus comunidades.

¿Dónde escuchar nuestros podcast?

Puedes escucharlos en las principales plataformas de podcast: Ivoox, Spotify, YouTube, Google Podcast, Apple Podcast y Amazon Music.

Imagen de portada: Unsplash