Mis dos agentes participaron juntos en la Copa Pelícano

Imagen generada con Codex

La prueba del pelícano nació como una evaluación informal de las capacidades de los modelos, propuesta por desarrolladores de la comunidad preocupados por una posible pérdida de capacidad de los modelos de lenguaje. La tarea consiste en pedir a un agente que dibuje, únicamente mediante código, un pelícano en bicicleta y evaluar al modelo según los detalles del resultado.

Tras el lanzamiento de GPT-6 Astra por OpenAI, la prueba volvió a llamar la atención. Los desarrolladores de la comunidad incluso organizaron una competición, la Copa Pelícano, que apareció en medios tecnológicos.

Busqué un poco, pero no encontré muchas instrucciones para participar. Entonces recordé el equipo de Hermes Agent y DSH que había montado en LightVela unos días antes. Una competición de programación parecía ideal para ellos.

Si quieres participar en la Copa Pelícano de la misma manera, empieza con este artículo para montar tu equipo:

¡No dejes que tu agente trabaje solo! Al unir Hermes y DSH, mi eficiencia se multiplicó por diez

Si te parece demasiada configuración, también puedes crear un Hermes Agent en LightVela y trabajar con él por chat.

Preparativos

Puedes empezar instalando mi habilidad. He convertido el proceso de presentar una entrada a la Copa Pelícano desde LightVela en una habilidad para facilitar su uso. Envía este mensaje a tu agente:

Sigue https://skillhub.cn/install/skillhub.md para instalar @user_70854421/pelican-cup-for-vela.

Para mantener la competición justa, el modelo sigue decidiendo por sí mismo cómo mejorar el SVG. Esa parte no está incluida en la habilidad.

El paso clave

Mi instrucción era sencilla y dejaba al modelo libertad para usar sus capacidades y su criterio visual:

Llama a DSH para crear una página HTML con una animación 2D en SVG de un pelícano montando en bicicleta. Puedes interpretar la idea de forma creativa y mejorarla en varias rondas. Cuando estés satisfecho, usa la habilidad Pelican Cup For Vela para presentarla por mí en https://codexradar.com/cup/.

Trabajando juntos, los dos agentes tardaron unos 20 minutos y gastaron alrededor de 5 RMB en tokens. Tras dos rondas de mejoras, presentaron su trabajo.

Bueno, no quedó tan bien como lo había imaginado y todavía estaba lejos de algunas de las propuestas excelentes que vi en Internet. ¡Parece que la próxima vez tendré que probar un modelo mejor!

Mi propuesta:https://ws-870756eab22a4c27.lightvela.site/

Para que todo el mundo pudiera probar el resultado, también lo publiqué mediante LightVela y lo dejé accesible a través de un dominio.

Es fácil hacerlo. Envía el siguiente mensaje a tu agente:

Usa la habilidad website-builder para desplegar la página HTML del pelícano que acabamos de crear.

Esa es una ventaja de trabajar en la nube: puedes poner pequeños proyectos de frontend en línea para que otros los visiten cuando quieras.

Ten en cuenta que, en la versión china de LightVela, solo tú puedes acceder al enlace.

Una idea para la próxima vez

La prueba del pelícano se ideó originalmente para seguir y comparar los resultados de los modelos a lo largo del tiempo. Algunas personas de la comunidad generan y guardan uno cada día, buscando cambios evidentes que puedan indicar una variación en las capacidades del modelo.

¿Podría configurar una tarea programada para que mi equipo de agentes generase uno cada día? Con el tiempo, quizá me permitiría conocer mejor el rendimiento del modelo que utilizo a diario.

Dejo aquí la idea por ahora y compartiré los resultados en otra ocasión.

Imagen de la comunidad; se retirará si se solicita.