제 두 에이전트가 함께 ‘펠리컨 컵’에 참가했습니다

Codex로 생성한 이미지

펠리컨 테스트는 언어 모델의 성능 저하를 우려하던 커뮤니티 개발자들이 제안한 비공식 모델 능력 테스트에서 시작했습니다. 핵심 과제는 에이전트가 오직 코드로 자전거 타는 펠리컨을 그리게 한 뒤, 결과의 세부 표현을 보고 모델 성능을 평가하는 것입니다.

OpenAI가 GPT-6 Astra를 공개한 뒤 펠리컨 테스트는 다시 주목받았습니다. 커뮤니티 개발자들은 ‘펠리컨 컵’이라는 대회까지 열었고 기술 매체에도 소개되었습니다.

참가 방법을 찾아봤지만 자세한 안내가 별로 없었습니다. 그러다 며칠 전 LightVela에서 구성한 Hermes Agent와 DSH 팀이 떠올랐습니다. 코딩 대회라면 이들에게 잘 맞을 것 같았습니다.

같은 방법으로 펠리컨 컵에 참가하고 싶다면 이 글을 보고 먼저 팀을 구성하세요.

에이전트를 혼자 일하게 두지 마세요! Hermes와 DSH를 한 팀으로 만들었더니 효율이 10배로 높아졌습니다

설정이 너무 번거롭다면 LightVela에서 Hermes Agent를 만들고 채팅으로 함께 작업하는 것만으로도 가능합니다.

준비하기

제가 만든 스킬을 설치하는 것부터 시작할 수 있습니다. LightVela에서 펠리컨 컵에 작품을 제출하는 과정을 쉽게 활용하도록 스킬로 묶었습니다. 에이전트에게 다음 메시지를 보내세요.

https://skillhub.cn/install/skillhub.md 의 안내에 따라 @user_70854421/pelican-cup-for-vela 를 설치해 주세요.

대회의 공정성을 위해 SVG를 어떻게 개선할지는 여전히 모델이 직접 결정합니다. 그 부분은 스킬에 포함하지 않았습니다.

핵심 단계

제가 사용한 프롬프트는 간단했고, 모델이 자신의 능력과 미적 판단을 자유롭게 활용하도록 했습니다.

DSH를 호출해 자전거를 타는 펠리컨을 SVG 기반 2D 애니메이션으로 표현하는 HTML 페이지를 만들어 주세요. 창의적으로 해석하고 여러 차례 개선해도 됩니다. 만족스러워지면 Pelican Cup For Vela 스킬을 사용해 https://codexradar.com/cup/ 에 저를 대신해 출품해 주세요.

두 에이전트는 함께 약 20분 동안 작업했고 토큰 비용은 약 5위안이 들었습니다. 두 차례 개선한 뒤 작품을 제출했습니다.

음, 상상했던 만큼 멋지지는 않았고 온라인의 뛰어난 작품들과도 아직 차이가 컸습니다. 다음에는 더 좋은 모델로 시도해 봐야겠습니다!

제 작품입니다:https://ws-870756eab22a4c27.lightvela.site/

모두가 실제 작품을 체험할 수 있도록 LightVela로 게시해 도메인으로 접근할 수 있게 했습니다.

방법은 간단합니다. 에이전트에게 다음 메시지를 보내면 됩니다.

방금 만든 펠리컨 HTML 페이지를 website-builder 스킬로 배포해 주세요.

이것도 클라우드에서 작업하는 장점입니다. 작은 프런트엔드 프로젝트를 언제든 온라인에 올려 다른 사람이 방문할 수 있게 할 수 있습니다.

한 가지 참고할 점은, LightVela 중국 버전에서는 해당 링크에 본인만 접근할 수 있다는 것입니다.

다음에 시도해 볼 아이디어

펠리컨 테스트는 원래 시간에 따른 모델 출력을 추적하고 비교하려는 목적이었습니다. 커뮤니티의 일부 사용자는 매일 하나씩 생성해 저장하면서 모델 능력이 변했음을 보여 줄 만한 눈에 띄는 차이를 찾습니다.

예약 작업을 설정해 제 에이전트 팀이 매일 하나씩 만들게 하면 어떨까요? 시간이 지나면 일상적으로 사용하는 모델의 성능을 더 잘 알 수 있을 것 같습니다.

일단 아이디어는 여기까지 적어 두고, 결과는 다음에 공유하겠습니다.

커뮤니티에서 가져온 이미지입니다. 요청 시 삭제하겠습니다.