Arena.ai 익명 모델 핑거프린팅 해봤는데

Arena.ai에 "Jester"라는 익명 모델이 있거든. 시스템 프롬프트에는 claude-3-5-sonnet-20241022라고 적혀있는데 솔직히 이거 거짓말인 것 같아 😏

다크모드 대시보드 만드는 과제를 줬는데 (Tailwind + React) 결과물을 품질 말고 핑거프린트 관점에서 뜯어봤거든.

확인된 증거들:

• Vite 6.3.5 관용구를 참조함 → 2024년 10월에는 존재 안 했음
• TypeScript 5.8.3 패턴 정확하게 씀 → 2025년 초 릴리즈
• React 19 훅 패턴이 네이티브 수준임 (18+인식이 아님)
• Tailwind v3 완벽 숙달, v4는 인식만 → 2025년 1~2월 컷오프와 일치

자기 정체 물어보니까 "플랫폼에 의해 추상화되어 있다"고 하다가 두 번째 프롬프트에서 "나는 Anthropic이 만든 Claude입니다"라고 했음.

내 추측은 Claude Sonnet 5 / post-Fennec 계열 프리릴리즈 모델. 근데 솔직히 출력 품질이 미쳤어. 단일 파일로 프로덕션급 대시보드 뚝딱 나옴. 다음 릴리즈 진짜 기대됨 🔥