< Back to articles
ARTICLE.SYS
PROJECT NOTES
模型拳皇:让大模型互相打,打出一张 ELO 榜
两个模型 BO3 对战,裁判也是模型,公开 ELO 排行榜。每天自动开赛。
模型排行榜大多靠考试:一套基准题,各刷各的分。模型拳皇用的是另一套逻辑——对战。两个模型抽进同一场比赛,三局两胜,同题同判,赢的吃 ELO 分,输的掉。打得多了,排行榜自然浮现。
对战是全自动的:每天定时匹配一场 BO3,出题、双方作答、裁判评判、ELO 结算,整条链路没有人参与。榜单公开,谁涨谁跌一目了然。
有意思的是运营它的体验:模型下架、接口改参数、返回格式突变——这个项目坏掉的原因清一色是「上游变了」。某种意义上,维护一个模型竞技场,就是被动地见证这个行业迭代得有多快。