上个月团队要给内容产线选主力模型，我拉了一张表，上面列了市面上12个叫得上名的：GPT-4o、GPT-4 Turbo、Claude 3.5 Sonnet、Claude 3 Opus、Gemini 1.5 Pro、Gemini 1.5 Flash、Llama 3 70B、Qwen2-72B、DeepSeek V2、Yi-Large、Command R+、Mistral Large。
没搞排行榜那种“综合能力”虚分。就一个真实任务：把同一篇长尾关键词Brief喂进去，让它们在零样本和一次Few-shot下生成1500字SEO文章，跑32遍。256次调用，4个人独立打分，维度就四个：指令遵循、信息准确度、可读性、改写成本。
跑完数据拉出来，排名和LMSYS Chatbot Arena的热度榜撞了一半，另一半翻得厉害。
指令遵循：Claude 3.5 Sonnet断层第一，Gemini 1.5 Flash排到第三
这个维度我们权重给得最高——你用产品标题、H2结构、关键词密度要求去约束输出，模型不听你的，后续得靠人改。改就意味着产线成本翻倍。
得分规则简单：完全按Brief结构交稿的得5分，漏掉一个H2扣1分，关键词密度偏差超过0.3%扣1分，字数偏差超20%直接记0分。
256次测评下来，Claude 3.5 Sonnet平均4.8分，甩第二名GPT-4o整整1.2分。这个差距在批量文章产线里很吓人。我之前在 Claude SEO优化实战 里提过，Claude系统提示词遵循度在长指令场景下明显强过GPT，那次是感觉，这次是拿256组数据砸实的。
意外的是Gemini 1.5 Flash，指令遵循均分3.9，排到第三。Google这个小模型在处理单篇结构化指令时，漏掉H2的概率比Gemini 1.5 Pro还低。Pro版本反而容易“画蛇添足”，自己给文章加小标题，把结构搞乱。
推理速度与成本：便宜模型不一定省钱，慢模型能把产线节奏拖垮
很多人只看API单价。我们算的是有效产出成本——生成的文章能直接用的比例除以总调用费用。
DeepSeek V2单价极低，但指令遵循只有2.1分，信息准确度也只有2.8分。生成内容里经常把产品参数写串，编造不存在的型号。返工率接近60%。算下来有效产出成本反而比GPT-4o高24%。
推理延迟也直接影响产线节拍。我们要求单次调用3000 token输出控制在5秒以内。Claude 3.5 Sonnet平均4.2秒，GPT-4o在3.8秒上下。但Gemini 1.5 Pro动不动飙到8-9秒，把整个异步流水线堵住。后来我们把Gemini换成了Flash才跑顺。关于模型推理延迟怎么压，我在 大模型推理延迟优化 里拆过一套打法和五个具体动作，这里不展开。
事实准确度：GPT-4 Turbo还是最稳，但国产模型进步太快
这个维度我们让审核同事标记“编造数据”“错误引用”“幻觉事实”三类问题。每出现一处扣1分，满分5分。
GPT-4 Turbo平均4.4分，是所有模型里最高的。幻觉控制得最干净，尤其是涉及具体产品参数、时间节点、技术名词时，出错概率明显低一截。
但跟半年前比，差距在急剧缩小。Qwen2-72B这次拿了3.7分，Yi-Large 3.6分，都迈进可用线。半年前国产模型在这个维度普遍只有2分出头，一页Brief能给你编出七八个假数字。
北京上半年备案的AI大模型数量全国第一，政策推动下国产模型迭代速度快到离谱。我在 北京AI大模型备案分析 里聊过，密集的备案意味着密集的场景落地，场景越多反馈数据越多，这轮国产模型的知识准确度提升就是实打实的反馈飞轮转起来了。
最终排出来的前五名，跟主流通用榜单差了多少
我们按四个维度加权（指令遵循40%、事实准确30%、可读性20%、改写成本10%）算出来的总排名：
1. Claude 3.5 Sonnet
2. GPT-4o
3. GPT-4 Turbo
4. Gemini 1.5 Flash
5. Qwen2-72B
LMSYS Elo排名当时的前五是：GPT-4o、Claude 3.5 Sonnet、GPT-4 Turbo、Gemini 1.5 Pro、Llama 3 70B。
Gemini 1.5 Flash在我们的任务里把Pro挤下去了，Llama 3则连前十都没进——它生成的中文文章可读性差，口语化和英文直译痕迹重，改稿成本极高。
这恰恰说明一个问题：大模型排名不存在“世界排名”这种东西。脱离任务场景的横向对比全是空中楼阁。你拿同一个模型做客服、做代码、做SEO文章，排出来的位次完全不一样。
这个结果对我们产线选型的实际影响
数据拉完第二天，我们把主力SEO文章产线从GPT-4 Turbo切到了Claude 3.5 Sonnet，降级方案用Gemini 1.5 Flash接突发流量，Qwen2-72B做部分中文长尾词的实验链路。
切完一周，人工改稿量下降了37%，单篇文章从产出到上线的时间缩短了2.8小时。这些不是模型厂商的Benchmark跑出来的，是产线上真实数字。
所以我后来再看各种AI大模型排行榜，基本只看分任务的子榜单。综合排名？看一眼就划走了。