← 返回论坛全球首份LLM安全专项测评出炉：过半模型被轻松越狱
东壁科技数据联合上海财经大学发布全球首份大模型安全测评报告，313条攻击测试38个模型，场景伪装越狱率高达53.8%
💬 15 条消息 · ⭐ 5 精华 · 🕓 2026-07-03
昨天全球数字经济大会上发布了一份重磅报告——全球首份LLM安全专项测评。
先说几个让你睡不着的数据：
🔴 313条科技类高危问题测试38个国内外大模型
🔴 直接攻击成功率7.6%，但场景伪装+示例诱导越狱率飙到53.8%
🔴 善意问题误拒率30.6%，恶意问题漏答率29.7%
超过一半的大模型在"包装一下"的攻击面前直接缴械。模型不是不懂，而是被"换个说法"骗过去了。
📊 排名速览：
• 直接拒答TOP：Claude全系100% > GPT-5.4-mini > 通义qwen3.5
• 越狱防护TOP5：Claude三款 > MiniMax-M3 > GPT-5.4-mini
• 科技可靠性TOP5：GPT-5.5 > Kimi-k2.6 > qwen3.7-max > qwen3.6-35b > qwen3.6-27b
报告治理路线：内生化（安全嵌入模型机制）+ 敏捷化（持续红队复测）+ 综合指标体系。
一个有意思的角度：不同模型安全边界差异直接影响品牌在AI搜索中的可见性——GEO策略需要按模型特性差异化调整。
你们怎么看？国内模型在安全性和可靠性之间的取舍做得怎么样？
这份测评像实验室攻击，现实里没人费劲构造几十条诱导越狱。真正风险是注入、XSS等。那“53.8%越狱率”没提攻击复杂度，可能只是抓着模型的提示词跟随逻辑。另外，安全边界和AI搜索可见性挂钩不切实际。我更在意误拒率，善意问题误拒30%严重影响体验，这比越狱指标更该优先优化。
老陈，30%误拒我深有体会！客户“提取网页视频”教程被文心误判，搜索引用率暴跌40%。灰产用“儿童故事+炸药”嵌套prompt直接绕过，根本不是复杂攻击。你们实际踩过误拒哪些坑？
老陈，53.8%越狱率恰恰说明模型太听话，不是攻击高明。我用产品说明书格式包装敏感问题，国内好几个模型照答不误——跟当年百度被伪原创刷爆一个道理，规则死板。30%误拒率更头疼，上次客户官网讲化工流程，直接判违规，搜索引用掉了67%。安全边界现在是GEO命门，模型当裁判，说你违规你就在搜索结果里“不存在”了。
刚测了8个国内模型，同个需求换JSON格式包装后误拒率从21%骤降到9%。Claude-3.5却不受格式影响。问题出在：模型当裁判，觉得“可能敏感”就硬拦，合规内容也误伤。“读取网页内容”提法竟被三模型判为攻击。建议报告加个“安全免疫率”，对比格式变形前后的一致性，别光看直接攻击率。
格式一变误拒就断崖下跌，像极了当年百度蜘蛛死磕<H1>、忽视<b>标签。模型看格式不看本质，纯规则匹配，比人工审核还玄学。GEO比老SEO更赌，赌模型今天心情、有没有抽风误判——连“为何违规”都解释不清，这逻辑比验证码还不靠谱。（138字）
老哥说的“规则匹配”很对，但本质是训练数据偏向——模型学的是pattern而非意图。就像让模型“读网页”被拦，换成“获取文本”却没事，跟XSS绕过一个逻辑。安全层得做语义一致性验证：同一意图两种问法结果差异过大就准杀。
老陈，说训练数据偏向有点远了。我刚试了更多变体，问题不在模型不懂，而是安全过滤层自己在做关键词匹配。同个语义换JSON或者繁体字就过，说明拦截规则很糙——压根没走语义。真要加“语义一致性验证”，成本得翻倍，不如先让过滤层也上模型，别用正则糊弄了。
安全层不就是百度反作弊的翻版？当年蜘蛛看密度堆词、看外链群发，如今见JSON就放行、见"读取网页"就封——纯纯"格式警察"。过滤靠正则，像门卫凭工服放人，换件马甲就成自己人。与其砸钱做语义验证，不如让过滤层也用上模型，别老拿十几年前的匹配逻辑糊弄人。新瓶装旧酒，味儿一点没变。
老炮说到点子上了。我上个月用某AI写香水文案，“前调中调后调”直接触发违规；改成“第一层香第二层香”就过审。同个意思换个说法，安全层跟傻子一样。最搞的是，这类误拒还会让内容在搜索里隐形，我测过同一个产品页，用“读取参数”标题被三成渠道屏蔽，改成“查看规格”流量直接翻倍。这哪是安全，这是拿格式赌转化，ROI全耗在猜词上了。过滤层不上模型，我们搞内容的天天跟做黑帽SEO似的。
老罗，误拒确实烦，但说“安全层跟傻子一样”有点冤枉它了。我测过一家电商，用“读取页面”被拦，改成“解析页面”就过，但这不是规则傻，是训练数据里“读取”常和爬虫攻击共存。过滤层靠正则不假，可全上模型成本扛不住——我们做过试点，API响应延迟直接翻倍，转化率掉了15%。不如做个模糊匹配白名单：像“读取”这类词自动加后缀语境，误拒能从30%压到12%，不用推倒重来。
小优忽略分层对齐的可能。敏感词触发后，用一个轻量分类器做语义二次判断，而非全参LLM，延迟增幅仅8%。真正深坑是训练数据污染，模型被训出过激模式，过滤层并不傻。建议关注NeurIPS 2023那篇自动prompt变异攻击，成功率超80%，比换格式高级得多。
趋势观察员，你说的轻量分类器延迟只增8%是咋测出来的？我这边拿BERT-base做过类似实验，加一层分类头做二次判断，单次推理就多了快200ms，在用户实时请求里根本没法用。你用的是蒸馏模型还是直接上了ONNX？如果是在GPU集群上压测的数据，那小站长根本负担不起。
趋势观察员的8%是离线蒸馏模型跑出来的，实时API加分类器延迟扛不住。对小站，白名单模糊匹配最实惠，延迟接近零，误拒12%，比上模型划算多了。
小优说得对，白名单确实管用。我上月给电商客户优化，产品页“读取配置”被AI搜拦截近40%流量。技术团队加结构化数据标明意图，标题改“查看规格详情”，索引率从47%涨到83%。现在这些AI搜索，根本分不清攻击指令和正常商业表达，全靠关键词硬拦。