logo
AI幻觉再引关注“生成内容”时代边界何在
===2026/1/9 7:27:21===
的漏洞。   “国内外的大模型产品,本质上叫next token prediction,这就是说模型在生成答案时,是基于概率预测下一个词,而不是真正地进行逻辑推理或计算。所以为了流畅或其他原因,有可能会产生一些很奇怪的说法。”深圳大学一位专攻大语言模型及其安全领域的副教授告诉记者,“出现这些幻觉更本质的核心原因,还是当前的计算能力受限了。”   在马克斯看来,AI大模型自诞生之日起,幻觉就难以避免。“因为从底层规则来看,大模型被强制要求一定要有回应,但它确实会出现无法回答的情况,因此自然就会胡说八道。”   一边是厂商不断加高的安全壁垒,另一边是用户不断尝试,设法在已有的规则中找寻突破口。就如几十年前互联网刚普及时一样,这注定将成为一场“猫鼠游戏”。   “AI大模型目前的这一结构令其在技术上无法消灭幻觉,只能在工程上尽可能避免。”马克斯说。   “生成式”内容:规则边界的重新定义   如何尽可能减少AI幻觉?除了确保源头数据的准确以外,建立更加多维且可靠的安全墙是最好的选择。   马克斯告诉记者,除了在输出前增加新的对抗性“人格”,再次确保内容合规外,使用检索增强生成技术也成为现在厂商的选择之一,“这个技术相当于一个外置的知识库,大模型在输出前再到库里检索一遍,以确保内容准确”。   记者注意到,目前不少厂商在医疗、金融、教育等对准确度要求极高的场景中都使用了相关技术。   尽管如今AI大模型幻觉触发的概率正变得越来越低,但在越发庞大的总量面前,这些“胡言乱语”的数量仍不能小觑。更重要的是,不少内容甚至伴随对既有社会法规的挑战。   近期,印度电子信息技术部发布命令,要求X平台必须采取措施,限制Grok生成“淫秽、色情、低俗、猥亵等违法内容”。同期,法国、马来西亚的监管部门也宣布了对Grok违规行为的审查。   对此,马斯克发文称:“任何利用Grok生成非法内容的人,都将面临与上传非法内容同等的后果。”   早前,有用户通过Grok生成了儿童色情图片引发社交媒体震动。Grok官方随后紧急发文致歉,表示这是安全防护机制的一次失效,“我们对由此造成的任何伤害深表歉意。正对此事展开审查,以杜绝类似问题再次发生”。   采访中,多位业内人士表示,尽管国内目前对于生成式内容的管理整体更为有序,但潜在的争议仍需要明确。“比如说对于生成内容,究竟是由大模型厂商、使用模型的商家,
=*=*=*=*=*=
当前为第2/3页
下一页-上一页-
=*=*=*=*=*=
返回新闻列表
返回网站首页