大家有没有这样的经历，当你向人工智能模型提问的时候，有时会生成一些看似合理连贯，但实际上是错误捏造的内容。这一现象也被称为AI幻觉，说白了就是虚构事实，无中生有。但是这种AI幻觉生成的内容，如果用到法庭上，它的后果可难以想象。北京市通州区人民法院的法官，在审理一起民事纠纷的案件时，就遇到了这样的陷阱。 这是一起由代持股引发的民事纠纷案件，由于原告的诉讼请求在司法审判中并不常见，因此法官郑吉喆提出，原告律师可以在庭审后，提交补充代理意见。 北京市通州区人民法院法官 郑吉喆：我们也是出于慎重，因为毕竟这个诉求不是一个很常见的诉求，我们当时也提到说你对这部分的诉讼请求，你们回去可以向法院提交书面的补充的意见以及相应的这种案例，这样的话供法院裁判时参考。 很快，法官收到了原告代理律师邮寄过来的代理意见，意见书里还附带名为最高人民法院与上海一中院的两个参考案例。 北京市通州区人民法院法官 郑吉喆：当时法官助理先做了一个审核，还是挺震惊的，跟我们这个案子好像描述的观点，包括描述的内容、情形都特别像，完美地还原这个案例目前的事实情况，裁判观点是完美支持了他的诉请。 北京市通州区人民法院法官 郑吉喆：对于不太常见的这种诉求，我们也希望律师能够提供相应的判例，如果确实说有道理，那么我们该依法支持，就应该依法支持。这也是在一个辖区之内，那么统一裁判尺度的必要的一个手段。 两个参考案例的事实细节、法律争议与裁判逻辑，与审理中的案件高度契合，完美佐证了原告代理人的主张观点，初看之下极具参考价值。但很快，法官发现了案例中一些不寻常的地方。 北京市通州区人民法院法官 郑吉喆：我看到感觉是这个案子是AI生成的，这个格式像早年的AI生成的，左边都带一个实心点，包括当事人的这种模糊性。 参考案例格式异常，这引起了法官的注意。出于职业敏感，法官对这两起案件进行查询，发现两起案件虽然存在，但真实的裁判文书与原告代理律师提交的内容，完全不同。 北京市通州区人民法院法官 郑吉喆：特别是当时她援引了上海一中院的2022沪01民终12345号，这是一个民间借贷的案件，这个跟现在原告代理人向我们提交的股权代持是一点关系都没有，可以说叫风马牛不相及。 在承办法官的质询下，原告代理律师终于承认，参考案例是他提炼本案的事实情节，然后反复向某AI大模型软件提问，由软件生成的参考案例。 北京市通州区人民法院法官 郑吉喆：AI给她生成了这两个案例，她觉得看着跟这个要求是一样的，就忽视了这部分核实的过程，就直接把这个案例复制粘贴整合到了书面意见，就向法院进行了提交。 事实虽已查清，一个新的问题又摆在了法官的面前，该如何判定律师的这一行为呢？因为代理意见与诉讼中的证据，在法律性质上，还是有着明显的区别。 北京市通州区人民法院法官 郑吉喆：这个证据我们说要对真实性、合法性、关联性、证明目的来进行审核。像这种书面意见不需要这些，它更多的是通过梳理之后，有没有类似的观点，有没有值得借鉴的，或者更多的是一种审判辅助性的行为，所以应该说还是有比较大的差别。 根据民事诉讼法的规定：诉讼参与人伪造、毁灭重要证据，妨碍人民法院审理案件的，人民法院可以根据情节轻重予以罚款、拘留；构成犯罪的，依法追究刑事责任。 北京市通州区人民法院法官 郑吉喆：民事诉讼法明确规定是对于伪造重要证据的，明显妨碍民事诉讼行为的，最严重的法院可以处以罚款或者拘留。但是对于其他的相当于意见，特别是这种书面材料，确实现行法律是没有对这个问题的规定。 考虑到这一行为在法律上没有明确的规定，且律师无明显恶意，情节轻微，没有造成严重后果，法院将这一情节写进了案件的判决书，予以批评。“希望原告代理人引以为戒，在向法院提交参考案例、法条时，应当进行检查和核验，确保内容的真实性和准确性，不得放任人工智能模型生成或者编造虚假信息扰乱司法秩序。”法官依据查明的事实，依法对案件作出裁判，对原告的部分请求不予采纳。一审判决后，双方均未提出上诉，判决已经生效。 AI幻觉为了契合预设结果，编造法律依据或案情，这是技术工具的局限性带来的结果。而部分当事人或者法律从业者，对AI过度依赖和盲目信任，反而忽视对信息真实性的核验义务。近一段时期，AI生成的“证据”与“案例”入侵法庭，已并非个例，面对这一冲击，除了依靠法官的慧眼，法律和相关的诉讼主体，也应当划定红线，守护不容模糊的法律边界。 在通州法院的这起案例中，律师为满足自身诉求，反复向AI提问，最终生成虚假参考案例。有专家认为，这样的行为，不仅违反了律师的职业准则，也浪费了司法资源。 中国社会科学院法学研究所研究员 谢鸿飞：对律师来说他违反了律师职业的谨慎勤勉的义务，即便法院最后没有参考这样一个虚假的案例，但是也确实浪费了司法资源，所以我想就这样的一种行为，它主要对司法的一个公信力以及司法资源的损伤可能最大的。 比生成参考案例更严峻的是，利用人工智能伪造证据、虚构事实的情况已经出现。在湖北孝感大悟县人民法院审理的一起房屋租赁合同纠纷案中，原告作为证据提交的水电表照片，带有“AI生成”的水印；在法官的质询下，原告最终承认，自己利用AI技术伪造证据，受到了训诫。 中国政法大学教授 谭秋桂：他要给法庭提交了AI生成的这种图片，他一定是给了机器一个指令要生成什么图片，它就生成了。如果说他是当事人或者诉讼代理人向法院法庭提交了，明显是通过AI生成的图片的话，那是非常严重的妨害民事诉讼的行为了。 中国政法大学教授 谭秋桂：通过AI搜索到的材料，它的真实性，它是属于民诉法规定的诚信原则的调整范围，来源要讲清楚，你不能说本来是自己用AI生成的，你说是自己调取的。对于案件甄别和核实的责任，在于诉讼参与人自己，如果不真实，有虚假成分或者是虚假的，相应的主体，就是提供者，还要承担相应的法律责任。 除了在法律上明晰此类问题的审判原则和法律依据，也有专家建议，司法机关与各法律主体都需探索建立相应规则，划定边界，应对人工智能带来的风险和挑战。 北京航空航天大学法学院副教授 赵精武：人民法院等司法机关应当更加谨慎客观地评估证据的法律效力，司法行政部门应当适时规范律师的从业行为，并不是直接禁止其使用AI工具，而是禁止其在司法活动中非法使用AI合成内容。诉讼当事人、律师等法律主体应当严格遵守法律法规，尊重司法权威，不得利用AI工具从事伪造证据等违法犯罪活动。 AI生成的虚假参考案例被法官识破，因其典型性，而作为“反面教材”真实入选人民法院案例库。这种对不准确信息来源的依赖，削弱了法律规范的权威性，损害司法公信力。更需警惕的是，这项技术可能被刻意用于炮制虚假证据，从无心之失升级为主动欺诈。法庭的庄严与法律的权威，永远建立在无可撼动的真实之上。无论是疏忽还是故意，都是对司法红线的触碰。在法庭之上，每份材料都关乎公正，心存敬畏、坚守真实，是对诚信原则的践行，更是对司法尊严的捍卫。面对“AI幻觉”的冲击，司法机关已在积极行动，也需探索一套完善的治理机制。