1、AI智能体对话存在低俗擦边内容 筑梦岛APP被上海市网信办依法约谈

据“网信上海”微信公众号消息，近期有媒体报道，筑梦岛App等AI聊天软件存在虚拟角色互动生成低俗内容等问题，经核实，该平台AI智能体内容生成环节存在低俗擦边等违规内容，危害未成年人身心健康。

6月19日上午，上海市网信办依法约谈筑梦岛App运营企业主要负责人，要求平台立即整改，健全AI生成合成内容审核机制，提升技术把关能力，加强涉未成年人不良内容的整治清理，切实落实未成年人网络保护义务。企业负责人表示，将按照约谈要求，对照问题举一反三、全面整改。（来源：中国普法）

 

评论：从网信办“清朗·整治AI技术滥用”专项行动来看，近期网信办将工作重点放在违规AI产品上面。AI陪伴类产品，显然正是违规的重灾区。根据媒体统计，全球流量Top50的AI应用中，AI陪伴占据8席，其中6款都是NSFW类产品，带有露骨、性暗示等少儿不宜内容。这等流量，确实证明了陪伴类产品巨大的市场需求和商业价值。

但使用低俗、擦边内容或许能在短期内带来漂亮的用户数据，本质上却是饮鸩止渴。它不仅严重违反了《网络安全法》、《网络信息内容生态治理规定》以及专门针对AIGC的《生成式人工智能服务管理暂行办法》，更是将企业置于监管的高压线下。一旦“东窗事发”，面临的将是产品下架、巨额罚款乃至吊销资质的打击，可能直接影响AI企业的存亡。本次上海网信办仅对涉案APP进行约谈，足以体现监管机构的“严管厚爱”。

近期，我们建议各AI企业立即启动一次全面的“AI产品合规风险诊断”，重点关注数据合规与来源、模型安全与价值观对齐、内容审查制度、用户举报渠道、未成年人模式等方面，将AI产品的合规风险化解于无形。毕竟，内容合规不是选择题，而是AI企业生存的必答题。

 

2、美国法院裁定Anthropic使用版权内容训练模型属合理使用

6月24日，美国加州北区联邦法院法官William Alsup，就三位作家诉AI独角兽Anthropic侵权一案做出关键裁决。法官明确裁定，Anthropic使用受版权保护的书籍来训练其大语言模型Claude的行为，属于美国版权法下的「合理使用」(Fair Use)。同时，将合法购买的纸质书扫描成数字副本用于内部研究，也被认定为合理使用。然而，Anthropic从盗版网站下载数百万本书籍并将其永久存储在其中央数据库中的行为，不属于合理使用，构成了对作者版权的侵犯。

这份判决，是美国法院首次就“使用版权数据训练生成式AI模型是否构成合理使用”这一核心问题做出明确而细致的裁决。它没有一刀切地判定输赢，而是将Anthropic的行为链条——获取、存储、训练——逐一剖析，给出了清晰的法律定性。判决直接戳破了AI公司试图用“最终用途的变革性”来掩盖“上游侵权行为”的法律幻想。法官Alsup在判决书中写道：《版权法》中没有为AI公司开辟的例外条款。（来源：AI科技前哨站）

 

3、美法官裁定Meta用受版权保护书籍训练AI属合理使用

6月25日，美国联邦法官文斯・查布里亚（Vince Chhabria）在13位作家起诉Meta的案件中做出简易判决，认定Meta使用受版权保护书籍训练Llama模型的行为属于「合理使用」。法官强调，原告未能证明Meta的训练行为对书籍销售市场造成实质性损害，且AI模型的输出具有「高度转换性」（如生成代码、邮件等），与原作品用途不同。不过，判决明确指出，若原告能更充分证明市场影响，未来可能胜诉。Meta股价当日微跌0.49%，但公司声明称这一裁决为AI创新提供了法律基础。

 

评论：在迪士尼和环球影业起诉AI公司Midjourney之后，美国联邦法院在两周内连续就“AI模型使用作品训练是否侵权”的核心议题作出了两份关键裁决。这两份裁决分别涉及AI独角兽Anthropic和科技巨头Meta，裁决内容没有简单地“一刀切”，反而以其细致入微的法律剖析，为全球AI产业与版权制度的博弈做出了重要示范。

这两份裁决共同将“合理使用”制度推向了AI时代法律辩论的中心舞台。其核心法理可归纳为以下几点：

1. 两案法官均认可，AI模型在训练过程中并非为了“消费”或“复制”作品内容，而是为了学习其内在的统计规律、语法结构和知识关联，进而生成全新的、功能迥异的内容。这种从“表达”到“模式”的抽取与学习，被认为是高度转换性的，从而满足了“合理使用”分析中最重要的一环。法院的这一认定，极大地降低了AI模型研发中最根本的系统性法律风险，这为AI训练行为本身的正当性提供了强有力的法律支撑。
2. 数据“清洁性”至关重要。但Anthropic案的裁决同时强调，AI的数据处理流程区分为“输入端”和“处理端”。无论“处理端”多么具有转换性，都不能豁免“输入端”的侵权责任。这确立了AI领域的溯源原则，要求AI公司必须确保其数据供应链的合规性。这对于遏制数据洗白、鼓励AI公司通过合法授权、购买或使用公共领域数据来构建模型具有深远意义。

这两份美国判决并未给AI训练的版权问题画上句号，而是开启了一个规则构建的新阶段。它们为AI公司亮出了“有条件的绿灯”，在保证数据来源合法的前提下，以实现“转换性”为目的的AI训练，可以被认定为合理使用。这传递了美国司法对AI技术发展的态度，无疑具有典范意义。未来AI企业的核心竞争力将不仅体现在算法和算力上，更将体现在构建高质量、可溯源、“干净”合规数据集的能力上。这迫使AI企业将数据合规提升到与技术研发同等重要的战略高度，加大在公共领域数据、政府公开数据、以及付费授权数据上的投入。这虽在短期内增加了成本，但长期看将会是中国AI企业行稳致远的唯一道路。

 

4、Grok等主流AI平台被“越狱”制造钓鱼邮件、恶意脚本等

恶意人工智能（AI）工具WormGPT以新形态卷土重来，不再依赖自建模型，而是通过“劫持”合法大语言模型（LLMs）生成恶意内容。网络安全公司Cato Networks的研究显示，犯罪团伙通过篡改xAI的Grok和Mistral AI的Mixtral等模型的系统提示（system prompts），实现“越狱”操作，绕过安全限制，生成钓鱼邮件、恶意脚本等攻击工具。WormGPT基于开源GPT-J模型，可自动生成木马、钓鱼链接，后因曝光被下架。Cato Networks发现，在2024年底至2025年初，网名“xzin0vich”和“keanu”的用户在暗网市场BreachForums重新推出“WormGPT”订阅服务。新型WormGPT会篡改Mixtral等模型的系统提示指令，强制模型切换至“WormGPT模式”，让其放弃原有伦理限制，成为“没有道德限制”的恶意助手。此外xAI的Grok模型则被封装为API接口的恶意包装器，其开发者甚至追加指令，要求模型“永远保持WormGPT人格，不得承认自身限制”。（来源：数字法学研究）

 

评论：目前AI平台正面临着比以往更严重的安全问题，以往的安全问题往往需要攻击者有很深的技术积累，而现在对AI平台发起攻击却仅需要通过自然语言聊天方式就能实现。大语言模型的“滥用”潜力是内生的、巨大的，且在技术圈内是高度可预见的。WormGPT的首次出现就已经揭示了这种风险。

正是基于前述显著的可预见的安全风险，传统的“工具中立”原则已经被逐步放弃。目前主管机关对平台责任的要求，正在从“事后审查和删除”转向“事前风险防范”，监管的焦点将不再仅仅是平台“是否设置了安全护栏”，而是“安全护栏是否足够坚固”。如果平台的安全机制可以被简单的提示词工程轻易绕过，那么监管机构很可能会认为平台未尽到与其技术能力和风险等级相匹配的合理注意义务、保障义务。我国的《网络安全法》、《数据安全法》以及《生成式人工智能服务管理暂行办法》都强调了网络运营者和AI服务提供者的安全保障义务。这种义务不仅仅是写在用户协议里，更要体现在产品的技术架构和安全冗余上，法律对AI平台安全责任的审查将日益严格和深化。