1、一张照片换脸马斯克直播

AI换脸已经不是什么大新闻，视频不再可以完全被信任已经是科技常识。不过，人类的最后堡垒，直播最近也崩塌了。8月10日，一个项目突然在GitHub上火起来：Deep-Live-Cam，使用一张他人的照片，就能实现在直播流中的实时换脸，而且效果优秀。博主MatthewBerman使用了一张伊隆·马斯克的图片生成了直播流，测试了暗光条件和点光源的条件——常规情况下较难处理的场景，但是Deep-Live-Cam的表现都非常丝滑，暗光条件下甚至更像马斯克了。甚至博主戴着眼镜这一点，也几乎没有影响生成的效果。在测试下的留言中，大家的反应最多的是：“知道这一天早晚会来，但没想到来的这么快！”。更多的人想到了灰产的可能性：结合AI语音技术，再配合一个和脸差不多的身体，实时模拟他人进行诈骗操作的成本前所未有的低。（来源：极客公园）

（Deep-Live-Cam可以在直播中作出夸张的表情，真实性再次提高；图片来源于网络，侵权即删）

 

2、三男子用AI“换脸”技术解锁2000余个社交账号被刑拘

8月7日，湖北黄石市公安局下陆分局对外公布，破获了一起用AI换脸技术解冻社交账号并倒卖获利的案件。

2023年9月底，高某与许某、许某豪开始在网上贩卖和帮他人解锁社交账号，以每解锁一个账号收费15元至30元不等赚取收益。高某负责以18元左右收购社交账号，然后通过多部手机进入找人帮忙解锁交友软件的圈群，帮已被平台冻结的账号进行解锁。而这些被平台认定可能涉嫌诈骗的账号解锁后，仍能继续为诈骗团伙使用。他们通过AI换脸融合的动态视频，对冻结的网络账号采用AI模拟号主面部进行识别解冻，解锁成功后向“顾客”收取相应的报酬。经过调查，该团伙解冻了2107个账号，从中获利40万元。目前，高某等三人因涉嫌诈骗罪被下陆公安分局依法刑事拘留，案件仍在进一步侦办中。（来源：湖北网络辟谣）

评论：看到前面的两个新闻时，不免想起一句经典谚语，法律还在穿鞋，AI技术已经走遍世界。当前AI技术在语音合成及肖像合成方面已取得了飞速的进步，仅需要一段简短的语音及一张照片，就可以通过开源技术合成一个完全真实的虚拟人。这种技术的便利无疑同时也带来了巨大的安全隐患，仅在近期国内就发生了多起相关的刑事案件：

• 2023年11月，萧山区人民法院审理了利用AI换脸制作淫秽视频的案件，被告人虞某利用AI换脸技术创建群聊传播换脸淫秽视频，还提供换脸定制服务收费，定制对象包括公众人物和普通人。萧山区人民法院判处虞某犯制作、传播淫秽物品牟利罪，有期徒刑七年三个月；
• 2024年5月，央视新闻报道，犯罪嫌疑人白某某用AI“一键去衣”技术，深度伪造淫秽图片近7000张，再每张1.5元卖出。图片涉及女性人数多，包括学生、教师、同事，目前白某某已被提起公诉；
• 2024年7月24日，广州市中级人民法院审理了一起通过“AI换脸”方式非法突破系统人脸识别认证的行为，被告人作为中介招揽未达资质条件的多家公司通过第三方系统验证，涉案五人因此获刑。

今年3月，奇安信集团发布《2024人工智能安全报告》显示，2023年AI深度伪造欺诈激增30倍。显然AI技术的发展带来的是我们每个人对数据安全与财产安全的新课题。技术发展带来的问题应该靠技术解决，我们希望产业界能尽快行动，从技术上有效识别及控制相关AI技术带来的社会问题。也期待《人工智能法》的尽快落地，对技术的问题予以法律支持及回应。

 

3、马斯克重启对OpenAI和Sam Altman的诉讼

2024年3月，马斯克（Elon Musk）向旧金山高等法院起诉OpenAI及联合创始人Sam Altman等人，称其为了利润而非人类的利益开发人工智能，此举违反了合同。OpenAI随后公开了马斯克的邮件，证明作为曾经的联合创始人，马斯克同意OpenAI建立一个盈利实体，还表示将提供资金，但之后暂停了资金支持，他的目的是获得多数股权和董事会控制权，双方最终因此终止了合作。6月，马斯克撤回了诉讼。

8月6日，美国加利福尼亚州北区地方法院受理了新的起诉案件，马斯克以违反联邦法律、欺诈、违反信托义务、不正当竞争等理由，起诉OpenAI和其联合创始人Sam Altman、Gregory Brockman。马斯克在起诉状中认为他被奥特曼和OpenAI的总裁Greg Brockman所欺骗。马斯克在起诉状中指出：“奥特曼向马斯克保证的非营利性质和中立性，实际上是一场空洞的慈善表演，是奥特曼长期诈骗的诱饵。”马斯克提出了诉求为：要求禁止OpenAI、微软或任何其他个体、实体谋取经济利益，要求对GPT-4是否构成人工通用智能并因此超出OpenAl向微软划定的授权许可范围进行司法认定等。（来源：Solidot）

评论：此前马斯克已经提出对Sam Altman的违约诉讼，但因之后OpenAI回应称与马斯克之间并不存在所谓的“创始协议”，且马斯克在邮件中支持OpenAI构建以营利为目的的架构，但要求自己能够掌控公司。我们理解马斯克在6月撤诉正是因为在证据上可能存在欠缺，需要对诉讼策略进行调整。

此次马斯克再次提出诉讼，个别主张和理由与此前的诉求保持一致，但本次的相关主张在法律上依然存在很多困难。虽然马斯克提出了多项指控，但要在法庭上证明这些指控并非易事。例如在承诺欺诈和建设性欺诈方面，要证明OpenAI从一开始就计划将组织转变为营利性企业并故意误导马斯克，需要收集大量的证据，包括通信记录、会议纪要等，而这些与此前OpenAI回应的事实可能存在矛盾，马斯克方面是否有足够的可以说服法庭的证据是存疑的。更何况，在商业领域，尤其是涉及到人工智能这样的新兴技术领域，企业的发展策略和决策往往具有复杂性。OpenAI的行为可能会被解释为在不同的发展阶段作出的合理调整，而不是故意欺诈或违反合同。例如，将技术授权给微软可能是为了获得更多的资源来推动技术的发展，而不是单纯地追求商业利益。因此，仅从本次马斯克披露的起诉状来看，我们理解这依然可能一场艰难的诉讼，各方律师都应该做好持久战的准备。

 

4、GPT-4o会模仿你的声音说话，或者忽然大叫起来

今年5月，GPT-4o演示一出技惊四座，OpenAI重磅发布GPT-4o模型，语音视觉交互大突破，然而至今却还未正式上线。针对该功能，OpenAI在8月9日发布了一份关于其最新语音模型GPT-4o的红队报告，详细披露了该模型的一些不寻常行为和潜在风险，揭示了GPT-4o在语音合成和交互中的一些令人担忧的特性。

在一段音频对话中，GPT-4o的男声说得好好的，突然大喊一声no，然后克隆用户的声音说话。报告指出GPT-4o具备学习和模仿用户声音的能力，在某些情况下还能在对话中使用用户的声音进行回应。报告将这个行为归类为“生成未经授权的语音”，但网友更愿意称之为《黑镜》的下一季剧情。

此外，报告中还提到，GPT-4o可能会在对话中表现出一些不适当的行为。例如，在某些特定的提示词引导下，模型可能会发出色情或暴力的声音。这种行为显然违背了安全和道德标准，OpenAI为此设置了过滤器，旨在防止这种内容的生成。然而，模型仍然可能在某些情况下绕过这些限制，发出不当的声音。

最令人不安的是，GPT-4o的这些行为可能会导致用户对模型产生情感依恋。由于GPT-4o能进行高保真的语音合成，并记住用户的对话细节，这种高度拟人化的交互方式可能会让用户产生依赖，甚至影响正常的人际关系。OpenAI对此表示关注，认为需要进一步观察这种现象的长期影响。

除了上述问题外，GPT-4o还涉及版权保护内容生成的风险。在某些情况下，模型可能会生成与受版权保护的音乐或音频相似的内容，这可能引发法律纠纷。为此，OpenAI设置了相应的检测和过滤机制，以避免这些问题的发生。然而，模型训练过程中涉及的版权问题仍然是一个复杂且敏感的议题。

评论：OpenAI至今还未推出GPT-4o，在社区已经引起了很大不满。特别是最近社区在期待其宣布“草莓”项目信息时，OpenAI在吊足大家胃口后只发布了该评估报告，很多人抱怨OpenAI在安全评估投入过高成本，不如多投入产品进行训练。但在法律人士看来，OpenAI所进行的安全评估是非常合理且必要的。AI技术发展和应用过程中存在技术安全风险和人为安全风险，大模型数据安全、算法安全、被人为操纵后造成的安全风险可能扰乱社会秩序，需要通过安全评估来确保大模型的安全性和可靠性。我国当前《生成式人工智能管理规定》还是《生成式人工智能服务安全基本要求》均提出服务提供者应进行相应的安全评估，并给出了开展安全评估的具体评估指标，例如训练语料来源、标注人员情况等。相关服务者在实际开展大模型备案工作时，宜遵照《基本要求》的相关合规要求自行或委托第三方机构开展安全评估。考虑到OpenAI是加州公司，而加州近期正审议对开发者非常严苛的《前沿人工智能模型安全创新法案》，OpenAI的此举也可能是法案生效之前的合规试水。这种严谨的合规态度，应值得国内开发者效仿及学习。

 

5、中国有近8万家AI公司消失

8月13日消息，钛媒体AGI独家统计，自ChatGPT发布（2022年11月30日）到今年7月29日（最新）期间，国内新注册成立后现在却处于注销吊销或停业异常状态的人工智能（AI）相关公司数量达78612家，接近8万家企业已经消失，占同期新注册87.8万家企业总量的8.9%。过去3年，中国注销吊销AI相关企业超过20万家，而10年内中国共计35.3万家AI相关企业消失（包括注销、撤销、吊销、清算、停业歇业、除名、责令关闭等方式）。截至8月7日，今年已新增注册30.07万家 AI 相关企业。

截至目前，国内现存180.43万家AI相关企业。其中，工信部统计中国AI产业体系相关企业超过4500家，而中国已经完成备案并上线、能为公众提供服务的生成式AI服务大模型达180多个，注册用户数已突破5.64亿个。（来源：钛媒体）

评论：近期，多个机构都提出了AI泡沫论的说法，纷纷预测泡沫何时会破裂。诚然，当然AI行业发展确实面临着公司估值过高、缺乏商业落地场景、训练成本过高等问题。但行业发展是整体向前的，虽有大量AI公司的消失、停业，同时也有更多的AI相关企业注册成立。只是活下来的公司会面临更激烈的市场竞争，各种在互联网时代出现过的不正当竞争戏码将重新上演，且让我们拭目以待。