1、韩国出现“深度伪造”技术下的新“N号房”案件，受害者多为未成年人

近期，韩国出现了利用AI换脸技术实施的性犯罪事件，被视为新版“N号房”丑闻。自今年5月份以来，此类事件不断被曝光。据报道，韩国警方发现大量与学校、医院、军队有关的涉案社交媒体群组，参与用户多达22万人。受害者80%为女性，其中不乏初高中生等未成年人。犯罪活动在大学生、教师和士兵等群体中蔓延。

韩国教师工会指出，在最近的一系列事件中，有200多所学校受到了影响。韩国总统尹锡悦发表讲话时呼吁警方展开彻底调查，以根除此类AI犯罪。韩国执政党国民力量党表示，政府计划与社交媒体合作，同时加强对“深度伪造”犯罪行为的处罚力度。

连日来，有多位韩国女性在英文、中文社交平台发帖求助。有微博用户发布消息称：“在韩国发生‘N号房’事件时，几乎没有加害者被捕，也没有披露加害者的名单。”因为害怕此次事件也会安静地过去，这名用户因此发帖，希望中国朋友把这件事传播出去。（来源：澎湃新闻）

评论：此次韩国的新“N号房”案件并非独立事件，我国此前也已经发生过多起涉及AI技术、深度合成的犯罪事件，例如：2023年11月，萧山区人民法院审理了利用AI换脸制作淫秽视频的案件，被告人虞某利用AI换脸技术创建群聊传播换脸淫秽视频，还提供换脸定制服务收费，定制对象包括公众人物和普通人。萧山区人民法院判处虞某犯制作、传播淫秽物品牟利罪，有期徒刑七年三个月；2024年5月，央视新闻报道，犯罪嫌疑人白某某用AI“一键去衣”技术，深度伪造淫秽图片近7000张，再每张1.5元卖出。图片涉及女性人数多，包括学生、教师、同事，目前白某某已被提起公诉。这仅仅是已经被发现和起诉的案件，我们相信在网络深处一定还隐藏着更多同类的犯罪行为，其行为性质也可能更加恶劣。

技术带来的问题，应该从技术上寻找解决方案。目前很多此类犯罪者使用的都是开源的深度合成工具，相关教程可以通过社交网络平台自行获取，一个没有技术基础的普通人可以通过1-2个小时的学习掌握该等技术。因此，更重要的是落实相关开源技术平台及社交平台的管理责任，完善实名认证及实人认证，通过有效技术措施（如强制添加AI标识、加密验证码技术），保证深度合成信息内容可识别、可追踪。同时，业界也应加紧研发高效的AI换脸检测技术，准确识别和区分真实图像与换脸图像，为打击犯罪提供技术支持。

 

2、5800元网课老师竟是AI换脸，讲课时手指直接穿过面部

近日，安徽滁州的陈同学购买了华英专升本的网课，在官方APP上看课学习时发现老师疑似AI换脸，因为讲课时手指直接穿过了面部。陈同学表示，当时就觉得很诡异，于是向店家反映，对方承认了换脸，但不觉得有问题，要求退费时，店家称，还要按观看次数进行扣费。对此，网课机构回应称，部分老师因为某些原因不方便露脸，所以采用了AI换脸技术。机构强调，他们并没有盗用其他网课视频，而是因为个别老师有特殊情况无法亲自出镜。机构还表示，这位爆料的网友是恶意投诉，并正在收集证据通过法律程序提起诉讼‌。（来源：看看新闻）

评论：从法律人的角度来看，培训老师AI换脸更有可能是出于“合规考虑”。据教育部印发的《严禁中小学校和在职中小学教师有偿补课的规定》，严禁在职中小学教师参加校外培训机构或由其他教师、家长、家长委员会等组织的有偿补课。培训机构使用AI换脸技术，可能是为了避免触碰法律红线。一些在职教师可能希望在不影响本职工作的前提下，通过兼职赚取额外收入，但又担心违反相关规定。因此，机构采用AI换脸技术可以在一定程度上掩盖真实身份，从而规避被认定为违规补课的风险。

不过，这种所谓的“合规考虑”并不能成为网课机构随意使用AI换脸技术的正当理由。毕竟消费者享有合法的选择权与知情权，机构在未明确告知消费者的情况下使用AI换脸技术，已经涉嫌侵犯消费者的合法权益。此外，从法律角度来看，使用AI换脸技术也可能存在潜在的侵权风险。如果用于换脸的素材来源不合法，或者未经授权使用他人的形象，那么网课机构可能会面临侵犯肖像权等纠纷。因此，从法律角度审视，培训机构采用AI换脸技术以“规避合规风险”的做法，实际上可能引发更多的法律问题和争议，这种合规管理是不合格的、不负责的。

 

3、OpenAI新大模型，需要美国政府审查才能发布

OpenAI联合创始人兼首席执行官Sam Altman在社交平台宣布，与美国AI安全研究所达成合作协议，对于OpenAI未来的模型进行预发布测试。这也就是说，只有通过美国政府的各种安全测试，OpenAI才能发布领先的大模型。已经无法自行发布产品，无形之中会限制其技术的发挥。例如，OpenAI正在测试的“草莓”和“猎户座”在功能方面可能会受到影响。

其实当前美国网络司令部司令、前国家安全局局长-中增根加入董事会时，就已经盯上了OpenAI，现在只是把枷锁正式套在了头上。Altman还无奈的加了一句，出于各种原因，在国家层面上进行监管是很重要的，美国需要继续领先。多数网友对这个消息持悲观态度，OpenAI再也不是那个拥有无尽想象力和创造力的生成式AI领导者，就像一颗璀璨的星辰被笼罩上一层迷雾。（来源：AIGC开放社区）

评论：基于多语态大语言模型的能力，其技术的发展涉及国家安全、公共利益等多方面问题，大模型带来的潜在的风险和影响也日益受到关注（如上文提及的AI换脸新闻），对其进行监管是应有之义，目前各国都在探索对AI技术监管的最佳方案。我国早就在2023年7月公布了《生成式人工智能服务管理暂行办法》，确立了“大模型备案+算法备案”的监管模式，要求AI开发者进行语料安全评估、生成内容安全评估、问题拒答评估等，在通过安全评估后才能向社会公众提供服务。美国目前的监管方案某种程度上借鉴了中国模式，但由于美国政府审查往往涉及复杂的流程和严格的测试标准，OpenAI可能面临较长的等待期，从而影响其产品的及时上市和技术迭代的速度。例如，“草莓”和“猎户座”这两个正处于测试阶段的新模型，其功能和发布时间可能会受到审查程序的影响，这不仅对 OpenAI 自身发展带来挑战，也在一定程度上影响了全球人工智能产业的格局。

 

4、Llama3被亚马逊、微软“打入冷宫”

最近，开源大模型届的“汗血宝马”Llama 3，似乎要露馅了。据美国媒体The Information报道，在全球最大云计算服务商亚马逊的AWS平台上，一度被开发者好评如潮的Llama开源大模型竟然无人问津，企业用户最喜欢的是Anthropic的闭源大模型Claude。无独有偶，报道称在微软云平台上，Llama也一样坐着冷板凳，销售人员甚至不会主动进行推销。此外，根据Hugging Face官网的数据，Llama的最新版本Llama 3.1自7月23日发布以来的第一个月里，从Hugging Face的下载量累计约为360万次。这远低于Llama 3 在4月发布后首月里的580万次下载量。（来源：量子位）

评论：此前我们曾讨论过，学术界对于Llama等模型是否属于真开源有诸多争议。这是因为大模型的开源和软件开源有本质区别，传统软件开源是公开其软件的全部源代码，其他开发者可以参与该软件代码开发、迭代。而对大模型而言，可以开源的包括模型训练源代码、参数权重、训练数据等。但包括Meta在内的开发者通常仅仅开源参数权重，而训练源代码、训练数据等均未开源，这就导致其他开发者无法了解该模型的训练原理，也无法对开源模型进行改进及优化。此外，尽管Llama 3.1开源免费，但模型本身的使用成本似乎并不低。由于该模型的参数较大，对本地的IT设施要求极高，中小公司普遍缺乏与之相匹配的IT设施建设，也导致其用不起、不敢用。因此，Llama3遇冷并不意外，这也充分说明大模型的开源不仅仅是技术问题，还涉及数据隐私、知识产权、商业利益等多方面的考量。大模型开源与闭源之争，可能还要持续很长时间才会有明确答案。