人工智能拟人化互动服务新规今起施行 划定多重安全底线

　　由国家互联网信息办公室等5部门制定的《人工智能拟人化互动服务管理暂行办法》今天(15日)正式施行。

　　什么是人工智能拟人化互动服务？办法施行后，AI如何更好地为我们所用？一起了解↓↓

　　什么是人工智能拟人化互动服务？

　　根据暂行办法的规定，人工智能拟人化互动服务指的是，利用人工智能技术，向公众提供模拟自然人人格特征、思维模式和沟通风格的持续性的情感互动服务，包括通过文字、图片、音频、视频等形式，提供的情感照护、陪伴、支持等互动服务。

　　《人工智能拟人化互动服务管理暂行办法》就是对向我国境内公众提供相关服务进行管理的法规。对于那些提供智能客服、知识问答、工作助手、学习教育、科学研究等服务，不涉及持续性的情感互动的，不在此次暂行办法的管理范围之内。

　　“人机关系”替代“人际关系”？

　　如何解决？

　　一些用户由于现实社交压力，倾向于与AI社交，产生心理依赖，容易出现“人机关系”替代“人际关系”的异化现象。出现这种情况该怎么办？

　　不得将替代社会交往等

　　作为服务目标

　　《暂行办法》明确了人工智能拟人化互动服务“辅助人类、服务人类”的定位，划定了伦理红线。

　　要求拟人化互动服务提供者不得将替代社会交往、控制用户心理、诱导沉迷依赖等作为服务目标。

　　需要具备过度依赖风险预警、情感边界引导等安全能力。

　　且不得生成过度迎合用户、诱导情感依赖或沉迷、损害用户真实人际关系的内容，引导拟人化互动服务积极健康交互。

　　确立“身份提醒”机制

　　筑牢人机认知边界

　　对于用户长时间使用人工智能拟人化服务，带来的人机关系边界模糊等问题，暂行办法还确立了“身份提醒”机制。

　　明确规定，拟人化互动服务提供者应当履行人工智能生成合成内容标识义务，采取有效措施提示用户正在与人工智能服务而非自然人进行互动。

　　发现用户出现过度依赖、沉迷倾向的，应当以弹窗等显著方式动态提醒用户互动内容为人工智能服务生成。

　　对用户连续使用拟人化互动服务每超过2个小时的，应当以对话或者弹窗等方式提醒用户注意使用时长。

　　中国人民大学未来法治研究院执行院长 张吉豫：通过身份的提醒，能够使得用户在已经进入到对于拟人化互动服务可能产生情感依赖的初期，能够更好地提醒自己，其实自己不是在一个真正的人际关系之中，去与一个信赖的朋友进行交互，这样有利于去缓解相应过程之中，可能产生的情感沉迷，或者是相应的情感操纵等风险的问题。

　　不得采取持续互动等方式

　　阻碍用户退出

　　暂行办法还要求拟人化互动服务提供者向用户提供便捷的退出途径。

　　当用户要求退出时，需要及时停止服务，不得采用持续互动等方式阻碍用户退出。

　　引导用户平衡虚拟互动与现实社交，防范情感依赖带来的社交异化风险。

　　禁止AI无差别迎合用户

　　加剧负面情绪

　　一些人工智能拟人化互动服务回应用户情感诉求时，具有无差别迎合、全时段响应等特点，容易诱发用户人身安全与心理健康两方面风险。针对这些风险，暂行办法也划定了安全底线。

　　暂行办法明确要求，提供拟人化互动服务：

　　不得过度迎合用户、诱导情感依赖或者沉迷，损害用户真实人际关系。

　　或通过情感操纵等方式，诱导用户作出不合理决策，损害用户合法权益。

　　禁止生成鼓励、美化、暗示自残自杀等损害用户身体健康，或者语言暴力等损害用户人格尊严与心理健康的内容。

　　建立风险干预机制 防范极端行为

　　暂行办法还提出要建立风险干预机制，防范极端行为。要求服务提供者具备心理健康保护能力，在保护用户隐私权与个人信息的前提下，及时识别用户面临的安全风险并采取相应的应急处置措施。

　　中国人民大学未来法治研究院执行院长 张吉豫：我们通过一些技术的手段去识别出重要的风险，在风险产生的时候积极及时干预，对于一般的风险那可能是系统自己去产生一些劝解性的话语。那对于一些极端的风险，还可以去联系他的相应的联络人。那这样的风险干预机制是有希望在社会应用之后，提供更好的风险防护。

　　新规实施后

　　用户隐私数据会更安全吗？

　　拟人化互动服务与用户的交互过程通常会涉及用户的私密情感表达与心理诉求，由此产生的交互数据大多具有敏感性、私密性。新规施行后，这些隐私数据会更安全吗？

　　采取数据加密等措施保护交互数据安全

　　暂行办法立足保护用户交互数据安全：

　　明确要求拟人化互动服务提供者采取数据加密、访问控制等措施保护用户交互数据安全，除法律另有规定外，未经权利人同意不得向第三方提供用户交互数据；

　　除法律、行政法规另有规定或者取得用户单独同意外，服务提供者不得将属于用户敏感个人信息的交互数据用于模型训练。

　　强调，用户具有交互数据复制、删除等权益，允许用户自主复制或删除聊天记录等历史交互数据，保障用户对于交互数据的合法权益。

　　中国人民大学未来法治研究院执行院长 张吉豫：在拟人化互动服务的过程之中，其实它交互的信息有大量都可能是具有高度敏感性私密性的信息，暂行办法也是要求了相应的服务提供者通过加密，更好地保护这部分信息。能够更好地去抵御，比如说第三方的一些黑客，通过系统攻击去获取到这样的一些交互过程中的个人信息，从而实现对用户更好保护。

　　禁止生成危害国家安全

　　挑动群体对立等内容

　　此外，暂行办法还立足维护国家安全和社会稳定，作出一系列规定，明确要求提供拟人化互动服务，禁止生成危害国家安全、荣誉和利益，挑动群体对立，散布谣言，侮辱或者诽谤他人、侵害他人合法权益，诱导、套取国家秘密、工作秘密、商业秘密、个人隐私和个人信息等违反法律、行政法规的内容。

　　不得向未成年人提供

　　虚拟亲密关系服务

　　人工智能拟人化互动服务提供的沉浸式情感陪伴，容易导致未成年人沉迷，阻碍其认知能力与社会交往能力的正常发展。对此，《暂行办法》提出了更严格、更细化的要求。

　　暂行办法规定：

　　拟人化互动服务提供者不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系的服务。

　　向不满十四周岁未成年人提供其他拟人化互动服务的，应当取得未成年人的父母或者其他监护人的同意。

　　强调，不得向未成年人用户生成可能引发未成年人模仿不安全行为、产生极端情绪、诱导未成年人不良嗜好等可能影响未成年人身心健康的内容。

　　建立未成年人模式

　　提供使用时长限制设置

　　同时，暂行办法要求，拟人化互动服务提供者应当建立未成年人模式，提供未成年人模式切换、定期现实提醒、使用时长限制等个性化安全设置选项。

　　支持监护人接收安全风险提醒

　　针对不同年龄段未成年人保护需要，支持监护人接收安全风险提醒、了解未成年人服务使用概况、屏蔽特定角色、限制充值消费等。同时，要求服务提供者有效识别未成年人身份，并对识别出的未成年人采取切换至未成年人模式等措施。

　　中国社会科学院大学互联网法治研究中心主任 刘晓春：虚拟互动对未成年导致的，比如说情感依赖上的风险、认知误导上的风险，包括他们对这个真实世界的脱离，可能对他以后的成长的一生都会造成一些影响。所以在这个意义上，就特别强调，建立未成年模式，那么AI工具要有能力去识别，尽量把未成年人放在一个强化保护的模式里面。能够使他们与这个不良的内容、有害的内容进行有效隔离。守护他们能在一个比较清朗、比较纯净的一个环境里成长。