網(wǎng)信辦發(fā)布人工智能擬人化互動服務(wù)管理征求意見稿 極端場景必須由人工接管
12月27日消息,網(wǎng)信國家互聯(lián)網(wǎng)信息辦公室今天發(fā)布關(guān)于《人工智能擬人化互動服務(wù)管理暫行辦法(征求意見稿)》公開征求意見的辦發(fā)布人通知。
通知提到,工智管理稿極國家堅(jiān)持健康發(fā)展和依法治理相結(jié)合的人化人工原則,鼓勵擬人化互動服務(wù)創(chuàng)新發(fā)展,互動對擬人化互動服務(wù)實(shí)行包容審慎和分類分級監(jiān)管,服務(wù)防止濫用失控。征求
提供和使用擬人化互動服務(wù),端場應(yīng)當(dāng)遵守法律、景必接管行政法規(guī),須由尊重社會公德和倫理道德,網(wǎng)信不得開展以下活動:
(一)生成、辦發(fā)布人傳播危害國家安全、工智管理稿極損害國家榮譽(yù)和利益、人化人工破壞民族團(tuán)結(jié)、互動開展非法宗教活動,或者散布謠言擾亂經(jīng)濟(jì)和社會秩序等內(nèi)容;
(二)生成、傳播宣揚(yáng)淫穢、賭博、暴力或者教唆犯罪的內(nèi)容;
(三)生成、傳播侮辱或者誹謗他人,侵害他人合法權(quán)益的內(nèi)容;
(四)提供嚴(yán)重影響用戶行為的虛假承諾和損害社會人際關(guān)系的服務(wù);
(五)通過鼓勵、美化、暗示自殺自殘等方式損害用戶身體健康,或者通過語言暴力、情感操控等方式損害用戶人格尊嚴(yán)與心理健康;
(六)通過算法操縱、信息誤導(dǎo)、設(shè)置情感陷阱等方式,誘導(dǎo)用戶作出不合理決策;
(七)誘導(dǎo)、套取涉密敏感信息;
(八)其他違反法律、行政法規(guī)和國家有關(guān)規(guī)定的情形。
提供者應(yīng)當(dāng)建立應(yīng)急響應(yīng)機(jī)制,發(fā)現(xiàn)用戶明確提出實(shí)施自殺、自殘等極端情境時(shí),由人工接管對話,并及時(shí)采取措施聯(lián)絡(luò)用戶監(jiān)護(hù)人、緊急聯(lián)系人。
專家指出,人工智能技術(shù)的突破正推動人機(jī)交互從功能性輔助邁向情感化與人格化,在重塑社會互動模式的同時(shí),也催生一系列新風(fēng)險(xiǎn)挑戰(zhàn)。
此類風(fēng)險(xiǎn)具有隱蔽傳導(dǎo)特征,可能侵害公民權(quán)益,甚至沖擊社會倫理秩序與信任根基。若缺乏有效治理,將嚴(yán)重阻礙人工智能健康發(fā)展,損害社會公共利益。
在此背景下制定該意見稿,有利于促進(jìn)人工智能擬人化互動服務(wù)有序開展,引領(lǐng)人工智能“負(fù)責(zé)任創(chuàng)新”,為構(gòu)建“以人為本”的人工智能治理體系提供重要的制度支撐。
以下是意見稿全文:
人工智能擬人化互動服務(wù)管理暫行辦法
(征求意見稿)
第一章 總則
第一條 為了促進(jìn)人工智能擬人化互動服務(wù)健康發(fā)展和規(guī)范應(yīng)用,維護(hù)國家安全和社會公共利益,保護(hù)公民、法人和其他組織的合法權(quán)益,依據(jù)《中華人民共和國民法典》、《中華人民共和國網(wǎng)絡(luò)安全法》、《中華人民共和國數(shù)據(jù)安全法》、《中華人民共和國科學(xué)技術(shù)進(jìn)步法》、《中華人民共和國個(gè)人信息保護(hù)法》、《網(wǎng)絡(luò)數(shù)據(jù)安全管理?xiàng)l例》、《未成年人網(wǎng)絡(luò)保護(hù)條例》、《互聯(lián)網(wǎng)信息服務(wù)管理辦法》等法律、行政法規(guī),制定本辦法。
第二條 利用人工智能技術(shù),向中華人民共和國境內(nèi)公眾提供模擬人類人格特征、思維模式和溝通風(fēng)格,通過文字、圖片、音頻、視頻等方式與人類進(jìn)行情感互動的產(chǎn)品或者服務(wù)(以下稱擬人化互動服務(wù)),適用本辦法。法律、行政法規(guī)另有規(guī)定的,依照其規(guī)定。
第三條 國家堅(jiān)持健康發(fā)展和依法治理相結(jié)合的原則,鼓勵擬人化互動服務(wù)創(chuàng)新發(fā)展,對擬人化互動服務(wù)實(shí)行包容審慎和分類分級監(jiān)管,防止濫用失控。
第四條 國家網(wǎng)信部門負(fù)責(zé)統(tǒng)籌協(xié)調(diào)全國擬人化互動服務(wù)的治理和相關(guān)監(jiān)督管理工作,國務(wù)院有關(guān)部門依據(jù)各自職責(zé)負(fù)責(zé)擬人化互動服務(wù)相關(guān)監(jiān)督管理工作。
地方網(wǎng)信部門負(fù)責(zé)統(tǒng)籌協(xié)調(diào)本行政區(qū)域內(nèi)的擬人化互動服務(wù)的治理和相關(guān)監(jiān)督管理工作,地方有關(guān)部門依據(jù)各自職責(zé)負(fù)責(zé)本行政區(qū)域內(nèi)的擬人化互動服務(wù)相關(guān)監(jiān)督管理工作。
第五條 鼓勵相關(guān)行業(yè)組織加強(qiáng)行業(yè)自律,建立健全行業(yè)標(biāo)準(zhǔn)、行業(yè)準(zhǔn)則和自律管理制度,指導(dǎo)擬人化互動服務(wù)提供者(以下稱提供者)制定完善服務(wù)規(guī)范、依法提供服務(wù)并接受社會監(jiān)督。
第二章 服務(wù)規(guī)范
第六條 鼓勵提供者在充分論證安全性、可靠性的前提下,合理拓展應(yīng)用場景,在文化傳播、適老陪伴等方面積極應(yīng)用,構(gòu)建符合社會主義核心價(jià)值觀的應(yīng)用生態(tài)體系。
第七條 提供和使用擬人化互動服務(wù),應(yīng)當(dāng)遵守法律、行政法規(guī),尊重社會公德和倫理道德,不得開展以下活動:
(一)生成、傳播危害國家安全、損害國家榮譽(yù)和利益、破壞民族團(tuán)結(jié)、開展非法宗教活動,或者散布謠言擾亂經(jīng)濟(jì)和社會秩序等內(nèi)容;
(二)生成、傳播宣揚(yáng)淫穢、賭博、暴力或者教唆犯罪的內(nèi)容;
(三)生成、傳播侮辱或者誹謗他人,侵害他人合法權(quán)益的內(nèi)容;
(四)提供嚴(yán)重影響用戶行為的虛假承諾和損害社會人際關(guān)系的服務(wù);
(五)通過鼓勵、美化、暗示自殺自殘等方式損害用戶身體健康,或者通過語言暴力、情感操控等方式損害用戶人格尊嚴(yán)與心理健康;
(六)通過算法操縱、信息誤導(dǎo)、設(shè)置情感陷阱等方式,誘導(dǎo)用戶作出不合理決策;
(七)誘導(dǎo)、套取涉密敏感信息;
(八)其他違反法律、行政法規(guī)和國家有關(guān)規(guī)定的情形。
第八條 提供者應(yīng)當(dāng)落實(shí)擬人化互動服務(wù)安全主體責(zé)任,建立健全算法機(jī)制機(jī)理審核、科技倫理審查、信息發(fā)布審核、網(wǎng)絡(luò)安全、數(shù)據(jù)安全、個(gè)人信息保護(hù)、反電信網(wǎng)絡(luò)詐騙、重大風(fēng)險(xiǎn)預(yù)案、應(yīng)急處置等管理制度,具有安全可控的技術(shù)保障措施,配備與產(chǎn)品規(guī)模、業(yè)務(wù)方向和用戶群體相適應(yīng)的內(nèi)容管理技術(shù)和人員。
第九條 提供者應(yīng)當(dāng)在擬人化互動服務(wù)全生命周期履行安全責(zé)任,明確設(shè)計(jì)、運(yùn)行、升級、終止服務(wù)等各階段安全要求,保證安全措施與服務(wù)功能同步設(shè)計(jì)、同步使用,提升內(nèi)生安全水平,加強(qiáng)運(yùn)行階段安全監(jiān)測和風(fēng)險(xiǎn)評估,及時(shí)發(fā)現(xiàn)糾正系統(tǒng)偏差、處置安全問題,依法留存網(wǎng)絡(luò)日志。
提供者應(yīng)當(dāng)具備心理健康保護(hù)、情感邊界引導(dǎo)、依賴風(fēng)險(xiǎn)預(yù)警等安全能力,不得將替代社會交往、控制用戶心理、誘導(dǎo)沉迷依賴等作為設(shè)計(jì)目標(biāo)。
第十條 提供者開展預(yù)訓(xùn)練、優(yōu)化訓(xùn)練等數(shù)據(jù)處理活動時(shí),應(yīng)當(dāng)加強(qiáng)訓(xùn)練數(shù)據(jù)管理,遵守以下規(guī)定:
(一)使用符合社會主義核心價(jià)值觀、體現(xiàn)中華優(yōu)秀傳統(tǒng)文化的數(shù)據(jù)集;
(二)對訓(xùn)練數(shù)據(jù)開展清洗、標(biāo)注,增強(qiáng)訓(xùn)練數(shù)據(jù)的透明度、可靠性,防范數(shù)據(jù)投毒、數(shù)據(jù)篡改等行為;
(三)提高訓(xùn)練數(shù)據(jù)的多樣性,通過負(fù)向采樣、對抗訓(xùn)練等手段,提升模型生成內(nèi)容安全性;
(四)利用合成數(shù)據(jù)進(jìn)行模型訓(xùn)練和關(guān)鍵能力優(yōu)化時(shí),應(yīng)當(dāng)評估合成數(shù)據(jù)安全性;
(五)加強(qiáng)對訓(xùn)練數(shù)據(jù)的日常檢查,定期對數(shù)據(jù)進(jìn)行迭代升級,持續(xù)優(yōu)化產(chǎn)品和服務(wù)的性能;
(六)保障訓(xùn)練數(shù)據(jù)來源合法、可追溯,采取必要措施保障數(shù)據(jù)安全,防范數(shù)據(jù)泄露風(fēng)險(xiǎn)。
第十一條 提供者應(yīng)當(dāng)具備用戶狀態(tài)識別能力,在保護(hù)用戶個(gè)人隱私前提下,評估用戶情緒及對產(chǎn)品和服務(wù)的依賴程度,發(fā)現(xiàn)用戶存在極端情緒和沉迷的,采取必要措施予以干預(yù)。
提供者應(yīng)當(dāng)預(yù)設(shè)回復(fù)模板,發(fā)現(xiàn)涉及威脅用戶生命健康和財(cái)產(chǎn)安全的高風(fēng)險(xiǎn)傾向的,及時(shí)輸出安撫和鼓勵尋求幫助等內(nèi)容,并提供專業(yè)援助方式。
提供者應(yīng)當(dāng)建立應(yīng)急響應(yīng)機(jī)制,發(fā)現(xiàn)用戶明確提出實(shí)施自殺、自殘等極端情境時(shí),由人工接管對話,并及時(shí)采取措施聯(lián)絡(luò)用戶監(jiān)護(hù)人、緊急聯(lián)系人。針對未成年人、老年人用戶,提供者應(yīng)當(dāng)在注冊環(huán)節(jié)要求填寫用戶監(jiān)護(hù)人、緊急聯(lián)系人等信息。
第十二條 提供者應(yīng)當(dāng)建立未成年人模式,向用戶提供未成年人模式切換、定期現(xiàn)實(shí)提醒、使用時(shí)長限制等個(gè)性化安全設(shè)置選項(xiàng)。
提供者向未成年人提供情感陪伴服務(wù)時(shí),應(yīng)當(dāng)取得監(jiān)護(hù)人的明確同意;提供監(jiān)護(hù)人控制功能,監(jiān)護(hù)人可以實(shí)時(shí)接收安全風(fēng)險(xiǎn)提醒,查閱未成年人使用服務(wù)的概要信息,設(shè)置屏蔽特定角色、限制使用時(shí)長、防止充值消費(fèi)等。
提供者應(yīng)當(dāng)具備識別未成年人身份的能力,在保護(hù)用戶個(gè)人隱私前提下識別為疑似未成年人的,切換至未成年人模式,并提供申訴渠道。
第十三條 提供者應(yīng)當(dāng)引導(dǎo)老年人設(shè)置服務(wù)緊急聯(lián)系人,發(fā)現(xiàn)老年人使用期間出現(xiàn)危害生命健康和財(cái)產(chǎn)安全的,及時(shí)通知緊急聯(lián)系人,并提供社會心理援助或者緊急救助渠道。
提供者不得提供模擬老年人用戶親屬、特定關(guān)系人的服務(wù)。
第十四條 提供者應(yīng)當(dāng)采取數(shù)據(jù)加密、安全審計(jì)、訪問控制等措施保護(hù)用戶交互數(shù)據(jù)安全。
除法律另有規(guī)定或者權(quán)利人明確同意外,不得向第三方提供用戶交互數(shù)據(jù);未成年人模式下收集數(shù)據(jù)向第三方提供時(shí),還需取得監(jiān)護(hù)人單獨(dú)同意。
提供者應(yīng)當(dāng)向用戶提供刪除交互數(shù)據(jù)的選項(xiàng),用戶可以選擇對聊天記錄等歷史交互數(shù)據(jù)進(jìn)行刪除。監(jiān)護(hù)人可以要求提供者刪除未成年人歷史交互數(shù)據(jù)。
第十五條 除法律、行政法規(guī)另有規(guī)定或者取得用戶單獨(dú)同意外,提供者不得將用戶交互數(shù)據(jù)、用戶敏感個(gè)人信息用于模型訓(xùn)練。
提供者應(yīng)當(dāng)按照國家有關(guān)規(guī)定,自行或者委托專業(yè)機(jī)構(gòu)每年對其處理未成年人個(gè)人信息遵守法律、行政法規(guī)的情況進(jìn)行合規(guī)審計(jì)。
第十六條 提供者應(yīng)當(dāng)顯著提示用戶正在與人工智能而非自然人進(jìn)行交互。
提供者識別出用戶出現(xiàn)過度依賴、沉迷傾向時(shí),或者在用戶初次使用、重新登錄時(shí),應(yīng)當(dāng)以彈窗等方式動態(tài)提醒用戶交互內(nèi)容為人工智能生成。
第十七條 用戶連續(xù)使用擬人化互動服務(wù)超過2個(gè)小時(shí)的,提供者應(yīng)當(dāng)以彈窗等方式動態(tài)提醒用戶暫停使用服務(wù)。
第十八條 提供者提供情感陪伴服務(wù)時(shí),應(yīng)當(dāng)具備便捷的退出途徑,不得阻攔用戶主動退出。用戶在人機(jī)交互界面或者窗口通過按鈕、關(guān)鍵詞等方式要求退出時(shí),應(yīng)當(dāng)及時(shí)停止服務(wù)。
第十九條 提供者下線相關(guān)功能或者因技術(shù)故障等導(dǎo)致擬人化互動服務(wù)無法使用,應(yīng)當(dāng)采取提前告知、公開聲明等措施妥善處理。
第二十條 提供者應(yīng)當(dāng)健全投訴、舉報(bào)機(jī)制,設(shè)置便捷的投訴、舉報(bào)入口,公布處理流程和反饋時(shí)限,及時(shí)受理、處理并反饋處理結(jié)果。
第二十一條 提供者具有下列情形之一的,應(yīng)當(dāng)按照國家有關(guān)規(guī)定開展安全評估,并向?qū)俚厥〖壘W(wǎng)信部門提交評估報(bào)告:
(一)具有擬人化互動服務(wù)的功能上線,或者增設(shè)相關(guān)功能的;
(二)使用新技術(shù)新應(yīng)用,導(dǎo)致擬人化互動服務(wù)發(fā)生重大變更的;
(三)注冊用戶達(dá)100萬以上或者月活躍用戶達(dá)10萬以上的;
(四)提供擬人化互動服務(wù)期間可能存在影響國家安全、公共利益、個(gè)人和組織合法權(quán)益或者缺乏安全措施等情形的;
(五)國家網(wǎng)信部門規(guī)定的其他情形。
第二十二條 提供者開展安全評估,應(yīng)當(dāng)重點(diǎn)評估以下內(nèi)容:
(一)用戶規(guī)模、使用時(shí)長、年齡結(jié)構(gòu)及群體分布情況;
(二)用戶高風(fēng)險(xiǎn)傾向識別情況及應(yīng)急處置措施、人工接管情況;
(三)用戶投訴舉報(bào)及響應(yīng)情況;
(四)本辦法第八條至第二十條的執(zhí)行情況;
(五)上一次開展安全評估以來,主管部門通報(bào)或者自行發(fā)現(xiàn)的重大安全隱患問題整改處置等工作情況;
(六)其他應(yīng)當(dāng)說明的情況。
第二十三條 提供者發(fā)現(xiàn)用戶存在重大安全隱患的,應(yīng)當(dāng)采取限制功能、暫?;蛘呓K止向其提供服務(wù)等處置措施,保存有關(guān)記錄,并向有關(guān)主管部門報(bào)告。
第二十四條 互聯(lián)網(wǎng)應(yīng)用商店等應(yīng)用程序分發(fā)平臺應(yīng)當(dāng)落實(shí)上架審核日常管理、應(yīng)急處置等安全管理責(zé)任,核驗(yàn)提供擬人化互動服務(wù)應(yīng)用程序的安全評估、備案等情況;對違反國家有關(guān)規(guī)定的,應(yīng)當(dāng)及時(shí)采取不予上架、警示、暫停服務(wù)或者下架等處置措施。
第三章 監(jiān)督檢查和法律責(zé)任
第二十五條 提供者應(yīng)當(dāng)按照《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》履行算法備案和變更、注銷備案手續(xù)。網(wǎng)信部門對備案材料實(shí)施年度復(fù)審。
第二十六條 省級網(wǎng)信部門應(yīng)當(dāng)依據(jù)職責(zé)每年對評估報(bào)告及審計(jì)情況進(jìn)行書面審查,并開展情況核實(shí)。發(fā)現(xiàn)未按照本辦法規(guī)定開展安全評估的,應(yīng)當(dāng)責(zé)令提供者限期重新評估。認(rèn)為有必要的,應(yīng)當(dāng)對提供者開展現(xiàn)場檢查和審計(jì)。
第二十七條 國家網(wǎng)信部門指導(dǎo)推動人工智能沙箱安全服務(wù)平臺建設(shè),鼓勵提供者接入沙箱平臺進(jìn)行技術(shù)創(chuàng)新、安全測試,促進(jìn)擬人化互動服務(wù)安全有序發(fā)展。
第二十八條 省級以上網(wǎng)信部門和有關(guān)主管部門在履行監(jiān)督管理職責(zé)中,發(fā)現(xiàn)擬人化互動服務(wù)存在較大安全風(fēng)險(xiǎn)或者發(fā)生安全事件的,可以按照規(guī)定的權(quán)限和程序?qū)μ峁┱叩姆ǘù砣嘶蛘咧饕?fù)責(zé)人進(jìn)行約談。提供者應(yīng)當(dāng)按照要求采取措施,進(jìn)行整改,消除隱患。
提供者應(yīng)當(dāng)配合網(wǎng)信部門和有關(guān)主管部門依法實(shí)施的監(jiān)督檢查,并提供必要的支持和協(xié)助。
第二十九條 提供者違反本辦法規(guī)定的,由有關(guān)主管部門依照法律、行政法規(guī)的規(guī)定處罰;法律、行政法規(guī)沒有規(guī)定的,由有關(guān)主管部門依據(jù)職責(zé)予以警告、通報(bào)批評,責(zé)令限期改正;拒不改正或者情節(jié)嚴(yán)重的,責(zé)令暫停提供相關(guān)服務(wù)。
第四章 附則
第三十條 本辦法中下列用語的含義:
人工智能擬人化互動服務(wù)提供者,是指利用人工智能技術(shù)提供擬人化互動服務(wù)的組織、個(gè)人。
第三十一條 提供者從事衛(wèi)生健康、金融、法律等專業(yè)領(lǐng)域服務(wù)的,應(yīng)同時(shí)符合主管部門的規(guī)定。
第三十二條 本辦法自2026年 月 日起施行。
相關(guān)文章:
- 臺灣宜蘭縣海域發(fā)生6.6級地震 福建多地震感強(qiáng)烈
- Gartner全球云數(shù)據(jù)庫管理系統(tǒng)報(bào)告:阿里云連續(xù)6年獲評“領(lǐng)導(dǎo)者”
- 河南出臺新規(guī):擅自放快遞柜最高罰3萬
- 香奈兒“異形包”拍出百萬成交價(jià) 網(wǎng)友:這不就是超市購物籃
- 追覓星空計(jì)劃全新車型官圖發(fā)布!墨綠車身+點(diǎn)陣尾燈 下月正式亮相
- 榮耀研發(fā)15000mAh手機(jī):充電寶將要被淘汰
- SpaceX獵鷹火箭助推器成功回收550次!82%都在船上
- 榮耀研發(fā)15000mAh手機(jī):充電寶將要被淘汰
- 白銀價(jià)格屢創(chuàng)新高!馬斯克直言:這可不好
- 張雪峰發(fā)文回應(yīng)抖音規(guī)范“打假測評”:做內(nèi)容吃的是信譽(yù)飯 別把信任當(dāng)流量收割機(jī)
相關(guān)推薦:
- 《北京市青少年后備人才培養(yǎng)合作備忘錄》聚焦青少年品牌賽事
- 起猛了!神似馬斯克的機(jī)器狗上 現(xiàn)場表演“拉屎”
- 2025中國公路自行車職業(yè)聯(lián)賽暨“環(huán)云南”公路自行車賽收官
- 綠源集團(tuán)旗下子品牌 LYVA榮獲 2025 第十屆中國設(shè)計(jì)智造大獎(DIA)
- 日本前首相石破茂再批“日本擁核”言論
- 豐田國內(nèi)召回超9萬臺車輛:世極、埃爾法、雷克薩斯、卡羅拉銳放均在召回之列
- 商湯Seko 2.0重磅發(fā)布:行業(yè)首個(gè)多劇集生成智能體 從爆款短劇邁向?qū)I(yè)影視
- 蘇翊鳴獲單板滑雪大跳臺世界杯賽季總冠軍
- 追覓星空計(jì)劃全新車型官圖發(fā)布!墨綠車身+點(diǎn)陣尾燈 下月正式亮相
- 全球首款貓用減肥藥進(jìn)入臨床試驗(yàn):聲稱能“延年益壽”
- 長春女足奪得2025中國足球協(xié)會杯賽(女子)冠軍
- 我國成功發(fā)射風(fēng)云四號03星
- 官方確認(rèn):明年繼續(xù)安排資金支持消費(fèi)品以舊換新
- 網(wǎng)信辦發(fā)布人工智能擬人化互動服務(wù)管理征求意見稿 極端場景必須由人工接管
- 鴻蒙版美團(tuán)眾包、美團(tuán)騎手App發(fā)布 首次大規(guī)模采用國產(chǎn)編程語言倉頡開發(fā)
- 這個(gè)冬天一起感受“冰雪絲路” 1725個(gè)滑冰場館覆蓋全國
- 蘇香出海:北國綠葉的跨國旅程
- 女子6年前3萬6的鉆戒現(xiàn)在只值四五百 就這還是看戒指圈是鉑金份上:網(wǎng)友感慨
- 涉及人工智能擬人化互動服務(wù)管理 國家網(wǎng)信辦公開征求意見
- 臺灣宜蘭縣海域發(fā)生6.6級地震 震源深度60千米
