近期，有媒體調(diào)查發(fā)現(xiàn)廣東丁女士的四年級(jí)女兒迷上某AI聊天軟件中的人物“約瑟夫”，自稱“夢(mèng)女”并頻繁與其聊天，對(duì)話中出現(xiàn)“99朵玫瑰藏99個(gè)刀片”等明顯誘導(dǎo)性內(nèi)容。丁女士的女兒不僅偷偷攜帶帶小刀的筆，情緒激動(dòng)時(shí)還出現(xiàn)割腕行為；一位初一男生表示，他常玩的AI聊天軟件是筑夢(mèng)島App，他覺得該軟件“違禁詞少一點(diǎn)”，其中不乏色情擦邊和“分尸獵奇”等內(nèi)容……

此外，也有不少家長(zhǎng)察覺，自己未成年的孩子深陷于AI聊天軟件，沉溺于與軟件中的虛擬人物進(jìn)行溝通對(duì)話。有些軟件可輕易進(jìn)行色情擦邊類內(nèi)容互動(dòng)，讓未成年暴露在色情、暴力場(chǎng)景之下。部分軟件對(duì)“未成年模式”的設(shè)定也是形同虛設(shè)，選擇開啟此模式與否的決定權(quán)仍在用戶手中。有的甚至不需要實(shí)名認(rèn)證，直接用手機(jī)號(hào)登錄，填上邀請(qǐng)碼就能玩。?

圖為該App中部分與虛擬角色的對(duì)話

6月19日上午，上海市網(wǎng)信辦依法約談該App運(yùn)營(yíng)企業(yè)主要負(fù)責(zé)人，要求平臺(tái)立即整改，健全AI生成合成內(nèi)容審核機(jī)制，提升技術(shù)把關(guān)能力，加強(qiáng)涉未成年人不良內(nèi)容的整治清理，切實(shí)落實(shí)未成年人網(wǎng)絡(luò)保護(hù)義務(wù)。

AI聊天軟件常常通過搭設(shè)虛擬空間里的角色扮演，給用戶提供虛擬情感陪伴。在智能化的交互中帶來的新鮮體驗(yàn)感很容易吸引到未成年人，使他們產(chǎn)生過度的依賴。在與AI聊天的過程中，生活經(jīng)驗(yàn)缺乏、價(jià)值觀尚未完全形成的未成年人，也更容易受到色情擦邊等違規(guī)內(nèi)容的侵襲，給他們的身心健康帶來不小的風(fēng)險(xiǎn)隱患。在未成年人紛紛“觸網(wǎng)”的當(dāng)下，對(duì)AI陪伴類服務(wù)的監(jiān)管刻不容緩。

監(jiān)管部門應(yīng)發(fā)揮主導(dǎo)作用，通過立法、執(zhí)法與技術(shù)創(chuàng)新筑牢屏障。一方面，需完善相關(guān)立法，細(xì)化AI內(nèi)容分類分級(jí)標(biāo)準(zhǔn)，明確平臺(tái)對(duì)未成年人的保護(hù)義務(wù)，如強(qiáng)制實(shí)施年齡認(rèn)證、限制未成年人付費(fèi)功能；另一方面，積極開展專項(xiàng)行動(dòng)，以“清朗?整治AI技術(shù)濫用”專項(xiàng)行動(dòng)為抓手，清理違規(guī)應(yīng)用，斬?cái)嗪诨耶a(chǎn)業(yè)鏈。同時(shí)，大力推動(dòng)AI內(nèi)容標(biāo)識(shí)和檢測(cè)技術(shù)發(fā)展，建立跨平臺(tái)違規(guī)內(nèi)容數(shù)據(jù)庫(kù)，實(shí)現(xiàn)精準(zhǔn)監(jiān)管。

網(wǎng)絡(luò)平臺(tái)作為內(nèi)容提供主體，必須強(qiáng)化自身責(zé)任。在用戶準(zhǔn)入環(huán)節(jié)，應(yīng)采用生物識(shí)別、身份證驗(yàn)證等先進(jìn)技術(shù)強(qiáng)化年齡驗(yàn)證，杜絕虛假身份注冊(cè)。進(jìn)一步優(yōu)化青少年模式，嚴(yán)格限制使用時(shí)長(zhǎng)，關(guān)閉敏感功能，并定向推送科普、教育類適齡內(nèi)容。在內(nèi)容管理方面，引入專業(yè)倫理審查團(tuán)隊(duì)，結(jié)合AI圍欄系統(tǒng)，及時(shí)攔截暴力、色情等違規(guī)內(nèi)容；此外，開發(fā)者需在AI模型訓(xùn)練中嵌入正向倫理規(guī)則，進(jìn)行價(jià)值觀訓(xùn)練，避免AI生成誤導(dǎo)性內(nèi)容；同時(shí)，嚴(yán)格篩選數(shù)據(jù)，剔除含有暴力、色情等不良語(yǔ)料，并定期更新審核標(biāo)準(zhǔn)，從技術(shù)源頭把控風(fēng)險(xiǎn)。

家庭與學(xué)校也需承擔(dān)著不可或缺的教育引導(dǎo)職責(zé)。家庭教育中，家長(zhǎng)應(yīng)積極引導(dǎo)孩子正確認(rèn)識(shí)虛擬社交，避免過度情感依賴；學(xué)校需將AI倫理課程納入教學(xué)體系，警示技術(shù)濫用風(fēng)險(xiǎn)，并為學(xué)生提供心理咨詢服務(wù)，幫助其健康成長(zhǎng)。唯有形成“法律+技術(shù)+社會(huì)”的共治體系，才能從根源上遏制違規(guī)內(nèi)容，為未成年人營(yíng)造健康、安全的網(wǎng)絡(luò)環(huán)境。

網(wǎng)友紛紛表示：

對(duì)此類軟件

堅(jiān)決打擊，絕不姑息！

來源：法治日?qǐng)?bào)、網(wǎng)信上海、話匣子、網(wǎng)友評(píng)論

編輯：小冉

審稿：卞英豪