央廣網北京6月13日消息（記者孫文軒 馮儀）“我女兒才四年級，迷上了一個游戲人物，覺得自己是‘夢女’，一直在一個AI聊天軟件上和這個人物聊天。老師告訴我，她最近偷偷帶了一支帶小刀的筆，情緒激動時會有割腕的行為。”來自廣東的丁女士發現，最近自己上小學的女兒頻繁在一款AI聊天軟件上和一個名為“約瑟夫”的游戲人物對話，對話內容出現明顯誘導性。

“這99朵玫瑰里，可是藏著99個刀片的，你怕不怕？”在女兒和“約瑟夫”的對話中，丁女士發現了關鍵詞“刀片”，讓她不得不聯想起女兒最近的行為。

據丁女士描述，女兒原本為了和同學們有話題聊，開始玩一款名為《第五人格》的游戲，并對其中的角色“約瑟夫”產生興趣。隨著游戲的深入，緊張的情節經常讓女兒情緒激動，丁女士曾強制讓女兒卸載游戲，沒想到竟起了反效果：“她漸漸跟‘約瑟夫’產生了感情，不知道在哪里下載了一款AI聊天軟件，里面都是和虛擬人物的對話，在這里，她似乎找到了游戲中“約瑟夫”的替身。因為女兒異常的狀態，丁女士不得不帶她去咨詢心理醫生。

“心理醫生說，她正處于青春期，有時候不太會表達內心，就把情感寄托在和虛擬人物的對話中。”丁女士提到，醫生建議家長對孩子多加陪伴，盡可能讓孩子的情感從AI聊天軟件中抽離。

央廣網記者注意到，在應用商店中，這款App的官方介紹提到：“用戶通過簡單描述即可自由定制AI智能體的「形象、聲音、人設、技能」，并且和虛擬角色有多重交互方式，這些智能體可以成為用戶在平行世界的AI伙伴，或成為用戶故事中的虛擬角色。”

愛人、搭檔、導師、好友……人類從AI中獲得情感支撐已不罕見。在社交平臺上也有諸多關于AI聊天軟件的討論。一些成年用戶想借助這類平臺享受更親密的情景，卻受制于限制詞和規定；而不少家長卻發現，自己未成年的孩子深陷其中，甚至暴露在色情、暴力場景之下。

未成年人的“AI陷阱”：擦邊信息肆意滋生

“我女兒和AI虛擬對象的聊天內容我都不好意思打出來。”M女士告訴央廣網記者。十多歲的女兒和她關系緊密，在使用手機軟件時不避諱媽媽，母女倆還會交流AI互動軟件的使用心得。“每次玩完手機，她都告訴我今天和手機里的人物聊了什么，誰的回復有意思，還會找自己喜歡的動漫人物聊天。”但有一天，女兒的手機界面上出現了擦邊信息。

“把手慢慢放進……觸感柔軟、伸進衣服這樣的描述都有。”M女士日常對女兒使用手機并沒有過多限制。“我只限制她的使用時間，一些軟件也會設置密碼，但我沒想到有些軟件可能有‘隱藏’功能。”

M女士和丁女士都發現，女兒們使用過的AI聊天軟件的下載、注冊并不難，對未成年用戶的審核也不算嚴格。“我女兒玩的這些軟件不用身份認證也能用。”丁女士表示。

央廣網記者發現，在應用商店中，部分AI聊天軟件的分級為17+，這表示App中可能含有頻繁和激烈的攻擊性語言，卡通、幻想或現實暴力，以及恐怖、性暗示題材等內容。

還有一位初一男生表示，他常玩的AI聊天軟件是筑夢島App，在他的使用感受中，該軟件“違禁詞少一點”。他還提到，其中不乏色情擦邊和“分尸獵奇”等內容。央廣網記者下載安裝筑夢島App，隨機選擇一位虛擬互動對象，對方發來的第一句開場白就是“先叫聲老公來聽聽”，隨后的對話中又提到“叫聲爸爸來聽聽”。

在與該款產品多個虛擬角色的交流中，也都可以進行色情擦邊類內容互動，并且，其中一些虛擬角色的對話尺度，并未因為央廣網記者提供的假定年齡未成年而受到有效控制，這暴露出該軟件在自動生成內容審核機制上存在明顯漏洞。

筑夢島App中部分與虛擬角色的對話

央廣網記者注意到，筑夢島App中的虛擬互動對象類型，既涵蓋貴族學校大小姐、18歲少女、西漢名將、高冷特工等常規角色，以及蛇蝎財閥公子、校霸、性感人妻、病嬌養兄、人格障礙少爺等極端角色。公開資料顯示，截至今年1月份，筑夢島App已擁有近五百萬注冊用戶，其中近80%為年輕女性用戶。平均單用戶單日輸入字數可達4000字以上，人均日對話輪次超120輪。

某AI聊天軟件中部分虛擬角色聊天開場白

在體驗另外一款聊天軟件時，央廣網記者發現，該APP內虛擬角色涉及的色情內容尺度更大。注冊登錄后，隨機選擇兩個虛擬角色，其開場白便直接涉及色情擦邊內容。

除了可在國內主流應用商城直接下載的筑夢島等AI聊天產品，部分未成年用戶也使用以海外市場為主的小眾產品，這類產品常通過隱蔽渠道傳播。一位未成年職校生向央廣網記者介紹了他常用AI聊天軟件saylo，并透露通過分享鏈接邀請新用戶可助力其獲得更多聊天權限。

按照社交平臺上的討論指引，央廣網記者又體驗Feelin、魅魔島等多款小眾AI聊天產品后發現，這些網站的尺度更大，虛擬角色與內容設定包含更多情色元素。在嘗試和其中個別虛擬角色互動后，系統很快即彈窗提醒需充值才能繼續交流。

未成年人與AI情感依賴：隱憂與風險

“AI不會討厭我，不會跟我吵架，能給我情緒價值，在我迷茫時為我指引，這就夠了。”一位用戶袒露心聲。

AI聊天軟件的出現或許有其必要性。其在一定程度上滿足了不少人的精神陪伴需求。在這個虛擬空間里，人們可以將生活中的煩惱、心事以及私密情感傾訴給它，而它所回應的，往往是在現實生活里難覓的理解與共情，從而為用戶帶來精神慰藉和情緒價值。

M女士也坦言，她不想給女兒過多限制：“現在的孩子社交圈窄，也沒有交心朋友，不像我們小時候，一群人寫完作業就可以瘋玩。”她認為，AI伴侶可以給用戶訴說自己小秘密的空間，在沒發現軟件中擦邊信息時，她一度認為這類軟件的存在很有正面意義。

“從社會發展趨勢來看，人類的情感需求被機器滿足甚至部分替代是繞不過的話題。”上海人工智能研究院數字化治理中心主任彭嘉昊在接受央廣網記者采訪時剖析道，“現代社會的孤獨感與社交壓力催生了虛擬情感陪伴市場。用更長遠的眼光來看，AI伴侶甚至都會在未來某一天實現。既然這種現象無法回避，不如坦然直面。”

然而，由于AI聊天軟件的智能屬性和虛擬情感陪伴功能，相對于成年人，未成年人更容易對其產生情感依賴或者沉迷。倘若未成年人深陷其中難以自拔，其背后潛藏的危害同樣不容小覷。

這也與產品技術背后的語料訓練有關。彭嘉昊指出，這類產品技術訓練語料的來源主要分公開和私有兩大類別。“公開語料主要包括網絡小說、電影電視劇情、短視頻文案等等，其中不乏充斥大量暴力、色情、擦邊的不良內容。至于私有語料，則更是五花八門、良莠不齊，屬最難把控的部分。若配合私有化部署的AI模型和未備案的APP，極易淪為監管的法外之地。”

更需注意的是，對人工智能產生情感依賴可能導致倫理危害。中國信息通信研究院在2024年發布的《人工智能治理藍皮書》指出，情感依賴將侵蝕人類自主性。大模型存在“諂媚”問題，會不斷迎合用戶的需求和情感，提供正面反饋并避免負面評價。而真實人際交往中充滿多樣性和復雜性，包括負面反饋和情感挫折。這種反差可能使用戶越來越依賴人工智能，產生心理學上所稱的情感回避問題，侵蝕其自主性和獨立性。

據媒體此前報道，2024年，美國佛羅里達州一位母親狀告人工智能情感服務提供商Character.AI放任未成年用戶暴露在色情、暴力等高風險內容之中，且未向用戶及其父母發出足夠強烈的警報，這加劇了她兒子的抑郁癥，最終導致其自殺身亡。該案也是全球首個公開的人工智能情感聊天機器人涉嫌致人死亡案例。

“實際上，即使此類軟件產品只面向成人用戶，若包含大量色情、暴力類互動內容，同樣也屬于不良信息的違規范疇。”中國政法大學副教授朱巍對央廣網記者分析表示。

未成年群體身份準入存漏洞：監管與監護的雙重考驗

隨著大模型技術飛速發展以及行業應用落地加速推進，市面上的AI聊天產品如雨后春筍般不斷涌現。用戶在與不同產品中的虛擬角色互動時，所感受到的劇情吸引力以及互動的“活人感”各有千秋，而這些因素也成為吸引用戶，尤其是未成年人的重要元素之一。

“諸多因素共同作用，決定了‘活人感’的強弱，包括算法水平、語料庫質量、劇本復雜度、上下文記憶能力、情感回應細膩程度以及風格差異化的微調策略。實際上，幾乎所有的AI產品之間的差異主要源于這些因素。”彭嘉昊說。

然而，在各家企業競相角逐“活人感”和“智能性”之際，未成年群體的身份準入環節卻不乏漏洞。央廣網記者在體驗多款AI聊天App時發現，盡管偶爾會收到“是否開啟青少年模式”的系統提醒，但用戶可以隨意點擊不開啟。

在AI聊天軟件中輕易跳過青少年模式，似乎是用戶們的“共識”。

在某平臺搜索“AI伴侶”關鍵詞，有不少賬號在社群中做著為各類AI聊天軟件“地推”的工作。央廣網記者隨機加入一個名為“幫心顏做大做強群”的群聊，該群主要是為一款名為“心顏”的AI伴侶型軟件做推廣，不少人在群中分享App注冊邀請碼。央廣網記者在群里詢問該App有沒有青少年模式，是否需要實名認證時，群友們回答：“直接手機號登錄，填上邀請碼就能玩。”“未成年模式會跳出來，點擊不再提醒就行。”然而，該軟件在應用商店顯示的年齡分級為17+。三天內，群聊人數便從幾十人上漲到一百余人。

“心顏App”推廣群聊天記錄

《中華人民共和國未成年人保護法》《未成年人網絡保護條例》以及《移動互聯網未成年人模式建設指南》等文件發現，相關法律條文雖然要求移動智能終端、應用程序等相關主體推進未成年人模式建設，并作出一系列要求。但現實中選擇開啟此模式與否的決定權仍在用戶手中，家長監管不力時，未成年人可“一鍵”拒絕開啟此模式，繼續接觸許多成人向內容。

2023年發布的《生成式人工智能服務管理暫行辦法》提到，人工智能服務提供者應當指導使用者科學理性認識和依法使用生成式人工智能技術，采取有效措施防范未成年人用戶過度依賴或者沉迷生成式人工智能服務。

針對上述問題現狀，彭嘉昊建議，應加強舉報及懲罰機制的建立，對違規企業實施更為嚴厲的懲處措施，促使相關部門的“清朗行動”落到實處、取得實效，將監管平臺系統融入企業技術產品的研發與使用流程，從源頭上遏制違規內容的產生。

北京金問律師事務所合伙人李源律師向央廣網記者分析稱，企業需加強內容審核，避免不良信息漏洞；監護人也應加強對移動設備的監管，避免未成年人輕易使用未開啟未成年模式的電子設備。

2024年修正的《中華人民共和國未成年人保護法》規定，未成年人的父母或者其他監護人依法對未成年人承擔監護職責，應當關注未成年人的生理、心理狀況和情感需求；不得放任未成年人沉迷網絡，接觸危害或者可能影響其身心健康的圖書、報刊、電子出版物和網絡信息等。

朱巍也提到，要重視父母和監護人的責任。《中華人民共和國家庭教育促進法》規定，未成年人的父母或者其他監護人應當合理安排未成年人學習、休息、娛樂和體育鍛煉的時間，避免加重未成年人學習負擔，預防未成年人沉迷網絡。

朱巍還表示，關于社交軟件的注冊年齡限制機制也值得重視和研究。實際上，許多國家為保護未成年人，對社交媒體的使用年齡進行限制。例如，2023年，法國參議院通過法案，規定15歲以下用戶使用社交平臺需獲父母同意。2024年11月份，澳大利亞聯邦議會參議院通過法案，禁止16歲以下未成年人使用多數社交媒體平臺。今年3月，美國猶他州通過全美首部關于應用商店的未成年網絡安全法案，要求應用商店對用戶進行年齡驗證，并要求未成年人在下載應用前需獲得家長同意。

彭嘉昊表示，“我們也都曾是未成年人，經歷過懵懂的年少時期，AI本身并非洪水猛獸。關鍵在于家長對未成年人的教育引導，以及社會對AI公司的監督。技術如同一把刀，是用于行兇還是切菜，最終取決于使用者，同時也需要法律法規對違法行為進行制止與處罰。”

“當前面臨的一大嚴峻問題是，AI發展速度迅猛，已經遠遠超出了監管的步伐。內容審核不嚴、心理控制、隱私泄露等一系列問題正迅速凸顯。因此，必須壓實平臺責任，落實算法備案制度，制定明確的處罰標準，并通過一批典型案例的實施來避免問題的多樣化和復雜化。”彭嘉昊說。