(資料圖片僅供參考)

如今，與AI聊天已成為不少人的日常。在很多人看來，AI甚至比真人更知心。然而，這種精準的情緒拿捏背后，一種由算法驅(qū)動的“諂媚機制”正在悄然形成，甚至讓用戶漸漸遠離理性。

“諂媚機制”作為AI系統(tǒng)一項隱蔽卻影響深遠的風險，近期被各界廣泛討論。有報道指出，不少AI聊天產(chǎn)品在設(shè)計之初就將“延長用戶使用時長”作為重要目標。為實現(xiàn)這一目標，AI會不斷分析用戶的語氣和情緒變化，傾向于提供“讓人舒服”的回答，而非秉持理性與客觀。

然而，這種依賴可能演變?yōu)榭v容。2024年，美國一位母親起訴AI情感服務商Character.AI，稱其未能有效屏蔽不良內(nèi)容，導致其兒子接觸暴力、色情信息，加劇抑郁并最終自殺。更早之前，比利時也發(fā)生過用戶與AI深度交流后自殺的案例。

目前，AI行業(yè)尚未建立針對用戶心理風險的統(tǒng)一評估機制，也沒有設(shè)定對AI輸出內(nèi)容的情感監(jiān)管紅線。這意味著，當用戶處于孤獨、脆弱的狀態(tài)時，AI對用戶的影響難以預估?！罢~媚機制”對青少年群體的危害尤為顯著。AI通過“情感模擬”博取信任，使未成年人在虛擬依戀中逐漸脫離現(xiàn)實社交，甚至因接觸不良內(nèi)容而形成扭曲的價值觀。

當AI總是提供“最討喜的答案”而非“最真實的答案”，人們?nèi)粘＊毩⑺伎己驼J知現(xiàn)實的能力將面臨嚴峻挑戰(zhàn)。而且，為討好用戶而生成的虛假內(nèi)容，會通過數(shù)據(jù)回流進入AI模型訓練庫，形成“劣質(zhì)輸入-劣質(zhì)輸出”的循環(huán)，進一步污染大模型信息生態(tài)。

打破這一困局，需從多方入手。技術(shù)上，AI開發(fā)公司應主動將大模型對齊人類社會價值觀，堅持事實優(yōu)先，而非一味討好；監(jiān)管上，需加強對AI產(chǎn)品特別是面向未成年人服務的內(nèi)容審查與標準制定；教育方面，家庭與學校應重視AI素養(yǎng)教育，培養(yǎng)青少年的獨立思考能力與信息辨別能力。作為用戶，我們應保持警覺，避免陷入算法編織的舒適幻境。（程思琪 王思逸）

關(guān)鍵詞： 用戶 內(nèi)容 機制 形成 情感