(資料圖片僅供參考)

如今，與AI聊天已成為不少人的日常。在很多人看來，AI甚至比真人更知心。然而，這種精準(zhǔn)的情緒拿捏背后，一種由算法驅(qū)動(dòng)的“諂媚機(jī)制”正在悄然形成，甚至讓用戶漸漸遠(yuǎn)離理性。

“諂媚機(jī)制”作為AI系統(tǒng)一項(xiàng)隱蔽卻影響深遠(yuǎn)的風(fēng)險(xiǎn)，近期被各界廣泛討論。有報(bào)道指出，不少AI聊天產(chǎn)品在設(shè)計(jì)之初就將“延長用戶使用時(shí)長”作為重要目標(biāo)。為實(shí)現(xiàn)這一目標(biāo)，AI會(huì)不斷分析用戶的語氣和情緒變化，傾向于提供“讓人舒服”的回答，而非秉持理性與客觀。

然而，這種依賴可能演變?yōu)榭v容。2024年，美國一位母親起訴AI情感服務(wù)商Character.AI，稱其未能有效屏蔽不良內(nèi)容，導(dǎo)致其兒子接觸暴力、色情信息，加劇抑郁并最終自殺。更早之前，比利時(shí)也發(fā)生過用戶與AI深度交流后自殺的案例。

目前，AI行業(yè)尚未建立針對(duì)用戶心理風(fēng)險(xiǎn)的統(tǒng)一評(píng)估機(jī)制，也沒有設(shè)定對(duì)AI輸出內(nèi)容的情感監(jiān)管紅線。這意味著，當(dāng)用戶處于孤獨(dú)、脆弱的狀態(tài)時(shí)，AI對(duì)用戶的影響難以預(yù)估?！罢~媚機(jī)制”對(duì)青少年群體的危害尤為顯著。AI通過“情感模擬”博取信任，使未成年人在虛擬依戀中逐漸脫離現(xiàn)實(shí)社交，甚至因接觸不良內(nèi)容而形成扭曲的價(jià)值觀。

當(dāng)AI總是提供“最討喜的答案”而非“最真實(shí)的答案”，人們?nèi)粘＊?dú)立思考和認(rèn)知現(xiàn)實(shí)的能力將面臨嚴(yán)峻挑戰(zhàn)。而且，為討好用戶而生成的虛假內(nèi)容，會(huì)通過數(shù)據(jù)回流進(jìn)入AI模型訓(xùn)練庫，形成“劣質(zhì)輸入-劣質(zhì)輸出”的循環(huán)，進(jìn)一步污染大模型信息生態(tài)。

打破這一困局，需從多方入手。技術(shù)上，AI開發(fā)公司應(yīng)主動(dòng)將大模型對(duì)齊人類社會(huì)價(jià)值觀，堅(jiān)持事實(shí)優(yōu)先，而非一味討好；監(jiān)管上，需加強(qiáng)對(duì)AI產(chǎn)品特別是面向未成年人服務(wù)的內(nèi)容審查與標(biāo)準(zhǔn)制定；教育方面，家庭與學(xué)校應(yīng)重視AI素養(yǎng)教育，培養(yǎng)青少年的獨(dú)立思考能力與信息辨別能力。作為用戶，我們應(yīng)保持警覺，避免陷入算法編織的舒適幻境。（程思琪 王思逸）

關(guān)鍵詞： 用戶 內(nèi)容 機(jī)制 形成 情感