医托扮病友引流、直播卖“注胶”南红……
虚假营销随AI发展不断更新迭代,平台升级查处技术“用魔法打败魔法”

安徽的姚先生被社交平台上自称“同病相怜”的医托介绍去私立医院,看诊开了近8000元的药;严女士在宣称“原矿、无胶”的直播间购买南红玉石,到手后发现珠子被注胶;商家“大甩卖”销售低价水果,实际却伪造提货卡引流到诈骗网站……类似的虚假营销现象不断“更新迭代”。
这些内容看似对平台经营不造成致命伤害,但却一点点侵蚀着用户信任,从而逐步瓦解平台的生态健康。正是意识到这些顽疾的伤害,近年来,各平台投入大量人力与技术资源希望能剜除毒瘤。南都记者留意到,小红书正式组建了打击虚假营销的“战队”誓要与之“杠到底”;抖音成立安全与信任中心后,首期就出手整治了违规营销。
案例
一个小小的皮肤病,开出七八千元药
“我只是皮肤问题,莫名其妙给我开了七八千的药,幸好当时没信”,事发一个多月,姚先生对这段“被骗”经历并不愿太多提及。他告诉记者,自己之前在App上搜索皮肤相关疾病该如何处理,看到一位曾经的“患者”发帖分享治愈经验,因此留言询问,该博主随即将他引流至微信私聊,分享自己是由某位医生治好的皮肤病,可以推荐给他。
“对方给我推荐的刚好就是当地的一个医生,开始说是三甲医院的,最后给我推荐去私立医院看。我当时想,来都来了那就看一下吧,然后给我开了七八千元药。我觉得不对劲,一个小小的皮肤病怎么会开这么贵的药?”姚先生留了个心眼,带着药单去咨询了另一家正规三甲医院的医生,对方告诉他这些药“完全不是这么一回事”,他才醒悟过来自己被“托儿”骗了。
无独有偶,广州的严女士在直播间购买了数十颗南红散珠(一种玉石种类),回来用紫光灯检测,发现有明显的“注胶”痕迹。询问客服后对方坦承,“市场上所有的南红都会注胶,这是一个必要工艺,国家也允许出证书的,和玛瑙烤色是一个道理”。但严女士告诉记者,当初在直播间商家并未就此说明,而且作为玉石爱好者,她发现不少直播间主播对南红的惯用话术都是“原矿、无胶、无优化”。她透露:“只有很少的直播间会明确告诉你哪些是染色的、哪些是优化过的。”
虽然最后上述两位消费者都成功退款,但用户体验是实实在在受到了伤害。严女士早就取关了这家玉石商家;姚先生直言事发后他开始回避使用上述App,因为总能唤起不愉快的回忆。
调查
造假团队搭建“假场景”运营账号
为保护消费者权益,抖音、小红书等多个平台近期也加强了对“虚假营销”的治理力度。然而,违规者也非常熟悉平台的规则并且善于加以利用,这注定是一场互相博弈的持久战。
例如,作为“分享”“种草”属性突出的社区,各类“经验帖”层出不穷。正如上述的姚先生根本无法判断所谓的“病友”是否属实,这背后是迷惑性极强的“假人设”。小红书今年成立“打击虚假营销战队”以来,其中就重点针对“伪素人账号”“众包账号”等类型展开打击。
但对方的“造假”团队显然也有应对平台规则的“反治理”经验。南都记者获悉,为了显得真实,这些虚假营销的账号会特别注意发帖内容营造的身份一致性,并且会将“虚假营销”的内容掺杂在日常更新中,甚至还有团队搭建了假场景来扮演“真人”,评论区甚至还频繁进行用户互动,看起来这一切都是一个“正常”账号的样子。
“打假”团队也在根据这些手法进行迭代更新,增加了AI模型识别和多维度关联分析,捕捉账号的“异常行为”,“战队”迭代了“模板化笔记识别大模型”以及“伪素人账号识别模型”等20多个AI识别大模型,以此提升拦截的准确度。小红书还设置了内容前置审核制度,采用了账号关系挖掘分析策略,并上线多个图像及视频识别模型,通过综合笔记内容和账号信息进行分析判断,对虚假人设进行精准打击。据悉,小红书半年共处置虚假人设账号1万个。
打击
平台通过大模型实时识别引流欺诈
“虚假营销”除了上述这类具有极强的“反治理”意识,能充分利用平台规则钻空子外,另一大特征就是极强的隐蔽性。
南都记者了解到,一种新型的“水果提货卡”骗局近期在平台上蔓延。一些商家、达人在直播间宣传低价水果,但消费者下单后仅收到印有“百果园”字样的小卡片,扫码后跳转至诈骗网站,随后被引导逐步进入充值、返利等陷阱。还有商家通过伪造“百果园提货卡”,诱导消费者先充值或以小额返利方式获取信任,最终要求支付更高费用才能提货。
引流欺诈作为网络环境中的顽疾,在电商行业内存在已久,具备隐蔽性强、欺骗性高等特点,已蔓延至各平台,严重损害了消费者权益和市场秩序。
抖音方面向南都记者透露,抖音电商已全面升级针对引流诈骗的风险识别与处置机制。如平台通过大模型实时识别诈骗商家的引流意图,及时清退违规商家并冻结货款,限制其账号登录。同时,加大日常巡逻,一旦发现违规,立即中断直播,进一步核实处置。此外,平台还建立了针对用户的反诈提醒机制,及时向消费者提示风险。
观察
专家:用AI技术对抗AI滥用
近两年,随着AIGC技术蓬勃发展,“造假”团队也同步进行更新迭代,利用AIGC进行虚假营销的现象开始明显增多。此前抖音公布过不少案例,如有账号利用AI仿冒于东来语音、形象,然后违规营销带货。还有创作者在直播间利用AI展示樟树港辣椒丰收的场景,画面中辣椒的数量、分布和植株生长规律完全不符合现实农业,但主播在口播中依然夸大种苗的量产,误导消费者下单,这就是典型的涉嫌虚假宣传。
今年5月,抖音展开关于“AI起号”的专项治理行动,从重点治理打击的范围可以一窥目前AI在内容平台虚假营销的常见手法:利用AI生成低俗猎奇视频、AI生成虚拟外国幼儿教育专家教授育儿内容、AI账号秘籍传授。
小红书也坦言,当下,虚假低质AIGC内容成为治理的重中之重。北京嘉潍律师事务所合伙人律师赵占领告诉南都记者,利用AIGC技术虚假营销的现象增多,背后是技术门槛和成本的双重降低,使得造假变得前所未有的“高效”和“廉价”。很多平台推出“一键生成”工具,利用AI批量生成视频、图片和文案变得简单快捷,而且制作成本急剧下降。
在整治建议方面,赵占领提到了“用AI技术对抗AI滥用”。这个角度的打击手段我们可以从小红书的做法上一窥究竟。小红书不断加大对AIGC识别模型的研发投入,进一步提高识别精准度,减少虚假低质AIGC内容的曝光,如上线AIGC谣言诊断模型,上线图像与视频识别模型,识别合成头像、换脸/深度合成痕迹,配合文本模型形成多模态判断等。同时,平台对AIGC生成内容做主动标识工作,提升信息透明度,半年共处置治理虚假低质AIGC笔记60万篇。
采写:南都记者 徐冰倩 制图:朱林(豆包AI生成)