当前，生成式人工智能技术日益普及，不少内容创作者通过AI创作出更具想象力的作品。但也有一些人利用AI造假，无底线博眼球，作为起号变现捷径。
记者以想学习AI起号为由，向一名博主咨询AI视频起号相关问题。画面中博主提到的这类账号，发布的穿搭、保养、护肤、养生等视频多未设置AI生成提示，不少网友误以为是真人，在评论区咨询保养方法。
一名博主透露，她借助AI软件生成的“氛围感美女”视频在多个平台“吸粉”过万，接到不少推广商单，月收入在1万元左右。
记者向一名销售AI生成视频带货教程的卖家咨询详细情况。记者调查发现，当前，主流网络平台普遍升级AI内容识别系统，要求对AI生成作品添加标注，但仍有一些人采用各种手段绕过审核。
记者调查发现，社交平台上有不少AI造假起号的教程，情感、养生、颜值等类别是“重灾区”，相关帖子常以“条条是爆款”“最适合普通人入局”“3天暴力起号”等为噱头。
有专营平台起号的商家告诉记者，只需缴纳1680元，3到15天即可运营出一个万粉AI账号。当账号积累一定流量后，就可以通过电商带货、账号转卖等方式变现。
有商家称，手上有未标注AI生成的“美女”账号，粉丝量均在一万以上，且为“三无账号”（无实名、无账号违规、无作品违规）。
记者搜索发现，社交平台上有众多网友求购和出售账号。一名卖家称，2.5万粉丝的AI养生号售价6000元，11万粉丝的AI宠物号售价1.6万元，11.7万粉丝的AI母婴号售价1.35万，这些账号同样是“三无账号”。
受访专家表示，这些“三无账号”的买卖以及AI造假起号，涉及技术提供者、传播平台、内容发布者等多个参与方，技术、数据等关键信息存在壁垒，需加强协同治理。
重庆公孝律师事务所执行主任徐斌表示，AI造假起号灰色产业链是技术异化的结果，可能造成低俗猎奇信息泛滥，加速虚假新闻、谣言传播，扰乱网络空间秩序，还可能会涉及到一些法律，亟待加强清理整治。
阻断违规账号的流量变现，是从根源上打击黑灰产业链的关键。受访专家建议，监管部门应督促平台履行治理责任，建立违规账号“黑名单”，对高频、反复触犯平台规则的账号主体加大处罚力度，禁止违规账号进行带货、卖课等商业活动，持续开展AI造假起号整治，切断其获利渠道。
AI生成的图像、视频、音频和虚拟人形象，正在丰富互联网信息，拓展文化创意、教育培训、信息传播等应用场景。但是，热潮之下也存在隐忧。
数字人播报是一种新兴的短视频形式。记者在某AI平台支付费用、成为会员后，便可体验AI口播视频、文字生成视频、图片生成视频等功能。在AI口播视频功能中，有直播带货、品牌营销、理财顾问、知识科普、资讯播报等多个选项，以及与之相匹配的虚拟主播形象和音色。记者调查发现，这类视频容易引起关注、获得流量，但也导致一些信息真假难辨，出现“伪科普”、假新闻、假理财等乱象。
在一些自媒体平台，穿越历史题材的AI生成视频热度颇高，不少视频有数万点赞量和转发量。这些视频将主播置身于古代著名历史事件场景中，带给网友新奇、直观的视觉体验，也实现了信息的趣味化传播，但其中也不乏“伪历史”“伪科学”AI视频。
在社交媒体平台，AI图片生成的热度持续攀升。用户只需上传一张照片，就能一键生成军人、警察等形象，相关话题已累计吸引数亿阅读量。
专家指出，生成式人工智能在提升效率、激发创意方面前景广阔，但若被不当利用，可能误导公众，甚至滋生违法犯罪。
利用AI视频博眼球、赚流量之外，已经有一些不法分子将魔爪伸出屏幕，利用AI视频造假的手段直接侵害公民财产安全。
2024年6月，南京市玄武区人民检察院受理了一起“AI换脸网络盗刷案”：犯罪嫌疑人符某使用非法获取的手机号、身份证等公民个人信息，通过换脸软件AI生成动态视频，以“人脸识别”方式登录累计23名被害人的网购平台账户，更改了多名被害人的支付密码、绑定的手机号，后冒用1位被害人账户绑定的银行卡，用于购买两部手机，总价值人民币15996元。
2024年10月18日，法院判决符某犯公民个人信息罪、信用卡诈骗罪，判处有期徒刑四年六个月，并处罚金4万元；同时需公开赔礼道歉、删除非法信息并赔偿损失。
受访专家认为，AI造假乱象亟需监管部门、软件开发商、平台、公众等多方协同发力，共同参与治理。
