先做个广告：如需代注册ChatGPT或充值 GPT4.0会员（plus），请添加站长微信：gptchongzhi
用AI写的论文，其水平如何呢？
推荐使用GPT中文版,国内可直接访问：https://ai.gpt86.top
如果不借助工具，只是靠人工判断的话，几乎可以乱真了。
前段时间，在Npj Digital Medicine（影响因子15）上发表了一篇文章，找了50篇已经发表的文章，把这些文章的数据内容给到ChatGPT，让它来生成摘要。
然后，拿着原始摘要和GPT生成的摘要给到期刊编辑们，让他们来判断哪些是人写的，哪些是GPT生成的。
结果，编辑们把32%GPT生成的内容当成了人写的，而把14%人写的内容当成了GPT生成的。
你可能觉得这个错误率好像也不高啊，这不是68%的还被识别出来了嘛？
嗯，反正就是要么真要么假，闭眼猜都有50%的正确率呢。
所以，这里的正确率是要看离50%有多远。如果只有1%的正确率，那就很好了，以后都反着来，正确率瞬间99%。
这种68%的正确率，说白了其实和盲猜差不多。用文章中的话说，缺乏统计学差异：
GPT生成的内容已经足以乱真了，那怎么区分哪些是人写的，哪些是GPT生成的呢？
倒也不是没办法——用魔法打败魔法。最了解GPT，可能还是GPT。
用下面的这个链接去区分的话，正确率要明显比人工强一些了：
https://openai-openai-detector--g5s42.hf.space/
从图上来看，虽然对GPT生成内容的错误判断有34%，但是对人写的内容正确率达到了98%。
可以认为，如果GPT说是GPT生成的，那基本上就肯定不是人写的了；但是GPT说是人写的，也不一定就是真的。
然后，我自己去这个网站上试了一下，又有新的发现：
如果输入英文的话，GPT确实能发现问题，可以看下图右下角，给我报警是fake的：
但是，如果我把这些内容用机器翻译成中文再试的话：
成功躲过了GPT的审核！
可见，GPT审核很可能对于中文还缺乏敏感性，所以对于中文期刊来说，写作门槛可能又低了一些啊。
最后顺便说一句，论文中还对这些测试文章的原创性进行了查重检测，结果更有意思了：
GPT生成的内容，被认为100%都是原创的。反倒是那些人写的内容，多多少少都被认为可能存在「剽窃」问题，整体原创率只有38.5%。
好吧，考虑到这些文章都是发表在JAMA、NEJM、Lancet这样的期刊上的，我且认为他们是被别人抄袭了。
但至少，GPT可以完美避开查重的问题了。
GPT审核工具对中文不敏感，同时GPT生成的内容又可以完美避开查重，我好像发现了什么不得了的东西？
