欢迎访问chatgpt中文教程网,学习chatgpt相关知识,以下是正文内容:
用AI写的论文,其水平如何呢?
如果不借助工具,只是靠人工判断的话,几乎可以乱真了。
前段时间,在Npj Digital Medicine(影响因子15)上发表了一篇文章,找了50篇已经发表的文章,把这些文章的数据内容给到ChatGPT,让它来生成摘要。
然后,拿着原始摘要和GPT生成的摘要给到期刊编辑们,让他们来判断哪些是人写的,哪些是GPT生成的。
结果,编辑们把32%GPT生成的内容当成了人写的,而把14%人写的内容当成了GPT生成的。
你可能觉得这个错误率好像也不高啊,这不是68%的还被识别出来了嘛?
嗯,反正就是要么真要么假,闭眼猜都有50%的正确率呢。
所以,这里的正确率是要看离50%有多远。如果只有1%的正确率,那就很好了,以后都反着来,正确率瞬间99%。
这种68%的正确率,说白了其实和盲猜差不多。用文章中的话说,缺乏统计学差异:
GPT生成的内容已经足以乱真了,那怎么区分哪些是人写的,哪些是GPT生成的呢?
倒也不是没办法——用魔法打败魔法。最了解GPT,可能还是GPT。
用下面的这个链接去区分的话,正确率要明显比人工强一些了:
https://openai-openai-detector--g5s42.hf.space/
从图上来看,虽然对GPT生成内容的错误判断有34%,但是对人写的内容正确率达到了98%。
可以认为,如果GPT说是GPT生成的,那基本上就肯定不是人写的了;但是GPT说是人写的,也不一定就是真的。
然后,我自己去这个网站上试了一下,又有新的发现:
如果输入英文的话,GPT确实能发现问题,可以看下图右下角,给我报警是fake的:
但是,如果我把这些内容用机器翻译成中文再试的话:
成功躲过了GPT的审核!
可见,GPT审核很可能对于中文还缺乏敏感性,所以对于中文期刊来说,写作门槛可能又低了一些啊。
最后顺便说一句,论文中还对这些测试文章的原创性进行了查重检测,结果更有意思了:
GPT生成的内容,被认为100%都是原创的。反倒是那些人写的内容,多多少少都被认为可能存在「剽窃」问题,整体原创率只有38.5%。
好吧,考虑到这些文章都是发表在JAMA、NEJM、Lancet这样的期刊上的,我且认为他们是被别人抄袭了。
但至少,GPT可以完美避开查重的问题了。
GPT审核工具对中文不敏感,同时GPT生成的内容又可以完美避开查重,我好像发现了什么不得了的东西?