克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
GPT-4变懒的问题,又有新进展。
就在今天凌晨,奥特曼发推称,GPT-4这个差错在新的一年应该好多了!
彩票捕鱼对于GPT-4变懒,网友的吐槽已是不计其数,其中最多的即是与代码关系的任务:
完成度不高不说,还会被分割成一个一个小块,使用时需要逐个复制。
对于最新版块,一位博主体验之后示意,我方尝试给一年齿的孩子作念了个学惯用的小游戏,为止还可以。
但也有东谈主不认可,比如这位网友就发现,ChatGPT回应的长度天然增多了,可是许多齐是车轱辘话,干正事依旧摆烂。
他让ChatGPT把一些文本翻译成17种谈话,为止叽里呱啦说了一堆即是不翻译。
为了摈斥个体各异,有网友用数据集测试了新的ChatGPT,为止……
新版反而更懒了?这位网友用GitHub上开源的一套“lazy benchmark”测试了0125(24年1月最新版)和1106(23年11月的上一版)GPT-4模子,发现新版甚而还不如当年,变得更懒了。
这个测试数据集包含了与代码关系的任务,用正确完成的比例迤逦响应“懒惰”进度,完成率越高确认“惰性”越小。
为止,对于其中的代码比拟(Unified diffs)任务,旧版能完成的比例尚且罕见了一半,为57%,欧博正网注册新版的完成率却仅有44%,缩短了近四分之一。
直不雅感受上,也有东谈主发现ChatGPT的“懒惰”变本加厉了——
当年就算偷懒至少还会哄骗一下,给出个梗概的框架让用户自行补充,刻下胜仗即是摆烂说我方干不了。
而针对网友们的这番发现,也有东谈主给出了锐评:
几周之前奥特曼就说过GPT-4推崇变好了,可是有东谈主嗅觉到分袂吗?
此次,对于GPT-4变懒的原因,以及到底取舍了什么优化政策,奥特曼也未作念进一步确认。
皇冠客服飞机:@seo3687“土看法”可缩短惰性不外,之前的一项相干标明,GPT-4的惰性可能与时分关系,这一论断与GPT-4“变懒”的征象出刻下年末的12月相吻合。
按照这一表面,新年开头,模子的推崇简直会有所晋升,但似乎诠释不了推崇不升反降的征象。
不外,网友们也回来了一些“土看法”,能在一定进度上缩短ChatGPT的惰性。
体育赛事比如告诉它“我莫得手指”,就能获得相对好意思满的代码,而不是一段段碎屑。
又或者,告诉ChatGPT我方会“给小费”,也能引发它的使命能源。
甚而有东谈主有益针对“小费”的金额进行了相干,发现10好意思元的性价比是最高的。
那么,你以为ChatGPT是变好了已经更懒了?
参考运动:
博彩平台招聘皇冠比分(24500)走地[1]https://twitter.com/sama/status/1754172149378810118[2]https://aider.chat/docs/benchmarks-0125.html— 完 —
量子位 QbitAI · 头条号签约iba娱乐城