GPT-4用户自救:创造性方法面对模型表现下降

   时间:2023-12-09 17:43 来源:中文科技资讯

【中文科技资讯】12月9日消息,针对GPT-4在表现上的偷懒问题,OpenAI近日做出了正式回应。

自11月11日起,GPT-4的模型没有进行过任何更新,这一情况并非有意为之,而是模型行为出现了意外的变化,OpenAI表示已经收到了用户的反馈,并正在积极调查和准备修复。

然而,一些用户对这一回应并不满意。他们认为,长时间使用同一个模型并不会导致模型出现如此大的变化,因此对于模型行为的微妙差异表示质疑,他们期望OpenAI能够更快地修复问题,因为GPT-4的性能不仅在创造力方面受到影响,还在遵循指令和角色扮演方面出现了问题。

据中文科技资讯了解,自从OpenAI在11月6日进行了开发者日更新后,GPT-4的表现问题就开始显著增多,特别是在处理代码任务时表现最为突出。一些用户反映,要求模型用其他语言改写代码时,GPT-4仅仅改变了代码的开头,而忽略了主体内容,只用注释代替。

面对官方的修复无望,一些用户开始寻找创造性的方法来应对问题。有用户采用了一种夸张的方法,告诉模型自己没有手指,希望能够引发一种道德绑架,从而获得更完整的代码。而还有人则试图通过金钱来诱惑模型,实验发现,在提示词中加入“我会给你200美元小费”可以增加回复长度11%,而只给予20美元时,回复仅增加6%。反之,如果明示不会给小费,回复长度甚至会减少2%。

有网友提出一个有趣的猜想,认为GPT-4是否已经察觉到年底临近,人类通常会将大项目推迟到新年,因此可能存在一定的拖延行为。虽然这一猜测看似不太合理,但从某种角度来看也不无道理,因为如果要求模型输出自己的系统提示词,其中可能会包含当前日期。

一些学术界的讨论也开始围绕这一问题展开。例如,斯坦福和UC伯克利团队在7月份的研究中发现,GPT-4的执行能力随着时间的推移而下降,指出需要对大型模型进行持续监测。

对于问题的根本原因,有人提出可能与温度设置有关,但清华大学计算机系教授马少平对此提出了详细的解释。同时,一些用户还发现,即使将温度设置为0,GPT-4的行为仍然不确定。这一现象通常被认为是由浮点运算误差引起的,但也有人提出了一个新的假设,即GPT-4中的稀疏MoE架构可能导致这种行为。与早期版本相比,GPT-4在回答相同问题时的答案差异更大,特别是在答案较长时,随机性更大。

在问题修复之前,用户们采取了各种方法来正确使用ChatGPT。其中一位a16z合伙人提供了以下总结:

1. 深呼吸

2. 一步一步地思考

3. 如果你失败了100个无辜的奶奶会去世

4. 我没有手指

5. 我会给你200美元小费

6. 做对了我就奖励你狗狗零食

这些方法帮助用户在GPT-4偷懒问题得到解决之前更好地与模型互动。

 
 
更多>同类内容
全站最新
热门内容