怎样让语言大模型多出点字数？

诚司

多轮对话你可以说继续，length penalty一般要用api。让大模型输出更长的文本一般你得自己用prompt来拼

诚司

gx19860411 发表于 2024-4-6 10:18
就是直接用的api，在接口说明里都没看到这个参数。话说用api的话，实现“继续”的话需要把之前几次的信息 ...

openai是有的，我以为zhipuai有，看了下好像确实没有
多轮对话你要把之前的轮次拼成多轮历史记录输进去的，zhipu的开发文档里有多轮的例子。不用担心性能问题，同一个用户token的多次api交互多轮对话，一般的api服务都会用多轮的kv cache之类方法优化的