self-consistency
相反,自一致性是完全无监督的,可以与预先训练的语言模型一起使用,不需要额外的人工注释,并避免任何额外的训练、辅助模型或微调。自一致性也不同于典型的集成方法,即训练多个模型并聚合每个模型的输出,它更像是在单个语言模型之上工作的“自集成”。
阿里云的API
- 每一次给出的答案没有区别
- ChatGLM3幻觉严重
使用部署的mistral-7B大模型
- 每次答案不同,符合采样
- 做了很多次,能答对一次第一题。
- 如何让他遵循我的指令?调用GPT3.5?从而计算准确率
Jiangshan He · 项目记录 · 阅读与实践记录
相反,自一致性是完全无监督的,可以与预先训练的语言模型一起使用,不需要额外的人工注释,并避免任何额外的训练、辅助模型或微调。自一致性也不同于典型的集成方法,即训练多个模型并聚合每个模型的输出,它更像是在单个语言模型之上工作的“自集成”。