zt用弱智吧数据训练的AI爆杀了所有中文平台
本帖最后由 yweili999 于 2024-4-4 08:22 编辑https://zhuanlan.zhihu.com/p/690640864
“是的，就是我们认识那个弱智吧”
不行太好笑了。
COIG-CQIA: Quality is All You Need for Chinese Instruction Fine-tuning (arxiv.org)
中科院为了搞出更适合中国宝宝的 AI，搜集了各大社区平台的语料，精心整理出一份数据集。
他们拿这些数据去炼ai，然后测了下各家数据炼出来的性能，就下面这个表：
https://pic2.zhimg.com/80/v2-ece3f9ac3260df763ee329d53e46cb19_1440w.webp
嗯？第一名ruozhiba？
我的心情：看看是谁的部将， 76.9 得分第一……嗯？ Ruozhiba？什么论坛，没听说过？等会，弱智吧？真的假的？
往上前一翻，还真就那个弱智吧，他们收集了点赞最多的500个帖子，可以看到，吃了弱智吧数据集的 Yi-34B 在开放式问答、头脑风暴、分类、生成、总结、封闭式问答、 提取、代码8个项目下都拿到了最高分。（遥遥领先！）https://pic4.zhimg.com/80/v2-b0e2dcbb8283d3bf234818a22fa17147_1440w.webp
哇，真的是你啊再看眼这个表：https://pic3.zhimg.com/80/v2-c683fbb418224b85385799886b7fe12e_1440w.webp
最强的是，弱智吧 code 得分连 SegmentFault 都超了。
知乎均分第二，Math 这一项拿了第一，守住了知识平台的荣光。要是这波没弱智吧知乎就第一了！题外话，小红书均分才50.3，遥遥落后！研究员说，有趣的是，弱智吧在所有子集中平均排名第二。我们推测这是因为它可以增强模型的逻辑推理能力，从而有利于大多数指令跟踪任务。https://pic3.zhimg.com/80/v2-8a19d0e52931f9c4f1ed21b4949bdcf6_1440w.webp我还有一点小疑问，就他们为什么会想到去弱智吧收集数据（挠头）。
至今仍然觉得弱智吧最乐的贴是“男子悬崖坠亡工作人员称买100米蹦极绳送100米” 看看S1的 草，这下真成人类智慧结晶了 这下弱智吧真没法收弱智了，话说回来研究员怎么想到去弱智吧这么个冷门论坛收集语料，怕不是有个黄牌在里面 weiyang 发表于 2024-4-4 05:59
这下弱智吧真没法收弱智了，话说回来研究员怎么想到去弱智吧这么个冷门论坛收集语料，怕不是有个黄牌在里面 ...
为什么会想不到，我看知乎 B 站上面各种大语言模型评测时必有的环节就是挑战弱智吧 我也想看看这500个高赞帖子，不知道有没有文档 一本正经的解释弱智吧为什么适合当样本那段真的乐到我了 当年彭罗斯写科普的时候，设想的图灵测试中真正为难ai的题目就是类似弱智吧的抖机灵段子 弱智吧里精选笑话含金量真的很高，运营的官博收集的那些就比较水了 weiyang 发表于 2024-4-4 05:59
这下弱智吧真没法收弱智了，话说回来研究员怎么想到去弱智吧这么个冷门论坛收集语料，怕不是有个黄牌在里面 ...
网上一堆弱智吧大战chatgpt4的 所以..有没有S1的数据训练成果.. 能代 发表于 2024-4-4 07:33
所以..有没有S1的数据训练成果..
可以先用微博的当代餐
—— 来自 S1Fun 这个数据集可以在https://hf-mirror.com/datasets/m-a-p/COIG-CQIA/tree/main/ruozhiba
下载到
光看问题可能很弱智吧，但一看回答，那真的是高质量数据……英文也需要英文的弱智吧数据了，能不能搞个英文的……
{"instruction": "石油也是油，为啥没人用它来炒菜？", "input": "", "output": "石油虽然也是一种油，但它并不适用于烹饪。这主要是因为石油和食用油在化学成分和用途上有很大的不同：\n\n1. **化学 成分**：食用油是由植物或动物脂肪制成的，主要含有对人体有益的脂肪酸，如欧米伽脂肪酸。而石油是一种化石燃料，主要由碳氢化合物组成，含有多种有害的化学物质。\n\n2. **毒性**：石油中含有的化学物质对人体是有害的，甚至是致癌的。这些物质在加热时会产 生有毒的烟雾和蒸气，这对健康极为不利。\n\n3. **风味和气味**：食用油在烹饪中可以增添食物的风味，而石油的气味和味道都非常 强烈且令人不悦，不适合用于食物。\n\n4. **燃点**：石油的燃点远低于食用油，这意味着它在较低的温度下就会燃烧，这在厨房中极 为危险，容易引发火灾。\n\n因此，出于健康和安全的考虑，石油绝不能用于烹饪。食用油是专门为食品烹饪设计的，既安全又有益健康。", "task_type": {"major": ["问答"], "minor": ["逻辑问答", "隐喻理解"]}, "domain": ["通用"], "metadata": "暂无元数据信息", "answer_from": "llm", "human_verified": true, "copyright": "暂无版权及作者信息"}
弱智吧没有弱智
就如同老婆饼里没有老婆 诚司 发表于 2024-4-4 08:59
这个数据集可以在https://hf-mirror.com/datasets/m-a-p/COIG-CQIA/tree/main/ruozhiba
下载到
这些是处理过的吗？output看起来挺ai的 囧Smith 发表于 2024-4-4 09:06
这些是处理过的吗？output看起来挺ai的
output明显就是GPT-4
—— 来自 Xiaomi 2203121C, Android 14上的 S1Next-鹅版 v2.5.3-play 囧Smith 发表于 2024-4-4 09:06
这些是处理过的吗？output看起来挺ai的
论文写了，有人类生成有gpt4生成，然后人类审核，jsonl里有是否人类写的标签的 哈哈哈哈哈哈草。真的能理解弱智吧才是真的智能啊 大概看了下，弱智吧的数据基本就是弱智吧问题+GPT-4的回答，其他的语料是网站上的文字+人工/LLM写的问题，input的文本很短而output比较长
所以就是原始语料训练 vs GPT-4蒸馏，那得到主楼的数据再正常不过了，有点哗众取宠吧
—— 来自 Xiaomi 2203121C, Android 14上的 S1Next-鹅版 v2.5.3-play 第七月球 发表于 2024-4-4 06:32
弱智吧里精选笑话含金量真的很高，运营的官博收集的那些就比较水了
那个官博是真的弱智，上次我还看到发了个算命的广告 谁跟你说弱智吧里头有弱智？ 弱智吧的弱智笑话都是人苦思冥想出来的精华，确实比普通论坛随口说的含金量高 这下大智若愚了
—— 来自 S1Fun 弱智吧才是大智若愚
知乎本质大于弱智
—— 来自 OnePlus KB2000, Android 11上的 S1Next-鹅版 v2.5.2-play 弱智吧有大智慧 S1弱智群不行
—— 来自 vivo V2307A, Android 14上的 S1Next-鹅版 v2.5.4 schneehertz 发表于 2024-4-4 09:17
大概看了下，弱智吧的数据基本就是弱智吧问题+GPT-4的回答，其他的语料是网站上的文字+人工/LLM写的问题，i ...
你这个“再正常不过了”是怎么得出来的？训练数据跟测试数据又不在同一个领域内 weiyang 发表于 2024-4-4 05:59
这下弱智吧真没法收弱智了，话说回来研究员怎么想到去弱智吧这么个冷门论坛收集语料，怕不是有个黄牌在里面 ...
估计一作就是高强度冲浪的人，机器学习那边好像还有用坤坤训练图像识别的，据说原视频很好用 外野比的过ruoviba吗 毕竟弱智吧不收真弱智 破解弱智吧逻辑陷阱提高性能 更好奇均分垫底36.7，搞不好分数没我体温高的那个Finance是个什么强者。。。 red2077 发表于 2024-4-4 06:05
我也想看看这500个高赞帖子，不知道有没有文档
去微博的弱智吧官微搜每半年的合集就行了 弱智吧是来研究弱智的 诚司 发表于 2024-4-4 08:59
这个数据集可以在https://hf-mirror.com/datasets/m-a-p/COIG-CQIA/tree/main/ruozhiba
下载到
我看了下，是只取了弱智吧的问题，换上了自己的回答吧...
也许是因为弱智吧的内容确实要过脑才能理解，训练出脑回路的效率比四平八稳的信息类网站高许多。 弱智吧那个
岳飞北伐——暴金毙咯
风波亭——宋人投了
的段子太棒了 去年不还有个孙笑川吧ai嘛
-- 来自 有消息提醒的 Stage1官方 Android客户端
页:
[1]
2
