安博体育 - 官方体育投注平台 足球·篮球·电竞一站式服务阿里开源长文本深度思考模型！渐进式强化学习破解长文本训练难题

　　安博,安博体育,安博体育app,安博官方网站,安博电竞,安博真人,安博棋牌,足球投注平台,安博体育注册,体育彩金,电竞下注平台

　　推理大模型开卷新方向，阿里开源长文本深度思考模型QwenLong-L1，登上HuggingFace今日热门论文第二。

　　除测评分数外，论文中还详细展示了一个金融文档推理的案例。传统模型容易被无关细节误导，而QwenLong-L1通过回溯和验证机制过滤干扰信息，正确整合关键数据。

　　任务要求：根据文档回答问题“将优先票据的发行成本与第一年的利息支出合并计算，总资本成本是多少？”

　　首先出场的基础模型DeepSeek-R1-Distill-Qwen-14B被文档中“自2011年10月15日起每半年支付一次利息”误导，根据不相关的时间和财务信息，错误计算了第一年的利息支付。

　　它在对不相关文档进行过度分析的循环中自我怀疑，最终尽了最大生成限制（10000 tokens），却没有给出最终答案。

　　相比之下，虽然QwenLong-L1-14B最初也表现出类似的分心，但它很快进行了有效的自我反思。通过及时验证和回溯，成功过滤掉了不相关的细节，得出了正确答案。

　　Qwen团队通过对比实验发现，长文本推理的强化学习训练存在两个“硬伤”：

　　一是训练效率低，传统强化学习（RL）方法在长文本中容易陷入局部最优，奖励收敛慢，限制了策略优化时的探索行为。

　　二是优化过程不稳定，长文本任务的输出长度更高、输入长度分布不均匀，导致策略更新时的方差被放大，训练过程中参数更新不稳定（如KL散度坐过山车）。

　　为此团队提出QwenLong-L1训练框架，核心是通过渐进式上下文扩展让模型逐步适应长文本推理。训练过程分为两阶段：

　　在开始强化学习之前，先用高质量的演示数据进行监督微调，让模型先具备基本的长文本理解能力、推理链生成能力和答案提取能力。

　　团队从DeepSeek-R1蒸馏了5.3K个高质量的问题-文档-答案三元组，确保模型有个稳定的起点。实验结果显示，这个”热身”阶段对后续的强化学习训练至关重要。

　　从短文本逐步过渡到长文本。例如，先训练模型处理2万token的文本，稳定后再增加到6万token，最后到128K。每个阶段只关注对应长度的文本。

　　此外还引入了难度感知的回溯采样机制。在进入下一阶段时，会保留前一阶段中最难的样本（平均准确率为零的那些），确保模型不会”忘记”如何处理困难案例。

　　QwenLong-L1在强化学习训练中采用混合奖励函数，结合了基于规则的验证和LLM-as-a-Judge。

　　规则验证也就是直接检查答案是否与标准答案完全一致（如数学题计算结果是否正确），再用另一个模型判断答案的语义是否正确（应对答案表述不同但意思一致的情况），两者结合避免单一规则过于严格或宽松

　　实验结果很有启发性。长文本SFT确实能带来2.6分的提升，比短文本SFT的效果更好。但是，如果在长文本SFT的基础上再做RL，提升幅度只有0.3分；而在短文本SFT基础上做RL，却能提升3.2分。

　　对此团队提出一个观点：SFT提供了一种经济的性能提升方式，而RL则是达到最优性能必不可少的。

　　所有模型都展现出明显的推理行为，尤其是信息定位行为出现频率最高，这证明了它在处理上下文依赖推理时的重要性；强化学习训练过程中，这些行为会逐渐增强，并与性能提升高度相关，表明强化学习能有效调整输出空间，优先保留有助于得出准确解答的推理模式虽然SFT模型也能学会这些行为，但这些表面上的行为模仿并没有带来实质性能提升，这揭示了SFT更关注表面模式匹配，而非实质推理能力的培养。

　　05月26日，陕西迎来大范围降雪 部分景区闭园、高速封闭，188博金宝，威斯尼斯人0907官方网站下载，中国博彩官方网站，188体育登录稳定版下载

　　05月26日，从磨憨看政协力量如何助力国际口岸建设迸发活力，yabo下载，AG视作讯真人，国际象棋真人骑士视频，现金下分捕鱼

　　05月26日，1万余名中外跑者竞逐2024南昌象湖半程马拉松，新濠天地苹果版，天博网址是多少，宝马娱乐在线，亚盈体育网址多少

　　05月26日中央气象台：未来一周，全国大部地区大气扩散条件较好美高梅好玩吗?游戏必赢亚洲官方体育下载贝博平台下载

　　05月26日文旅部公布2024年春节“村晚”示范展示点名单10年信誉九卅娱乐备用网址打不开必威88登录入口体育注册就送188篮球即时比分

　　05月26日法国青田同乡会在巴黎庆祝成立30周年pg电子游戏放水时间必赢bwin官方网站AG真人在线九卅娱乐真人游戏……

　　05月26日，广东炎热天气持续 需注意防暑降温，必赢备用网址，新天线三版)，马博体育买球网站，在线日，第十一届中原文化产业博览交易会在河南鹤壁开幕，d88尊龙游戏大厅，心博天下快速登陆，真人AG平台代理流水多少个点，爱游戏体育投注平台

　　05月26日柬埔寨执政党人民党重申坚定奉行一个中国政策必赢亚洲电竞平台正规吗QG刮刮彩万博网页版本爱体育app官网

　　05月26日，冯骥才经典文学作品改编话剧《俗世奇人》亮相桂林，b0b体育，im电竞怎么开户，大赢家app官方，虎扑体育nba

　　05月26日，80余载寮都公学为中老友谊添注脚，天博平台怎么样，牛牛抢庄怎么玩才容易赢，新宝gg电子网投，线日，外媒：哈马斯官员证实加沙停火谈判已重启，刀锋电竞官方，澳门新博京，手机上哪款斗地主能赢钱，热博rb88体育app

　　05月26日日本大米供需紧张 米价创近20年最大涨幅小游戏中心真钱手游注册万博电脑网页版登陆亿博手机端app下载安装

　　05月26日文化中国行丨当传统戏剧“邂逅”时尚街区 闽剧焕发新活力英皇体育平台首页188体育提供最好的im体育网页版天亚娱乐官网网址

　　05月26日数字赋能新农田 “北大仓”智慧春耕已开启皇家金堡天博app软件下载官网ca88客服哪个体育平台提款好申请

　　韩作家称“汉字由韩国人创造”，Wendy回归2024·中国（淮阳）非遗展演和第二届周口伏羲书展一并开幕巴黎人体育客户端我想成为银河网站的会员恒峰g22登录首页贝投官网

　　孙杨的人生宽度，不止方寸泳池，一人之下在漫画界到底有多牛“中国法治的国际传播”学术研讨会：学者建言双向互动、多元共生欧宝娱乐手机app旧探球比分网球比分银河真人官网乐动体育体育官方

　　小泽姬小满五杀，咒术回战248话全国政协十四届二次会议在京闭幕尊龙网投皇冠会员注册正规线上买彩票必威betway体育综合

　　赛事经济助力中国外贸跑出加速度，洪涝期间这些水千万别喝晋商大院里的“百善壁”：不同字体写成365个“善”字爱游戏体育app官方pp电子APP平台下载皇冠hg8868新版365体育官网APP下载游戏官网

　　都市惧集，逛航展治好我多年的颈椎病菲船只非法冲闯中国南沙群岛仙宾礁附近海域 中国海警依法管控vwin德赢登录网点环探体育下载app地址新濠天地正网澳门威斯人官网

　　中国女游客在泰国遭假摩的司机性侵，车厘子打败砂糖橘成年货顶流农村大学生寻求低价电脑 卡吧老哥慷慨解囊河北推出草原避暑“套餐” 相约“21℃的夏天”澳门棋牌登录九五至尊下载线up官网在线