JLjinyongli.cn

RESEARCH / CONTINUAL LEARNING

持续学习 Idea 案例库从时间、可用信息和资源限制定义问题，同时检查旧知识保留与新知识学习。

全部案例 ↗

已有结论 → 追问原因 → 查证差异 → 最小验证
从下面一个疑问开始。展开后可查看完整推演，也可在页末选择案例载入一页纸。

写我的 Idea ↗

每个案例先列已有工作，再展开待查新、待实验的教学候选；这些推演不代表可直接发表的新方案。

CASE 01 / 稳定性 × 可塑性

遗忘很少，是记得好，还是根本没学进去？

第一步：把旧任务保持与新任务学习曲线放在同一张实验记录里。

已有工作已经做到哪里

持续学习场景研究已指出协议差异；可塑性丧失也有专门工作，包括 2026 年增长 / 弹性网络研究。单独降低遗忘量不足以证明整体更好。

[1] 2019[2] 2026
展开：原因假设、候选贡献与最小验证
01具体场景与价值
模型顺序学习多个任务，评估既要考虑保留旧知识，也要考虑学习新任务的能力；冻结主干、正则化等方法会改变两者权衡。
02观察与证据
教学假设，待观测：某方法遗忘指标很低，但后续任务训练损失下降越来越慢，或新任务最终表现不佳。
03原因假设与预测
候选原因是过强稳定约束限制了更新。预测：适当放松约束后新任务恢复学习，同时旧任务可能下降；需要观察完整权衡，而非只选一个遗忘数值。
04竞争解释
后续任务可能本来更难，学习率过小或优化器状态不适配；样本数量与标签噪声差异也会改变学习速度。
05最近相关工作与查新
查稳定性—可塑性、欠学习、可塑性丧失与冻结预训练模型基线；增长网络已是已知路径，增加模块本身需要额外差异。
06候选贡献
候选贡献待查新：提出能区分任务变难与模型学不动的诊断，并在固定容量 / 算力下改善两者权衡；不要预设所有慢学习都由神经元失活造成。
07公平比较
冻结模型、顺序微调、简单正则强度扫描；同初始化单任务训练作难度参照，清楚标注其额外训练成本与用途。
08最小验证
改变任务顺序并对调难度，固定数据量、步数和优化器策略。记录每阶段对全部已见任务的 R[t,i]，同时报告新任务学习曲线、最终性能和旧任务回退。扫描约束强度，画学习与保持的权衡；只凭单个死神经元比例不做机制结论。
09推翻或停止条件
如果把困难任务提前仍然同样难，先修正任务难度解释；如果低遗忘只是冻结造成的新任务零进步，就不能称为更有效的持续学习。
10资源与下一步
先用短任务序列和小网络建立诊断，再看长序列是否出现一致趋势；参数增长的方法另报容量随时间的曲线。

用这些词继续查新

continual learning stability plasticity underlearning frozen baselineloss of plasticity continual learning learning speed task difficulty

先对照上面的代表性工作，再找同义机制、后续论文和被引工作；检索到的空白需要人工核验。

前往一页纸，选择案例 01 ↓

CASE 02 / 记忆预算 → 样本价值

同样大小的记忆库，为什么罕见类别还是先被忘掉？

第一步：先检查缓冲区实际保存了哪些类，以及它们被回放了多少次。

已有工作已经做到哪里

经验回放和 DER 的历史 logits 匹配已是成熟起点。类别均衡或优先回放也需要查新，不能把重新分配缓冲样本当作天然的新机制。

[3] 2020[1] 2019
展开：原因假设、候选贡献与最小验证
01具体场景与价值
数据流类别频率不均，记忆容量固定。稀有类别样本少，且可能含噪声；目标是在相同资源下保留有用知识。
02观察与证据
教学假设，待观测：随机缓冲中罕见类几乎消失，或者虽然保存了它们，却很少参与回放。记录保存与抽样两套统计。
03原因假设与预测
候选原因可能分别来自“存不住”和“抽不到”。预测：固定内容只改变回放频率，和固定频率只改变内容，会产生不同的稀有类保持结果。
04竞争解释
罕见类可能标注更差、边界更难，或已经被预训练模型识别；更频繁回放也可能只是在记忆噪声。
05最近相关工作与查新
以 ER / DER 为起点，查 reservoir、类别均衡、优先回放、样本多样性与回放时机；确认是否已有相同的双因素分析。
06候选贡献
候选贡献待查新：分离覆盖与抽样频率的作用，在真实长尾或标签不可靠的约束下找出更稳健的分配原则。
07公平比较
均匀 reservoir、类别均衡存储、简单均衡抽样、DER 类方法；固定实际存储字节、回放次数、总更新步数与批大小。
08最小验证
做存储策略×抽样策略的对照，分别控制类频率和标签噪声，测试集不进缓冲也不用来选样本。按类记录学习后最好表现与当前表现、罕见类召回、总体表现和每次更新耗时。存 logits 的额外字节也计入预算。
09推翻或停止条件
若收益来自多做了梯度更新、占用更多存储，或只记住重复噪声，应撤回效率 / 机制主张；若简单类均衡同样有效，优先解释其作用边界。
10资源与下一步
在小型分类流上先分离两个因素，随后再换真实长尾流；类别 ID 不可用的任务不能偷偷使用类别均衡 oracle。

用这些词继续查新

continual learning replay buffer minority class coverage reservoirexperience replay selection frequency fixed memory bytes long tail

先对照上面的代表性工作，再找同义机制、后续论文和被引工作；检索到的空白需要人工核验。

前往一页纸，选择案例 02 ↓

CASE 03 / 协议漏洞 → 可部署问题

每个适配器都保留了，为什么真实输入还是选错专家？

第一步：分别测真实任务 ID 路由、预测路由与共享模型。

已有工作已经做到哪里

Task-IL、Domain-IL、Class-IL 的关键区别包括测试时可用信息；ASR 也有语言未知的持续适配研究。保留每个适配器并不能自动解决选择它的问题。

[1] 2019[4] 2025
展开：原因假设、候选贡献与最小验证
01具体场景与价值
多个阶段分别训练适配器，部署时没有可靠的任务 / 语言 ID，还可能遇到混合域输入；模型与路由器都需要受预算约束。
02观察与证据
教学假设，待观测：用真实任务 ID 选适配器时成绩很好，换成预测路由后明显下降，而各适配器自身能力基本保留。
03原因假设与预测
候选瓶颈在任务识别而非专家遗忘。预测：oracle 与预测路由的差距会随域重叠和切换频率变大，而固定正确专家时性能相对稳定。
04竞争解释
还可能是专家本身不适合混合输入、类别头不兼容，或路由特征随主模型更新后失效。
05最近相关工作与查新
先对齐持续学习三类场景，再检索任务未知适配器路由、开放集检测、语码转换与路由稳定性；分清域变化与类别空间增长。
06候选贡献
候选贡献待查新：揭示路由特征漂移或混合域下的失效，提出在限定存储 / 延迟下更可靠的决策；额外知道正确任务 ID 不能算方法优势。
07公平比较
真实 ID 路由作为信息充分的参照；预测 ID 路由、简单特征相似度路由、共享模型，以及预算允许的软组合。
08最小验证
逐渐增加域重叠、切换频率与未见域比例。只用当前允许的数据训练路由，分开测任务选择正确率、条件专家表现和端到端表现。语音混合输入还要定义按段或按句选择，并计入切换延迟。
09推翻或停止条件
若只在提供真实 ID 时有效，不能推广到任务未知场景；如果准确率提高靠同时运行所有专家，需重新说明推理和存储代价。
10资源与下一步
先冻结少量现有适配器，仅研究路由；记录专家数增加时的延迟、模型存储和路由器维护成本。

用这些词继续查新

task agnostic continual learning adapter routing unseen domainscontinual ASR language agnostic adapter selection code switching

先对照上面的代表性工作，再找同义机制、后续论文和被引工作；检索到的空白需要人工核验。

前往一页纸，选择案例 03 ↓

CASE 04 / 持续学习 × 模型合并 × ASR

不断合并新专家，独有知识会被平均掉吗？

第一步：明确每个时刻能看见什么，再追踪共享与任务独有能力。

已有工作已经做到哪里

MagMax 已结合顺序微调与合并；2025 年有工作发现合并中的任务专属知识退化，也有语音低秩适配与集中合并研究。因此三者结合本身已经不是空白。

[5] 2024[6] 2025[4] 2025
展开：原因假设、候选贡献与最小验证
01具体场景与价值
新语言或口音按时间到来，过去原始音频不可再访问，仅允许有限历史模型 / 统计量，最终需要一个可部署识别器。
02观察与证据
教学假设，待观测：共享常用词能力保留，但某个早期口音的专属发音或罕见词逐步退化；总体均值掩盖了这部分损失。
03原因假设与预测
候选原因是持续合并不断削弱少数任务专属更新。预测：与多任务共享特征相比，受控的专属特征更易随合并轮次丢失；适当保留其方向可能改善，但不能牺牲新任务学习。
04竞争解释
退化可能已发生在新任务微调阶段，也可能来自低秩压缩、不同基座计算增量或 tokenizer 变化。必须分开看训练前、训练后、合并后。
05最近相关工作与查新
逐项对照 MagMax、任务专属知识遗忘研究和语音 factorization / centralization；比较是否允许旧样本、历史快照增长、任务 ID、未来任务与再训练。
06候选贡献
候选贡献待查新：在严格流式、有限存储的语音设置下，解释训练与合并各自造成的损失，并验证专属知识保护的必要性；先查是否已有同类保留机制。
07公平比较
顺序微调、固定系数增量合并、同信息条件的 MagMax / 语音集中合并方法；离线合并全部专家与联合训练分开标为信息更充分的参照。
08最小验证
从三个小任务开始并更换顺序；先在人为可控的共享 / 专属线索上验证，再检查真实语音。每阶段只能用已到达数据选系数，固定参数参考坐标；分别记录微调后与合并后逐任务结果、特殊词错误、存储和新任务学习曲线。最终隐藏测试仅报告结果，不反向调参。
09推翻或停止条件
若专属知识在合并前已丢失，先研究适配而非合并；若需要未来任务调参、无限保存专家或更多秩才有效，就不满足原来的在线预算主张。
10资源与下一步
先运行三阶段、小模型、固定历史快照数量的原型。一个顺序的成功不能证明长期稳定，后续需扩展任务顺序与序列长度。

用这些词继续查新

continual model merging task specific knowledge forgetting onlinecontinual speech recognition factorization centralization adapter merging order

先对照上面的代表性工作，再找同义机制、后续论文和被引工作；检索到的空白需要人工核验。

前往一页纸，选择案例 04 ↓

EXPERIMENT CONTRACT / 先限定问题

持续学习，先把这些条件写清楚

  • 写清任务 / 域 / 类别如何变化，训练时有无任务边界，测试时有无任务 ID；明确单次流式训练还是可多轮访问当前任务。
  • 说明旧样本、历史 logits、模型快照与未来数据是否可用。无回放不等于不存历史模型。
  • 使用同一初始化与阶段预算，保留学习前后的完整评估矩阵；多种任务顺序要独立验证。

怎样避免把指标变化误当创新

  • 少遗忘可能来自少学习；一起报告新任务学习速度、最终水平和旧任务保持。
  • 缓冲区按字节 / 音频时长核算，额外模型、优化器、生成器和路由器也计入成本。
  • 联合训练和真实任务 ID 路由可作信息更充分的参照，不能伪装成同条件部署基线。
保留一张“阶段 × 任务”矩阵

R[t,i] 表示完成阶段 t 后，在固定任务 i 测试集上的表现。对于越高越好的分数，可以比较该任务过去的最好值与当前值；对于 CER / WER 等越低越好的误差，则比较当前误差与过去最低值。提前写清统计范围与符号约定，同时报告新任务是否学会。

MY NOTEBOOK / 选一个案例改写

我的持续学习 Idea 一页纸

把教学条件替换成自己的数据、模型和资源。示例会带入代表性论文与查新词，未知结果仍须保留“待验证”。

内容仅在当前页面内编辑，不会自动保存；离开前请复制或下载。示例没有完成查新，也没有实际实验结果。

谁在什么任务、约束下遇到问题？解决后谁受益？

失败样本、日志、图表或论文页码是什么？未做的实验明确写“待验证”。

因为 X，所以在条件 C 下出现 Y；改变 X 后应怎样变化？

除了你的原因，还有什么能解释现象？怎样区分？

记录题名 / DOI / 链接、具体差异、检索词与日期。未知就写待查。

相对最近工作，究竟新增了什么知识或能力？为什么值得做？

当前强基线、简单方案、相同数据 / 预算 / 环境，以及关键消融。

只检验一个关键不确定性：改变什么、固定什么、测什么、怎样留出验证数据？

什么结果会让你放弃当前解释？事前定义实际有意义的改善门槛。

可用设备、数据、时间；最先做的一项检查及时间上限。

已填写 0 / 10 项

还未填写：具体场景与价值、观察与证据、原因假设与预测、竞争解释、最近相关工作与查新、候选贡献、公平比较、最小验证、推翻或停止条件、资源与下一步。

查看导出内容与 AI 陪练提示词

PRIMARY SOURCES / 代表性来源

从论文、数据与评测继续追问

核对日期：2026-09-07。arXiv 条目按首发年，其他条目按论文出版年或所引用的评测 / 数据版本年。这里核对题名、摘要或官方说明的研究范围，未复现结果，也未完成所有候选方案的查新。预印本和评测规则需结合正文、代码及后续版本判断。

  1. [1] Three scenarios for continual learning · 2019 ↗

    区分 Task-IL、Domain-IL 与 Class-IL 等评估场景。

  2. [2] Plasticity of Growing and Elastic Neural Networks in Online Continual Learning · 2026 ↗

    2026 年预印本：研究增长和弹性网络的可塑性；结论限于所测设置。

  3. [3] Dark Experience for General Continual Learning: a Strong, Simple Baseline · 2020 ↗

    DER 结合经验回放与历史 logits 匹配，面向一般持续学习。

  4. [4] Weight Factorization and Centralization for Continual Learning in Speech Recognition · 2025 ↗

    在语码转换数据序列中研究低秩适配与知识合并；Interspeech 2025。

  5. [5] MagMax: Leveraging Model Merging for Seamless Continual Learning · 2024 ↗

    将顺序微调与按幅值选择权重更新结合，用于持续学习。

  6. [6] Forgetting of task-specific knowledge in model merging-based continual learning · 2025 ↗

    在受控视觉实验中区分合并对共享与任务专属知识的影响。