微调后的模型出现能力劣化，灾难性遗忘是怎么回事？
灾难性遗忘” 是一个非常重要且常见的现象，尤其是在对大型语言模型 (LLMs) 进行微调时。 这通常指的是模型在新的、微调任务上性能提升的同时，在原有任务或通用能力上出现显著下降，甚至完全丧失。 这种现象的核心就是灾难性遗忘 (Catastrophic For
batch
谷歌团队再次证明ScalingLaw的准确性，即使总通信量减少99%
Scaling Law 由OpenAI团队于 2020 年正式提出，并在其论文《神经语言模型的扩展定律》（Scaling Laws for Neural Language Models）中进行了详细阐述。Scaling Law 揭示了模型性能与模型规模、数据量
谷歌 scalinglaw batch 通信量 diloco 2025-03-17 20:15 2
在 Python 中处理大文件的 10 种方法：轻松处理 GB 数据！
在 Python 中处理大型文本文件可能会让人感到不知所措。当文件增长到 GB 时，尝试一次性将它们全部加载到内存中可能会导致程序崩溃。但别担心 — Python 提供了多种策略来高效处理此类文件，而不会耗尽内存或性能。
当Batch Size增大时，学习率该如何随之变化？
本文约5700字，建议阅读15分钟本文从多个视角讨论了 “Batch Size 与学习率之间的 Scaling Law” 这一经典炼丹问题。
微众银行申请区块链节点共识相关专利，提高区块链系统节点共识效率
国家知识产权局信息显示，深圳前海微众银行股份有限公司申请一项名为“区块链系统中的节点共识方法、装置、设备及介质”的专利，公开号CN 119172383 A，申请日期为2024年9月。