摘要：国家知识产权局信息显示，中电信数智科技有限公司申请一项名为“基于TinyBERT的知识蒸馏方法”的专利，公开号CN 119783764 A，申请日期为2024年12月。

金融界2025年4月10日消息，国家知识产权局信息显示，中电信数智科技有限公司申请一项名为“基于TinyBERT的知识蒸馏方法”的专利，公开号CN 119783764 A，申请日期为2024年12月。

专利摘要显示，本发明公开了一种基于TinyBERT的知识蒸馏方法，包括如下步骤：S1、采用BERT作为教师模型，TinyBERT作为学生模型，进行蒸馏；S2、定义蒸馏损失函数，更新学生注意力层；S3、优化层级映射，结合注意力权重生成优化输出；S4、数据增强与伪目标生成，提升泛化能力；S5、动态权重调整，优化损失权重比例；本发明通过优化知识蒸馏技术，将大型模型的知识高效传递到小型学生模型，实现了模型的轻量化、高性能和广泛适用性。

天眼查资料显示，中电信数智科技有限公司，成立于2001年，位于北京市，是一家以从事电信、广播电视和卫星传输服务为主的企业。企业注册资本300000万人民币，实缴资本300000万人民币。通过天眼查大数据分析，中电信数智科技有限公司共对外投资了16家企业，参与招投标项目5000次，财产线索方面有商标信息28条，专利信息910条，此外企业还拥有行政许可28个。

来源：金融界