摘要：金融界 2025 年 1 月 8 日消息，国家知识产权局信息显示，国网江西省电力有限公司信息通信分公司申请一项名为“一种日志异常检测语言模型自监督训练中混合掩码方法”的专利，公开号 CN 119248618 A，申请日期为 2024 年 12 月。

金融界 2025 年 1 月 8 日消息，国家知识产权局信息显示，国网江西省电力有限公司信息通信分公司申请一项名为“一种日志异常检测语言模型自监督训练中混合掩码方法”的专利，公开号 CN 119248618 A，申请日期为 2024 年 12 月。

专利摘要显示，本发明属于日志异常检测技术领域，公开了一种日志异常检测语言模型自监督训练中混合掩码方法，解析日志数据库形成日志模板库，提取常量单词子序列库和变量单词子序列库；将常量和变量中的长单词拆解，更新常量单词子序列库和变量单词子序列库，构建日志单词库；采用词组词频的方式分析出单词子序列中的高频词组；基于单词、高频词组与子序列对日志文本混合掩码，得到掩码后的单词序列；基于掩码后的单词序列构建 Transformer 编码器的输入，在 Transformer 编码器中采用分组查询注意力机制，通过预测被掩盖单词进行 BERT 模型自监督训练。本发明可更好地训练 BERT 模型对词组和子序列的理解能力。

天眼查资料显示，国网江西省电力有限公司信息通信分公司，成立于2009年，位于南昌市，是一家以从事电力、热力生产和供应业为主的企业。企业注册资本None。通过天眼查大数据分析，国网江西省电力有限公司信息通信分公司参与招投标项目201次，专利信息418条，此外企业还拥有行政许可8个。

来源：金融界