南湖研究院等申请单机环境下基于NCCL的小规模数据高效广播通信方法专利,优化NCCL单机多卡环境下数据广播通信性能

B站影视 欧美电影 2025-06-11 13:12 1

摘要:国家知识产权局信息显示,中国电子科技南湖研究院、中国电力科学研究院有限公司、国家电网上海有限公司申请一项名为“单机环境下基于NCCL的小规模数据高效广播通信方法”的专利,公开号CN120123114A,申请日期为2025年01月。

金融界2025年6月11日消息,国家知识产权局信息显示,中国电子科技南湖研究院、中国电力科学研究院有限公司、国家电网上海有限公司申请一项名为“单机环境下基于NCCL的小规模数据高效广播通信方法”的专利,公开号CN120123114A,申请日期为2025年01月。

专利摘要显示,本发明公开了一种单机环境下基于NCCL的小规模数据高效广播通信方法。本发明利用Linux的共享内存机制和CUDA的IPC技术,实现了一个高效单机小规模数据广播通信的方案。本发明创建了一个共享内存区域,用于存储IPC句柄和通知标志,实现不同进程间的GPU内存共享,并对广播操作进行了优化;通过轮询机制和通知机制,实现了高效的并发控制;根据数据大小自动选择优化后的通信方法或原始NCCL方法,以实现最佳性能平衡。本发明通过减少CUDA函数调用次数和采用单次跨GPU拷贝操作,优化了NCCL单机多卡环境下数据广播通信性能,对于提升分布式深度学习训练的性能具有重要意义。

来源:金融界

相关推荐