摘要:国家知识产权局信息显示,度小满科技(北京)有限公司申请一项名为“一种Hadoop集群与Greenplum数据库的数据交互方法和装置”的专利,公开号CN 119106077 A,申请日期为2024年8月。
金融界2024年12月12日消息,国家知识产权局信息显示,度小满科技(北京)有限公司申请一项名为“一种Hadoop集群与Greenplum数据库的数据交互方法和装置”的专利,公开号CN 119106077 A,申请日期为2024年8月。
专利摘要显示,本公开提供一种Hadoop集群与Greenplum数据库的数据交互方法和装置,其中,该方法包括:在Spark任务的提交机器上配置Presto客户端,并通过Presto客户端连接到Greenplum数据库;通过Presto客户端查询Greenplum数据库中的目标数据表的结构信息;在Hive中创建与目标数据表的表结构相同的数据表;通过Presto客户端查询目标数据表中的目标数据;将目标数据插入到在Hive中创建的数据表中;Spark任务读取在Hive中创建的数据表中插入的目标数据。通过本公开,解决了相关技术中Hadoop集群访问Greenplum数据库存在安全风险、管理复杂的问题,实现了Hadoop集群对Greenplum数据库的无权限访问,提升了Spark对Greenplum数据的访问灵活性,确保了数据安全。
本文源自金融界
来源:金融界
免责声明:本站系转载,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与本站联系,我们将在第一时间删除内容!