2024年度盘点:主流数据库、大数据技术栈的升级亮点与走向(下)

B站影视 2025-01-21 10:16 3

摘要:新增重载函数,优化DBMS_JOB包相关函数、运算符函数,日期时间函数,改进管道函数、聚合函数等。

达梦数据库更新DM8.1版本

一、2024下半年重大更新总结

2024下半年,达梦数据库主要更新了DM8.1版本,其中值得关注的新特性和新改进有:

1、外部函数优化。

2、备份功能优化。

3、Oracle兼容性增强。

4、新增重载函数,优化DBMS_JOB包相关函数、运算符函数,日期时间函数,改进管道函数、聚合函数等。

5、物化视图及系统视图等功能改进。

6、DBLINK相关功能改进。

7、dexp导出和dimp导入相关功能优化。

8、优化改进重建系统包相关功能及其他系统包的方法功能改进。

9、DSC集群并发插入性能、自治事务功能及内存控制功能等提升优化。

10、DPC环境下自治事务相关功能、分区表相关功能及非分布列并发查询性能等优化提升。

11、SQL语句执行性能提升/功能改进。

二、2025年展望

1、对ST函数执行效率进行优化,简化ST函数,提高ST函数执行效率,缩短函数执行所需时间,性能提升至少10%以上。

2、支持局部临时表的使用方式,包括创建、增删改查等。

3、兼容Oracle本地绑定变量,在disql上实现本地绑定变量的功能。

4、对备份还原进行优化改造并完善监控功能,预期能够较大幅度提升部分场景下的性能以及改善用户的使用体验。

5、对PROC*C进行增强,支持对OBEJCT类型创建、删除、插入数据。

GoldenDB 2024下半年技术创新汇总

1、引入列存引擎,实现实时分析能力:引入列存后,表支持行存、列存和行列混存等多种存储方式,以便灵活适应事务型和分析型工作负载,可根据查询类型(事务型查询或分析型查询)自动路由至合适引擎,提高HTAP场景数据处理性能。列存采用MPP架构,查询性能出色,能实现秒级查询返回,可实时处理数据,数据更新秒级生效。列存采用分布式架构可线性扩展,通过多副本存储和一致性协议保障高可用性与数据可靠性。

2、容器化部署高阶功能支持:增强对容器化部署的支持,包括支持Operator和部署流程的界面化操作,提供更加灵活的弹性扩缩容方案以满足动态业务需求。

3、异构部署支持:支持服务器与操作系统的异构部署(包括异构芯片架构的兼容部署)。增强对不同部署环境(物理机、云环境)的一致性支持。

4、Oracle兼容性持续改进:新增对更多Oracle SQL语法和对象功能的支持,包括兼容Oracle批量插入行为、物化视图、分区全局索引、DBLINK、闪回操作、绑定执行计划和子分区模板等功能,进一步提升对Oracle应用迁移的支持能力。

5、支持JSON、XML、GIS等多模特性:GoldenDB支持对GIS、XML、JSON等提供了丰富的数据类型、函数、索引和存储等高效数据处理服务。

6、新增SQL并行与智能优化功能,提升SQL处理效率:并行能力全面增强,支持SQL并行查询、并行更新、并行加索引和直方图并行等,优化多用户高并发场景性能。支持SQL智能优化,包括优化器改进、SQL自动改写。小表驱动大表优化,增强查询性能,特别在多表关联和聚合分析场景中表现更优。

7、新增表存储压缩功能:支持分区行压缩,降低数据膨胀率。支持冷热数据分离存储,支持对Decimal数据类型采用变长存储模式,节省存储空间。

8、实现更灵活的备份与恢复功能:支持对指定库、表的备份与恢复。新增备份恢复限流功能,进一步提升系统资源利用率。引入数据库克隆功能,加速数据恢复与部署流程。

9、SQL级监控与治理:全面支持SQLID监控,提供慢SQL、TOP SQL、新SQL、可疑SQL的实时统计与分析功能。实现SQL限流和查杀功能,包括支持按SQL规则动态限流或查杀。在线诊断与调优功能:支持基于在线会话的SQL诊断和执行计划绑定。

10、系统工具包与统计功能:新增系统包方法改进,包括增强统计信息收集性能,优化存储过程及系统函数性能,为大规模业务场景提供更加稳定高效的支持。

KingbaseES发布V9R1C2B0014、V9R3C010(MySQL兼容版)及V9R4C010(SQLServer兼容版)等版本

一、2024下半年重大更新总结

2024下半年,金仓数据库管理系统KingbaseES发布面向全市场的V9R1C2B0014版本,其中值得关注的功能有:

1、应用迁移与开发:完善迁移方案,支持无源码Oracle应用的迁移验证方案。对异构数据库语法兼容能力显著提升,在迁移时大幅减少应用代码修改量。新增兼容多种语法、函数、视图及语句。

2、性能:增强逻辑优化,改进基数估计逻辑。推出SQL调优工具,优化自治事务、DML执行等性能。大规模分区表并发访问性能提升10倍,TPCH场景与DML语句性能均提升20%。

3、可用性:支持多种备份与恢复功能,具备存储容错及坏块检测能力。强化在线重定义、两地三中心方案及TAC透明应用切换能力,大幅缩短RTO。

4、横向扩展:提升RAC负载均衡性能,新增单活模式。

5、安全防护:增强多租户资源管理,新增防篡改与SQL防护墙功能。

6、软件包及环境适应性:新增DBCA数据库配置工具、rpm、deb等安装包形态及UKEY、LAC等授权机制。

此外,还推出细分市场版本V9R3C010(MySQL兼容版)及V9R4C010(SQLServer兼容版),该版本具备高度的MySQL/SQLServer兼容性。

二、2025年展望

以“五个一体化融合架构”为核心,不断增强产品能力和适应性,最终达成产品终极目标:

1、应用迁移及开发:应用迁移:“0”停机数据迁移,“0”修改应用代码迁移;应用开发:SDK功能丰富,开发工具易用,开发过程高效。

2、性能:全场景、主要目标平台性能指标最优。

3、可用性:无论发生计划外、计划内停机时可以做到RTO=0(业务连续不中断),RPO=0(数据0丢失)。

4、横向扩展:支持本地、跨地理位置扩展;实现近线性的性能加速;不增加开发、管理成本;支持独立扩展瓶颈资源。

5、安全防护:有效应对各种攻击;零安全漏洞;对生产性能影响低。

6、软件包及环境适应性:全部署架构、全运行环境,全使用过程可用、易用。

7、可服务性:用户自服务化,系统自治。

SequoiaDB发布5.8版本更新

2024下半年,巨杉数据库发布了v5.8版本更新,主要更新内容如下:

1、新功能:实现通信压缩;创建集合支持指定多个数据组;支持克隆创建集合和集合空间。

2、稳定性优化:优化缓存管理,降低内存占用;优化索引创建机制,不阻塞外部写入;优化容错熔断机制,增强自适应调整能力。

3、运维监控优化:慢查询新增十余项监控指标;健康快照新增节点切主信息;优化查询快照和事务快照性能。

4、性能优化:优化数据库节点启动/停止、切分、数据校验性能;优化索引统计信息子表采样率;增加统计信息缓存,提升优化器性能。

5、管理工具优化:SAC监控管理工具新增用户角色权限管理、审计日志、服务器管理、自身元数据备份和恢复、集群日志错误码搜索等特性。优化了集群性能、CPU性能等统计指标。

ActionDB列存版及发行版生态工具发布

一、2024下半年重大更新总结

2024下半年,爱可生发布了ActionDB列存版本,并发布了系列工具产品如下:

发行版传输工具:ActionOCP发行版迁移工具:ActionOMS发行版开发者工具:ActionODB新增容器部署方式:ActionDB Docker

二、2025年展望

爱可生云树DMP完成对ActionDB及OceanBase的支持。

崖山发布YashanDB V23.3版本、数据库一体机、云服务产品

一、2024下半年重大更新总结

2024下半年,崖山团队主要发布了YashanDB V23.3版本、崖山数据库一体机和数据库云服务产品。

YashanDB V23.3新特性:

兼容性:Oracle兼容性由90%提升至99%,新增MySQL兼容性形态。性能:算子性能增强;共享集群性能提升,4节点集群的TPCC达到520万tpmC。可用性:支持逻辑备库、主备共享集群,推出基于共享集群的两地三中心方案。安全性:实现表级、列级加密,实现行级访问控制,实现数据动态脱敏,全面支持国密算法。迁移相关:新增增量迁移组件,实现异构数据实时增量同步。运维相关:新增支持管控YashanDB共享集群,增强数据库审计及监控可视化能力。

此外,YashanDB联合国内头部软硬件厂商推出数据库一体机,提供软硬一体化方案;云服务则帮助用户解决云上运维、选型、多云切换及分散系统建设难题。

二、2025年展望

下一步,YashanDB将围绕多租户、软硬协同、应对未来数据挑战三大目标继续优化:

1、多租户方面:持续完善资源共享与隔离方案解决企业成本和业务发展需求,降低企业数据库运维成本,提供弹性扩展能力。

2、软硬协同方面:通过对硬件的深度整合,进一步挖掘网络、内存等硬件资源效能,继续提升数据库系统性能。

3、面向未来数据挑战:YashanDB计划通过多机并行计算技术,进一步提升超大集群的扩展能力,在保持联机交易低延时,高并行的基础上,同时提供海量数据分析能力,解决客户多样化的数据使用需求。

云数据库

阿里云2024下半年数据库产品更新汇总

一、云原生数据库PolarDB

1、PolarDB MySQL版

新增容灾演练功能。PolarStore推出弹性内存池(EMP)功能。Serverless集群支持接入列存索引(IMCI)功能。新增通过弹性并行查询(ePQ)技术来实现冷数据并行查询的方法。新增Orca(兼容Redis协议)功能。提供无感数据集成(Zero-ETL)功能。

2、PolarDB PostgreSQL版

标准版正式上线国际站。新增SQL限流功能,避免异常流量的SQL语句造成业务影响。新增图数据库,高度兼容Apache AGE的图引擎。发布安全可靠、兼容PostgreSQL的PolarDB V2.0方案。

3、PolarDB分布式版

新增全球数据库网络(GDN)功能。新增冷数据行级归档功能。开源发布2.4.1版本,增强企业级运维能力。发布安全可靠、兼容MySQL的PolarDB分布式版V2.0方案。

二、云原生数据仓库AnalyticDB

兼具数据湖的扩展性和数据库的易用性,支持灵活、多维度的数据分析。通过自研在线分析MPP引擎和Native执行引擎,AnalyticDB性能可提升50%。基于实例的CPU/内存负载、查询排队、查询并发数等指标,自动进行cluster弹性伸缩,可将弹性时间降至20秒。集成离线处理Spark引擎,通过Native执行引擎+OSS数据缓存,对比开源版本,AnalyticDB性能提升7倍。

三、云原生多模数据库Lindorm

面向AI和车联网等创新应用开发场景,Lindorm内置AI推理服务,可加载业务所需的模型处理数据,并提供统一的表视图和SQL访问接口,一体化实现数据查询、融合检索、离线分析、交互分析等功能。

百度智能云2024下半年数据库产品更新汇总

一、云数据库RDS

RDS控制台页面全新升级,DMS升级为DBSC(数据库智能驾驶舱),支持可视化查看实例拓扑结构,提供更加流畅的控制台体验。MySQL支持跨地域备份,可用于监管或容灾恢复等场景。PG支持插件管理,满足用户对插件的筛选、安装、卸载等需求。RDS支持智能问答助手「智能领航员」,为客户常见问题答疑解惑。

二、云原生数据库GAIaDB

内核发布新版本:支持列存索引、闪回查询、高权限账号等功能。产品规格:上线通用型规格,单节点月花销最低为10元,发布GSL4型磁盘,单GB成本大幅下降。产品功能:重点页面体验升级,升级数据库工具,支持可视化查看实例拓扑结构,连接检查查询,支持智能问答助手「智能领航员」。

三、云数据库Redis

Redis内存型、容量型:支持迁移可用区。Redis容量型(PegaDB):内核引擎兼容Redis 7.0版本数据类型。Redis容量型(PegaDB):支持数据快速灌库,相比传统标准协议,数据导入速度提升5~10倍。Redis容量型(PegaDB):支持异地多活实例组,实现跨地域数据高性能读写。解决了业务因跨地域、远距离访问导致访问延迟大的问题。Redis容量型(PegaDB):新增数据备份功能,满足各类场景下对数据备份与恢复的需求。

四、云数据库MongoDB

产品功能升级:支持创建实例配置自动备份,云磁盘最大支持10TB。

五、向量数据库VectorDB

内核新版本发布v1.3升级至v2.2,支持RBAC,HNSWPQ索引,batch Search,向量索引的auto build等。安全提升:支持TLS加密,支持TDE加密。产品功能:支持回收站。生态层面实现多项发布与对接,支持VectorDB CLI和AI Search等。

六、数据库智能驾驶舱DBSC

诊断优化支持GaiaDB、Redis、PegaDB。数据开发上线,支持MySQL、GaiaDB、PostgreQL、Redis 可视化SQL开发,提供数据生成、敏感数据脱敏等能力。

七、数据传输服务

新增MongoDB 5.0数据源支持。

京东云2024下半年数据库产品更新汇总

一、分布式数据库TiDB

1、新增实例参数管理和参数模板管理,提升实例参数管理效率。

2、新增多账号管理及细粒度权限分配,完善账号管理能力。

3、新增数据库管理能力。

4、新增TiDB 7.5版本。

5、新增多可用区部署能力。

二、云数据库PostgreSQL

1、PostgreSQL9.6、PostgreSQL10版本支持跨大版本升级,实现一键自助升级能力。

2、新增实例迁移可用区功能,提供一键可用区调整能力。

3、新增实例主备切换日志。

三、云数据库MySQL

1、新增MySQL 5.6版本小版本升级。

2、新增实例迁移可用区功能,提供一键可用区调整能力。

3、通过云盘重挂载提升MySQL实例云盘变配效率。

4、新增实例白名单分组功能。

四、云数据库MongoDB

1、MongoDB实例接入SmartDBA提供性能分析和慢SQL分析能力。

2、新增实例白名单分组功能。

3、通过云盘重挂载提升MongoDB实例云盘变配效率。

五、分析型云数据库ClickHouse

新增ClickHouse 24.3和ClickHouse 24.8版本。

六、云原生数仓Starwift

新增节点组功能,隔离不同租户的资源使用,提升系统的并发能力和稳定性。

七、数据库自治服务SmartDBA

新增MySQL秒级性能监控,提升数据库性能优化和稳定性保障能力。

2024上半年Newsletter回顾&下载

推出dbaplus Newsletter的想法

dbaplus Newsletter旨在向广大技术爱好者提供数据库行业的最新技术发展趋势,为社区的技术发展提供一个统一的发声平台。为此,我们策划了RDBMS、NoSQL、NewSQL、时序数据库、大数据生态圈、国产数据库、云数据库等几个版块。

我们不以商业宣传为目的,不接受商业广告宣传,严格审查信息源的可信度和准确性,力争为大家提供一个纯净的技术学习环境,欢迎监督指正。

下期Newsletter计划时间是2025年6月16日~6月25日,如果有相关的信息提供请发送至邮箱:newsletter@dbaplus.cn

感谢名单

最后要感谢那些提供宝贵信息和建议的专家朋友,排名不分先后:

欢迎提供Newsletter信息,发送至邮箱:newsletter@dbaplus.cn欢迎技术文章投稿,发送至邮箱:editor@dbaplus.cn

https://pan.baidu.com/s/1oXaKIt-WM_tz_l1sjxdQoA?pwd=2412#list/path=/

来源:dbaplus社群

相关推荐