dbaplus社群 01月21日
2024年度盘点：主流数据库、大数据技术栈的升级亮点与发展走向
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文涵盖2024下半年数据库行业态势，包括国产数据库发展、技术创新突破等，同时汇总20多款国内外数据产品的版本更新情况。

📄国产数据库发展渐入佳境，技术层面如AI与数据库融合等有所突破，产品层面注重性能、兼容性等方面的提升。

💻主流数据库如Oracle、MySQL、SQL Server等发布新版本，带来多项功能更新和性能优化。

🌐在国际市场上，国内企业出海发展相对较慢，需积极应对全球化竞争。

📊DB-Engines数据库排行榜依据多种因素排名，数据仅供参考。

原创 Newsletter 2025-01-21 07:16 广东

半年度行业态势分析，及20多款国内外数据产品的版本更新汇总。



2024下半年行业回顾



数据库技术创新多维度突破

国产势头强劲抢占市场



2024年下半年，数据库行业呈现加速发展态势。随着近些年来的积累，国产数据库发展渐入佳境，步入深水区，在更广泛、更核心的场景投产使用。同时伴随着如国测名单的发布，数据库行业加速洗牌，若干头部厂商呼之欲出。


在技术层面上，AI与数据库融合、多模态数据支持、存算分离与湖仓一体等创新方向有所突破；在产品层面上，性能、兼容性、安全等方面成为各厂商产品发展的重点，具体如下：



而在市场方面，国内数据库厂商竞争日益激烈。从国内某第三方平台的排名可见，头部厂商的更迭频繁，排名变化速度加快；但从市场发展来看，隐隐出现头部集中的现象，特别是伴随着国测等指导性文件的出台，更是加速了这一趋势。已上牌桌的厂商开始快速扩大占有规模，未上牌桌的厂商也在努力争取。新兴厂商较少，一批中小规模的企业正面临一定的生存压力。在国际市场上，国内企业出海发展相对较慢，仅有少数厂商开始海外布局，尚没有出现在海外具有一定知名度和影响力的国产数据库品牌。国内企业还需根据自身情况，考虑合适的时机出海，积极应对全球化竞争。




数据库产品半年度盘点



主流数据库的版本升级与更新亮点



dbaplus社群携手一众数据库行业专家，汇总、梳理并提炼出主流数据库近半年的版本更迭、性能优化、功能提升等关键信息，希望对大家了解数据库发展趋势，以及数据库选型工作有所帮助和启发。


本期要点

DB-Engines数据库排行榜

一、RDBMS

二、大数据生态圈

三、国产数据库

四、云数据库

2024上半年Newsletter回顾&下载

推出dbaplus Newsletter的想法

感谢名单


为方便阅读、重点呈现，本文对各板块内容进行了精简，需阅读完整版可点击文末【阅读原文】或登录以下链接进行下载：


https://pan.baidu.com/s/1oXaKIt-WM_tz_l1sjxdQoA?pwd=2412（提取码：2412）


DB-Engines数据库排行榜


以下取自2024年12月的数据，具体信息可以参考http://db-engines.com/en/ranking/，数据仅供参考。



DB-Engines排名的数据依据5个不同的因素：


RDBMS



Oracle发布以AI为中心的企业开发架构


1、Oracle推出了以AI为中心的企业应用开发架构，旨在解决传统开发中的复杂性和可维护性问题，帮助客户实现企业应用更灵活、更契合，开发维护更低成本的需求。创新的JSON关系二元性，继承JSON结构开发的灵活和简单又保证了数据的一致性、扩展性，大大提升了应用开发效率。


通过融合数据库，打破了AI数据格式枷锁的束缚，信息无边界，让跨系统开发更简单，AI应用更准确。同时，AI for Data让开发更加关注应用逻辑，而不需要加入大量数据维护和安全代码，让创新随需而行。


此外，Oracle的APEX低代码开发平台为企业提供了AI助手蓝图，可以零代码或低代码快速构建和扩展企业应用的能力，保证了企业应用的可校验和模块化输出。


2、Oracle Database 23ai现已可用于本地Exadata数据库一体机和ODA，同时通过了《信息安全技术网络安全等级保护基本要求》第四级安全计算环境 (数据库) 部分和《信息安全技术信息安全风险评估方法》的要求。


3、Oracle Zero Data Loss Recovery Appliance (ZDLRA) RA23经安全检测符合GB 42250-2022《信息安全技术网络安全专用产品安全技术要求》和数据备份与恢复产品相关规范要求。



MySQL 2024下半年重大更新及技术要点分析


2024下半年，MySQL 8.0主要发布了两个版本，包括8.0.39和8.0.40，长期稳定版本发布了8.4.2和8.4.3，这些版本主要是bug修复，基本上没有发布新功能，而创新版发布了9.0.1和9.1.0，在JavaScript支持、新数据类型、性能优化以及企业版功能等方面有重大创新。特别是JavaScript存储程序和VECTOR数据类型的引入，为应用开发提供了新的可能性。以下是对这些更新的简要介绍：


一、MySQL 8.0和8.4版本的主要更新


1、主要改进


2、复制增强


3、Group Replication改进


4、其它增强


二、MySQL 9创新版本的主要更新


1、主要改进


2、JavaScript存储程序


3、向量(VECTOR)数据类型


4、新增组件


5、功能移除和弃用



SQL Server发布2025版本，及2022版本新特性汇总


一、SQL Server 2025 CTP 1重大更新


2024年11月，微软发布了全新SQL Server 2025 CTP 1技术预览版，带来了多项重大更新，具体如下：


1、内置AI功能和AI服务调用：SQL Server 2025集成了先进的AI能力，支持向量搜索和RAG（检索增强生成）模式。新增的向量数据类型和DiskANN高级索引技术，显著提升了数据存储与查询效率。开发者可以通过T-SQL轻松实现混合AI向量搜索，还可以直接调用ChatGPT等AI服务，简化AI应用开发流程。


2、Microsoft Fabric与Azure Arc集成：新版本深度集成了Microsoft Fabric和Azure Arc，实现了数据仓库与OLTP数据源的近实时复制。通过Fabric镜像，用户可将SQL Server数据实时复制到Microsoft OneLake，支持近实时分析。同时，Azure Arc的集成使SQL Server能够在混合环境中灵活部署，兼顾本地与云端的优势。


3、现代化开发工具和开发特性支持：在T-SQL中引入了正则表达式功能，增强数据处理与查询的灵活性，提升开发效率。同时在SSMS数据库管理工具中引入了微软Copilots辅助工具帮助用户智能编写SQL代码，提升了用户开发体验和生产力。


4、Azure SQL DB功能下沉：将Azure SQL DB的多项预览版功能引入本地SQL Server，如优化的查询执行计划和持久化统计信息，确保高性能和安全性，同时支持混合云部署。


5、强化安全性与性能：SQL Server 2025在安全性和性能方面进行了全面升级，支持Microsoft Entra托管身份，提升了凭证管理和合规性。


二、SQL Server 2022 (16.x)版本主要新特性


1、分析功能增强


2、高可用性提升


3、安全性增强


4、性能优化


5、查询存储与智能查询处理


6、管理工具和平台支持


7、新的语言功能



PostgreSQL发布17.2新版本，更新16.6、15.10、14.15、13.18和12.22最终版本


2024年下半年，PostgreSQL主要发布了17.2新版本，更新了16.6、15.10、14.15、13.18和12.22最终版本，其中值得关注的新特性有：


1、系统性能提升：优化了vacuum进程，引入新内存结构，最多可减少20倍内存占用，提高vacuum速度；改进I/O层性能，高并发工作负载下写入吞吐量可能提高至2倍；优化使用B树索引的IN子句查询性能，支持BRIN索引并行构建等。


2、开发者体验增强：增加SQL/JSON标准实施，如JSON_TABLE函数等，提供更多与JSON数据交互方式；MERGE命令新增RETURNING子句和更新视图等功能；批量加载和数据导出性能提升，COPY命令新增ON_ERROR选项。


3、逻辑复制增强：简化升级过程，无需删除逻辑复制槽；引入故障转移控制，新增pg_createsubscriber命令行工具。


4、安全性和操作管理改进：新增TLS选项sslnegotiation，增加pg_maintain预定义角色；pg_basebackup支持增量备份，pg_dump新增--filter选项；EXPLAIN新增SERIALIZE和MEMORY选项，可报告垃圾回收索引进度，新增pg_wait_events系统视图。


5、其它更新：提供更安全的异步查询取消方法，内置排序规则程序，改进事件触发器、libpq API等功能。



MariaDB 2024下半年重大更新及技术要点分析


MariaDB 11.4是最新的长期支持版本（LTS），该分支将一直支持到2029年5月29日。MariaDB在2024下半年关键新特性包括：


一、从Oracle轻松迁移至MariaDB


MariaDB提供了一个创新的Oracle兼容模式，只需简单配置即可实现近乎无缝的迁移。具体而言，通过设置SQL模式为Oracle模式：

SET sql_mode='ORACLE';


在启用Oracle兼容模式后(SET sql_mode='ORACLE')，以下Oracle原生的表结构定义可以在MariaDB中直接执行：

MariaDB [test]> set sql_mode='Oracle';Query OK, 0 rows affected (0.000 sec)

MariaDB [test]> CREATE TABLE customers (    ->     "CUST_NUM" NUMBER(6,0),    ->     "FIRST_NAME" VARCHAR2(30),    ->     "LAST_NAME" VARCHAR2(30),    ->     "ADDRESS" VARCHAR2(120)    -> );Query OK, 0 rows affected (0.003 sec)

MariaDB [test]> show create table customers\G*************************** 1. row ***************************       Table: customersCreate Table: CREATE TABLE "customers" (  "CUST_NUM" decimal(6,0) DEFAULT NULL,  "FIRST_NAME" varchar(30) DEFAULT NULL,  "LAST_NAME" varchar(30) DEFAULT NULL,  "ADDRESS" varchar(120) DEFAULT NULL)1 row in set (0.001 sec)


MariaDB能够识别和执行大部分Oracle特有的SQL语法和数据类型。这意味着原有的Oracle表结构、存储过程和查询语句可以在MariaDB环境中直接运行，几乎不需要修改。


二、MariaDB 11.7 RC（开发版本）引入的向量支持


MariaDB向量是一项允许MariaDB服务器作为关系向量数据库运行的功能，用户喜爱的人工智能模型生成的向量可以存储在MariaDB中并进行搜索。


1、向量存储功能


2、向量检索性能


具体使用参考官方文档：https://mariadb.com/kb/en/vector-overview/


三、Spider分片引擎建表语句发生改变


MariaDB Spider分片技术，类似一个中间件（可以把它比作MyCAT），可以让你的应用程序在一行代码不改的情况下轻松实现分库分表。


Spider存储引擎现在支持表选项，而不必在COMMENT/CONNECTION字符串中对其进行编码。


例，在11.4稳定版里，建表语句如下：

CREATE SERVER m57_1 FOREIGN DATA WRAPPER mysql OPTIONS(  HOST '127.0.0.1',  USER 'admin',  PASSWORD '123456',  PORT 6666);

CREATE SERVER m57_2 FOREIGN DATA WRAPPER mysql OPTIONS(  HOST '127.0.0.1',  USER 'admin',  PASSWORD '123456',  PORT 6667);

CREATE TABLE test.s (   id INT PRIMARY KEY AUTO_INCREMENT,   name VARCHAR(50)) ENGINE=Spider COMMENT='s表 - 分库分表测试' REMOTE_DATABASE="test" REMOTE_TABLE="s" PARTITION BY HASH (id)( PARTITION ps1 REMOTE_SERVER="m57_1", PARTITION pt2 REMOTE_SERVER="m57_2") ;


这里我们创建了两个数据库节点，版本都是MySQL 5.7，端口6666和6667，我们要实现把数据分散到这两个节点里。


创建分表规则，我们这里以哈希主键id为测试用例，将通过内部的取模规则，将数据分散到后端MySQL 5.7里。


客户端直接连接MariaDB Spider，并插入10条数据，此时回到后端MySQL数据库里查看，你会发现数据已经实现分散。


四、解决MySQL临时表空间无限增大的问题


MySQL BUG复现，影响版本：MySQL 5.7和8.0。


复现步骤：


1、创建一个包含1000万行记录的sbtest1表（可以使用sysbench工具生成数据）。


2、创建一个临时表sbtest2，其结构与sbtest1相同：

mysql> CREATE TEMPORARY TABLE sbtest2 LIKE sbtest1;


3、向临时表sbtest2插入1000行数据：

mysql> INSERT INTO sbtest2 SELECT * FROM sbtest1;


4、退出会话，临时表sbtest2被系统自动删除：

mysql> EXIT;


5、然而，在MySQL中，InnoDB临时表（例如ibtmp1）所占的空间不会被释放，导致专用共享表空间不断增大。


MariaDB解决方案：


在MariaDB中，可以通过设置innodb_truncate_temporary_tablespace_now系统变量，在无需重启数据库的情况下缩减临时表空间：

MariaDB> SET GLOBAL innodb_truncate_temporary_tablespace_now = 1;


这一改进有效避免了MySQL中临时表空间持续膨胀的问题。



OceanBase发布4.2.5 LTS 及4.3.4 GA版本


2024下半年，OceanBase共发布9个版本，包括面向关键业务负载的全新里程碑版本4.2.5 LTS，以及面向实时分析(AP)场景的首个GA版本4.3.3（目前已迭代至4.3.4版本），其中值得关注的特性包括：


一、面向关键业务负载，OceanBase 4.2.5 LTS发布


OceanBase 4.2.5 LTS版本是面向关键业务负载的全新长期支持版本，性能、稳定性和易用性方面都有显著提升。相较4.2.1 LTS版本，Sysbench基准测试中读写性能提升26%，批量写入性能提升54%，进一步增强OceanBase在关键业务场景下的性能能力。


1、性能优化和优化器能力：4.2.5版本引入了自适应链接和基线优先的SPM演进，通过分区表的晚期物化功能，优化了复杂查询处理能力。同时，优化器性能大幅提升，特别是在估行系统优化、DAS路径选择改进、以及CTE抽取和INLINE代价验证等方面。此外，存储层引入了Batch DML批量接口，进一步提升了DML操作的效率，适用于多种业务场景。


2、兼容性：4.2.5版本针对MySQL兼容性，新增了租户对锁函数、非法日期、XA 事务和中间快速加列的支持，进一步确保MySQL业务平滑迁移的无缝体验。同时针对Oracle兼容性，租户层面新增了DBMS_LOCK 包功能，并支持快速删列和存储过程远程调用的复杂类型，进一步加强关键业务系统对兼容性的能力。


3、系统稳定性和可靠性：4.2.5版本新增了备份配置项功能，提升了数据备份的灵活性和可控性。通过日志强管归档、Transfer活跃事务搬迁、以及基于IO负载的自适应仲裁升降级功能，提升系统在复杂业务场景下的容错能力和稳定性。


4、资源隔离与升级性能：4.2.5版本优化了资源隔离机制，如将统计信息和Clog日志提交纳入资源隔离，并实现了DDL资源隔离，使多租户环境下资源分配更为合理。在多租户升级场景下，表级恢复和升级性能也得到优化，显著缩短了大规模租户的升级耗时，升级过程更加顺畅。


5、安全性与易用性：新版本通过assume role提升了对象存储访问的安全性，并新增了行锁等待和重试等待事件的诊断功能、响应时间直方图和日志传输链路视图，大幅提升了系统的可观测性和诊断效率。同时，Observer资源规格的动态修改实时生效，以及日志副本并行迁移优化，使DBA的管理操作更加便捷。


此外，OceanBase 4.2.5扩展了其多模能力，新增了对OBKV-Redis模型的支持，进一步丰富了其生态系统。通过优化OB-HBase的过期删除机制，解决了“热key”场景下数据版本过多的问题，并新增了ColumnPaginationFilter和Reverse Scan接口，进一步提升了HBase兼容性。


总结来看，OceanBase 4.2.5 LTS版本通过一系列技术和功能优化，巩固了其在关键业务场景中的稳定性、性能和兼容性，同时大幅提升了用户的管理体验和易用性。


二、面向实时AP场景，OceanBase 4.3.3正式GA


针对AP场景进行大幅性能优化，推出全新向量检索功能，实现SQL+AI一体化，深度融合AI与数据库处理，进一步满足客户在云+AI时代的数据管理需求，加速RAG、智能推荐、多模态搜索等业务场景的落地。


1、对多模态数据支持：4.3.3版本进一步扩展了对复杂数据类型的处理能力，新增Array类型，并对Roaringbitmap类型数据的计算性能进行了优化，为企业处理多样化数据结构提供更高的灵活性。


2、向量融合查询能力：4.3.3版本新增向量检索能力，支持向量数据类型和向量索引，并基于向量索引提供强大的搜索能力。用户可通过SQL及Python SDK等方式灵活调用OceanBase的向量检索能力，同时结合对海量数据的分布式存储能力、多模数据类型及多类型索引的支持，极大简化AI应用技术栈，助力企业高效构建AI应用。


3、多工作负载：4.3.3版本对AP（分析处理）场景进行大幅性能优化，尤其是在海量数据分析时，能够提供更短的响应时间和更高的吞吐能力。同时引入了列存副本的新形态，实现满足TP和AP负载的物理资源强隔离，确保系统在处理事务型负载时，不受分析型负载的影响，特别是在实时数据分析和决策场景中，能够保持系统的高性能与稳定性。



TiDB发布8.5.0 LTS版本和8.4.0、8.3.0、8.2.0三个DMR版本


一、2024下半年重大更新总结


TiDB发布8.5.0 LTS版本和8.4.0、8.3.0、8.2.0三个DMR版本，其中值得关注的特性有：


1、引入向量搜索：TiDB向量搜索提供了高级的语义搜索功能，可以在文档、图像、音频和视频等多种数据类型之间进行相似度搜索。TiDB向量搜索的SQL语法与MySQL兼容，熟悉MySQL的开发人员可以基于该功能轻松构建AI应用。


2、稳定性和高可用：通过Schema缓存控制、设置统计信息缓存使用内存的上限、PD和统计信息优化、管理大量执行计划绑定、增强资源组管理能力等新特性，进一步提升超大规模集群的稳定性。


3、扩展性和性能：每个TiDB集群支持超过100万张表，批量建表性能提升20多倍，通过多维度降低数据处理延迟、实例级执行计划缓存、projection算子下推等新特性，更好地满足金融领域对SQL处理低延迟的高要求。


4、SQL：支持分区表全局索引，降低了跨分区表查询的复杂性，帮助用户轻松应对大数据量历史表的处理。


5、管理及可观测性：TiKV的TOP SQL按“表”或“数据库”进行聚合、将CPU时间（TiDB&TiKV）系统表中显示等新特性提供了更加精确的资源可视化，提升诊断效率。


二、2025年展望


TiDB将聚焦企业级关键业务场景，继续夯实HTAP和AI方向的多维能力，包括可扩展的在线事务处理、实时的轻量级数据分析、高效的向量及全文检索能力等领域。


TiDB v9将在稳定性、性能和扩展性方面实现关键的提升：通过内存分配模型演进和计划绑定自动推荐增强集群的稳定性；通过Cascades优化器和向量搜索功能的增强实现性能的提升；通过TiCDC新架构和加速批量DDL等新特性进一步提升集群的扩展性。


大数据生态圈



Elasticsearch发布三个大版本


Elasticsearch在2024下半年发布了三个大版本，8.15.x、8.16.x、8.17.x，带来了诸多新的功能特性，在性能上也有大幅度的提升，同时7.17.x发布更新了4个小版本，修复了部分兼容性已知问题。


Elasticsearch 2024下半年版本发布


8.14.x~8.17.x版本的主要新功能特性如下：


1、int4数据类型

{    "properties": {        "text_embedding": {            "type": "dense_vector",            "dims": 384,            "index_options": {                "type": "int4_hnsw"            }        }    }}

2、zstd压缩算法

{    "settings": {        "index.codec": "best_compression"    }}

3、logsdb索引模式

{     "settings": {        "index.mode": "logsdb"      }}


Apache Flink发布2.0-preview版本


一、2024下半年重大更新总结


Apache Flink社区正在积极准备 Flink 2.0，这是自Flink 1.0发布8年以来的首次大版本发布。作为一个重要的里程碑，Flink 2.0将引入许多激动人心的功能和改进，以及一些不兼容的破坏性变更。为了促进用户和上下游项目（例如，连接器）尽早适配这些变更，提前尝试这些令人兴奋的新功能同时收集反馈，目前提供了Flink 2.0的预览版本。


注意：Flink 2.0预览版不是稳定版本，请不要应用于生产环境。虽然这个预览版包含了Flink 2.0中绝大部分影响兼容性的变更，但2.0正式版仍可能引入额外的非兼容改动。


这些改动包括移除一些旧的、过时的API，例如DataSet API、Scala DataStream API和TableSource TableSink等等。同时，我们对现有的API，如DataStream API、Table API、REST API和Flink/SQL Client，也进行了小幅度的更新。


在配置方面，旧的flink-conf.yaml配置文件被彻底废弃，新的配置文件全面对接标准的YAML生态。同时，对现有配置项进行了全面的简化和梳理。需要提醒大家的是，Flink 1.X和Flink 2.0之间无法保证100%的Checkpoint (CP) 和Savepoint (SP) 状态兼容性。这主要是因为Flink对其序列化框架进行了多项升级和改造。不过，Flink社区正在积极准备工具，来帮助用户进行非兼容性状态的迁移。另外，Java 8的支持将不再提供，包括Per-job的部署模式也将在2.0版本中移除。用户可以更广泛地采用Application的部署模式。


注：关于API、连接器适配计划、配置等非兼容变更，以及存算分离状态管理、物化表、批作业的自适应执行、流式湖仓等重要新特性的具体信息，可阅读本期Newsletter完整版（点击本文文末【阅读原文】可下载）


二、2025年展望


2025年会正式发布Flink 2.0版本，届时所有preview版本中的预览性功能会更加稳定。同时，会持续完善上下游生态对2.0版本的适配，协助用户更好地升级到新的版本。



ClickHouse发布24.6、24.7、24.8、24.9、24.10、24.11等版本


一、2024下半年重大更新总结


2024下半年，ClickHouse主要发布了24.6、24.7、24.8、24.9、24.10、24.11六个新版本，其中24.8是LTS版本，值得关注的新特性/新功能如下：


1、并行哈希Join成为默认策略：在24.11版本中，并行哈希Join算法取代了哈希Join，成为默认的Join策略。并行哈希Join是哈希Join的一种改进算法，通过将输入数据分片并并发地构建多个哈希表，实现了更快的Join操作，但需要更多内存资源。除了默认启用外，本次更新还对该算法进行了性能优化。现在，线程间分发的块在并行处理时使用零拷贝技术，避免了每次复制块列所带来的额外开销。 


2、BFloat16数据类型：BFloat16数据类型由Google Brain团队开发，专用于表示向量嵌入。顾名思义，它由16位组成，其中1位为符号位，8位为指数，7位为尾数（小数部分）。这一数据类型的指数范围与Float32（单精度浮点数）相同，但尾数位数较少（7位，而非23位）。  现在，ClickHouse已支持BFloat16数据类型，非常适合用于AI和向量搜索场景。


3、可刷新物化视图：之前，可刷新物化视图是一种实验性功能，能够将查询结果存储以便快速读取。在24.9发布中，新增了APPEND功能，使得在更新视图时无需替换整个视图内容，而是直接将新行追加到表末尾。在24.10版本中，该功能不仅支持Replicated数据库引擎，而且已经可以正式应用于生产环境。


4、Variant类型的模式推断。


5、JSON数据类型和用于JSON数据分析的聚合函数：在24.8发布中，实验性地引入了全新的JSON数据类型。这个功能开发已久，之前版本的发布中也提到过它依赖的几种类型——Variable和Dynamic。JSON数据类型专为存储半结构化数据而设计，适用于每行数据结构可能不同或不希望将其拆分为单独列的情况。


6、Merge期间Projection的控制。


7、时序表引擎：24.8引入了时序表引擎 (TimeSeries)。这个表引擎支持使用ClickHouse作为Prometheus的存储，通过远程写入协议 (remote-write) 进行数据存储。此外，Prometheus还可以通过远程读取协议 (remote-read) 从ClickHouse中查询数据。


二、2025年展望


2025年，ClickHouse将持续在新版本体现Join的性能优化和数据湖的整合。



Apache Doris发布2.0.13-2.0.15，2.1.5-2.1.7，3.0.0-3.0.3等版本


一、2024下半年重大更新总结


2024下半年Apache Doris发布了2.0.13-2.0.15、2.1.5-2.1.7、3.0.0-3.0.3等多个版本，其中值得关注的新特性/新功能有：


1、3.0版本开启存算分离新纪元，基于云原生存算分离的架构，通过多计算集群可实现查询负载间的物理隔离及读写负载隔离；借助对象存储或HDFS等低成本共享存储系统能够大幅降低存储成本。


2、3.0版本湖仓一体再进化，新增数据湖写回功能，支持多数据源间的数据分析、共享、处理、存储；结合异步物化视图，可构建统一的湖仓数据处理引擎。


3、3.0版本半结构化场景持续发力，在倒排索引、N-Gram Bloom Filter、Variant数据类型方面持续增强，对半结构化数据的存储和处理分析更加灵活高效，相比Elasticsearch达到10倍性价比提升，且社区即将发布向量索引能力。


二、2025年展望


新增功能上：

1、内置CDC同步：可以不依赖外部工具，支持从众多TP数据库直接CDC导入数据，打造HTAP Solution。

2、支持增量批量处理：统一实时和批量处理、增量处理，需要Doris支持增量读取表的更新数据。

3、完善湖仓一体：插件化体系，兼容Trino/Presto Connector框架；完善高吞吐读写的Data API。

4、存算一体和存算分离部署形态融合：不再需要两种部署形态，用户可以在使用过程中无缝切换，避免过早复杂性。



SelectDB 2024下半年技术更新汇总


一、2024下半年重大更新总结


2024下半年，SelectDB发布了SelectDB Enterprise Core2.1.5-2.1.7、SelectDB Enterprise Manager 24.0.3-24.0.5、24.1.0-24.1.3、SelectDB Cloud Core 4.0.1-4.0.3、SelectDB Cloud Manager 24.3.0-24.4.0、阿里云SelectDB版3.0.10-3.0.11、4.0.1-4.0.4。其中值得关注的新功能特性有：


1、SelectDB Enterprise、SelectDB Cloud、阿里云SelectDB版Core



2、SelectDB Enterprise、SelectDB Cloud、阿里云SelectDB 版Manager


Enterprise Manager：


Cloud Manager：


阿里云SelectDB版：


二、2025年展望


新增功能上：

1、内置CDC同步：可以不依赖外部工具，支持从众多TP数据库直接CDC导入数据，打造HTAP Solution。

2、支持增量批量处理：统一实时和批量处理、增量处理，需要Doris支持增量读取表的更新数据。

3、完善湖仓一体：插件化体系，兼容Trino/Presto Connector框架；完善高吞吐读写的Data API。

4、存算一体和存算分离部署形态融合：不再需要两种部署形态，用户可以在使用过程中，无缝切换。避免过早复杂性。

5、跨可用区容灾：在主可用区故障或发生自然灾害时，可以较快切换到备可用区继续提供服务，保障数据不丢或者只丢失时间最近的少量数据。

6、数据备份恢复：支持在本地或异地备份，可恢复到历史上某个时间点的数据集，协助业务找回大部分数据，或者修复线上生产的错误数据，或者使用线上数据搭建仿真模拟测试环境。

7、支持Serverless云原生秒级弹性：及时感知业务访问压力变化，并且调度合适的计算和存储资源响应，灵活满足业务实际需要的同时，最大程度提升资源利用率，减少冗余浪费。



StarRocks发布3.1、3.2、3.3更新版本


StarRocks在2024下半年发布了3.1、3.2、3.3等版本。这段时间内StarRocks社区主要致力于提升性能、稳定性和用户体验方面，特别是在物化视图、安全性和数据湖分析等方面。


1、存算分离


2、物化视图


3、数据湖


国产数据库



达梦数据库更新DM8.1版本


一、2024下半年重大更新总结


2024下半年，达梦数据库主要更新了DM8.1版本，其中值得关注的新特性和新改进有：


1、外部函数优化。

2、备份功能优化。

3、Oracle兼容性增强。

4、新增重载函数，优化DBMS_JOB包相关函数、运算符函数，日期时间函数，改进管道函数、聚合函数等。

5、物化视图及系统视图等功能改进。

6、DBLINK相关功能改进。

7、dexp导出和dimp导入相关功能优化。

8、优化改进重建系统包相关功能及其他系统包的方法功能改进。

9、DSC集群并发插入性能、自治事务功能及内存控制功能等提升优化。

10、DPC环境下自治事务相关功能、分区表相关功能及非分布列并发查询性能等优化提升。

11、SQL语句执行性能提升/功能改进。


二、2025年展望


1、对ST函数执行效率进行优化，简化ST函数，提高ST函数执行效率，缩短函数执行所需时间，性能提升至少10%以上。

2、支持局部临时表的使用方式，包括创建、增删改查等。

3、兼容Oracle本地绑定变量，在disql上实现本地绑定变量的功能。

4、对备份还原进行优化改造并完善监控功能，预期能够较大幅度提升部分场景下的性能以及改善用户的使用体验。

5、对PROC*C进行增强，支持对OBEJCT类型创建、删除、插入数据。



GoldenDB 2024下半年技术创新汇总


1、引入列存引擎，实现实时分析能力：引入列存后，表支持行存、列存和行列混存等多种存储方式，以便灵活适应事务型和分析型工作负载，可根据查询类型（事务型查询或分析型查询）自动路由至合适引擎，提高HTAP场景数据处理性能。列存采用MPP架构，查询性能出色，能实现秒级查询返回，可实时处理数据，数据更新秒级生效。列存采用分布式架构可线性扩展，通过多副本存储和一致性协议保障高可用性与数据可靠性。


2、容器化部署高阶功能支持：增强对容器化部署的支持，包括支持Operator和部署流程的界面化操作，提供更加灵活的弹性扩缩容方案以满足动态业务需求。


3、异构部署支持：支持服务器与操作系统的异构部署（包括异构芯片架构的兼容部署）。增强对不同部署环境（物理机、云环境）的一致性支持。


4、Oracle兼容性持续改进：新增对更多Oracle SQL语法和对象功能的支持，包括兼容Oracle批量插入行为、物化视图、分区全局索引、DBLINK、闪回操作、绑定执行计划和子分区模板等功能，进一步提升对Oracle应用迁移的支持能力。


5、支持JSON、XML、GIS等多模特性：GoldenDB支持对GIS、XML、JSON等提供了丰富的数据类型、函数、索引和存储等高效数据处理服务。


6、新增SQL并行与智能优化功能，提升SQL处理效率：并行能力全面增强，支持SQL并行查询、并行更新、并行加索引和直方图并行等，优化多用户高并发场景性能。支持SQL智能优化，包括优化器改进、SQL自动改写。小表驱动大表优化，增强查询性能，特别在多表关联和聚合分析场景中表现更优。


7、新增表存储压缩功能：支持分区行压缩，降低数据膨胀率。支持冷热数据分离存储，支持对Decimal数据类型采用变长存储模式，节省存储空间。


8、实现更灵活的备份与恢复功能：支持对指定库、表的备份与恢复。新增备份恢复限流功能，进一步提升系统资源利用率。引入数据库克隆功能，加速数据恢复与部署流程。


9、SQL级监控与治理：全面支持SQLID监控，提供慢SQL、TOP SQL、新SQL、可疑SQL的实时统计与分析功能。实现SQL限流和查杀功能，包括支持按SQL规则动态限流或查杀。在线诊断与调优功能：支持基于在线会话的SQL诊断和执行计划绑定。


10、系统工具包与统计功能：新增系统包方法改进，包括增强统计信息收集性能，优化存储过程及系统函数性能，为大规模业务场景提供更加稳定高效的支持。



KingbaseES发布V9R1C2B0014、V9R3C010（MySQL兼容版）及V9R4C010（SQLServer兼容版）等版本


一、2024下半年重大更新总结


2024下半年，金仓数据库管理系统KingbaseES发布面向全市场的V9R1C2B0014版本，其中值得关注的功能有：


1、应用迁移与开发：完善迁移方案，支持无源码Oracle应用的迁移验证方案。对异构数据库语法兼容能力显著提升，在迁移时大幅减少应用代码修改量。新增兼容多种语法、函数、视图及语句。

2、性能：增强逻辑优化，改进基数估计逻辑。推出SQL调优工具，优化自治事务、DML执行等性能。大规模分区表并发访问性能提升10倍，TPCH场景与DML语句性能均提升20%。

3、可用性：支持多种备份与恢复功能，具备存储容错及坏块检测能力。强化在线重定义、两地三中心方案及TAC透明应用切换能力，大幅缩短RTO。

4、横向扩展：提升RAC负载均衡性能，新增单活模式。

5、安全防护：增强多租户资源管理，新增防篡改与SQL防护墙功能。

6、软件包及环境适应性：新增DBCA数据库配置工具、rpm、deb等安装包形态及UKEY、LAC等授权机制。


此外，还推出细分市场版本V9R3C010（MySQL兼容版）及V9R4C010（SQLServer兼容版），该版本具备高度的MySQL/SQLServer兼容性。


二、2025年展望


以“五个一体化融合架构”为核心，不断增强产品能力和适应性，最终达成产品终极目标：


1、应用迁移及开发：应用迁移：“0”停机数据迁移，“0”修改应用代码迁移；应用开发：SDK功能丰富,开发工具易用，开发过程高效。

2、性能：全场景、主要目标平台性能指标最优。

3、可用性：无论发生计划外、计划内停机时可以做到RTO=0（业务连续不中断），RPO=0（数据0丢失）。

4、横向扩展：支持本地、跨地理位置扩展；实现近线性的性能加速；不增加开发、管理成本；支持独立扩展瓶颈资源。

5、安全防护：有效应对各种攻击；零安全漏洞；对生产性能影响低。

6、软件包及环境适应性：全部署架构、全运行环境，全使用过程可用、易用。

7、可服务性：用户自服务化，系统自治。



SequoiaDB发布5.8版本更新


2024下半年，巨杉数据库发布了v5.8版本更新，主要更新内容如下：


1、新功能：实现通信压缩；创建集合支持指定多个数据组；支持克隆创建集合和集合空间。


2、稳定性优化：优化缓存管理，降低内存占用；优化索引创建机制，不阻塞外部写入；优化容错熔断机制，增强自适应调整能力。


3、运维监控优化：慢查询新增十余项监控指标；健康快照新增节点切主信息；优化查询快照和事务快照性能。


4、性能优化：优化数据库节点启动/停止、切分、数据校验性能；优化索引统计信息子表采样率；增加统计信息缓存，提升优化器性能。


5、管理工具优化：SAC监控管理工具新增用户角色权限管理、审计日志、服务器管理、自身元数据备份和恢复、集群日志错误码搜索等特性。优化了集群性能、CPU性能等统计指标。



ActionDB列存版及发行版生态工具发布


一、2024下半年重大更新总结


2024下半年，爱可生发布了ActionDB列存版本，并发布了系列工具产品如下：


二、2025年展望


爱可生云树DMP完成对ActionDB及OceanBase的支持。



崖山发布YashanDB V23.3版本、数据库一体机、云服务产品


一、2024下半年重大更新总结


2024下半年，崖山团队主要发布了YashanDB V23.3版本、崖山数据库一体机和数据库云服务产品。


YashanDB V23.3新特性：


此外，YashanDB联合国内头部软硬件厂商推出数据库一体机，提供软硬一体化方案；云服务则帮助用户解决云上运维、选型、多云切换及分散系统建设难题。


二、2025年展望


下一步，YashanDB将围绕多租户、软硬协同、应对未来数据挑战三大目标继续优化：


1、多租户方面：持续完善资源共享与隔离方案解决企业成本和业务发展需求，降低企业数据库运维成本，提供弹性扩展能力。

2、软硬协同方面：通过对硬件的深度整合，进一步挖掘网络、内存等硬件资源效能，继续提升数据库系统性能。

3、面向未来数据挑战：YashanDB计划通过多机并行计算技术，进一步提升超大集群的扩展能力，在保持联机交易低延时，高并行的基础上，同时提供海量数据分析能力，解决客户多样化的数据使用需求。


云数据库



阿里云2024下半年数据库产品更新汇总


一、云原生数据库PolarDB


1、PolarDB MySQL版


2、PolarDB PostgreSQL版


3、PolarDB分布式版


二、云原生数据仓库AnalyticDB


三、云原生多模数据库Lindorm



百度智能云2024下半年数据库产品更新汇总


一、云数据库RDS


二、云原生数据库GaiaDB


三、云数据库Redis


四、云数据库MongoDB


五、向量数据库VectorDB


六、数据库智能驾驶舱DBSC


七、数据传输服务



京东云2024下半年数据库产品更新汇总


一、分布式数据库TiDB

1、新增实例参数管理和参数模板管理，提升实例参数管理效率。

2、新增多账号管理及细粒度权限分配，完善账号管理能力。

3、新增数据库管理能力。

4、新增TiDB 7.5版本。

5、新增多可用区部署能力。


二、云数据库PostgreSQL

1、PostgreSQL9.6、PostgreSQL10版本支持跨大版本升级，实现一键自助升级能力。

2、新增实例迁移可用区功能，提供一键可用区调整能力。

3、新增实例主备切换日志。


三、云数据库MySQL

1、新增MySQL 5.6版本小版本升级。

2、新增实例迁移可用区功能，提供一键可用区调整能力。

3、通过云盘重挂载提升MySQL实例云盘变配效率。

4、新增实例白名单分组功能。


四、云数据库MongoDB

1、MongoDB实例接入SmartDBA提供性能分析和慢SQL分析能力。

2、新增实例白名单分组功能。

3、通过云盘重挂载提升MongoDB实例云盘变配效率。


五、分析型云数据库ClickHouse

新增ClickHouse 24.3和ClickHouse 24.8版本。


六、云原生数仓Starwift

新增节点组功能，隔离不同租户的资源使用，提升系统的并发能力和稳定性。


七、数据库自治服务SmartDBA

新增MySQL秒级性能监控，提升数据库性能优化和稳定性保障能力。


2024上半年Newsletter回顾&下载



推出dbaplus Newsletter的想法


dbaplus Newsletter旨在向广大技术爱好者提供数据库行业的最新技术发展趋势，为社区的技术发展提供一个统一的发声平台。为此，我们策划了RDBMS、NoSQL、NewSQL、时序数据库、大数据生态圈、国产数据库、云数据库等几个版块。


我们不以商业宣传为目的，不接受商业广告宣传，严格审查信息源的可信度和准确性，力争为大家提供一个纯净的技术学习环境，欢迎监督指正。


下期Newsletter计划时间是2025年6月16日～6月25日，如果有相关的信息提供请发送至邮箱：newsletter@dbaplus.cn


感谢名单


最后要感谢那些提供宝贵信息和建议的专家朋友，排名不分先后：




↓ 点击【阅读原文】下载本期完整版（提取码：2412）

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作，多种专业模板，深度分析，高质量内容生成。从观点提取到深度思考，FishAI为您提供全方位的创作支持。新版本引入自定义参数，让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅，AI 时代的下一个智能信息助手，助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

数据库行业 版本更新 技术创新 国产数据库 国际竞争
相关文章
第四届卡塔尔经济论坛开幕，聚焦能源转型等议题
Does technology help or hurt employment?
互联网银行10年，核心壁垒还能维持多久？
100 things we announced at I/O 2024
阿里云与中兴通讯达成开源数据库合作
金麦特完成超4亿元B轮融资
颠覆与被颠覆，高值耗材等来了供给侧改革
Daily AI News Roundup: 10 AI Events that Caught our Eyes
Daily AI News Roundup: 10 AI Events That Caught Our Eyes
Daily AI News Roundup: 10 AI Events that Caught our Eyes