牛宝体育新闻

牛宝体育大数据ClickHouse(十二):表引擎之CollapsingMergeTree

2022-12-26
浏览次数:
返回列表

  牛宝体育牛宝体育的表引擎。它原委定义一个sign标记位字段,记载数据行的状况。倘使sign标帜为1,则呈现这是一行有效的数据;假使sign暗记为-1,则露出这行数据需求被节减。当CollapsingMergeTree分区团结时,联合数据分区内,sign标识为1和-1的一组数据会被抵消删除。

  每次须要新增数据时,写入一行sign标识为1的数据;必要节减数据时,则写入一行sign标志为-1的数据。另外,只有一样分区内的数据才有可以被折叠。

  CollapsingMergeTree关于写入数据的秩序有着严酷请求牛宝体育,否则导致无法正常折叠。

  在同一个分区内order by 字段好像的数据保存多条牛宝体育,且sign值不同,数据保管端正如下:

  留神:当数据插入到表中的纪律标识假设不是1,-1这种次序时,统一彷佛分区内的数据不能抵达修正和改造奏效。

  假使数据的写入圭臬是单线程履行的,则也许较好地限制写入次序;倘若须要收拾的数据量很大,数据的写入法度一般是多线程施行的,那么此时就不能确保数据的写入顺序了。在这种处境下,CollapsingMergeTree的义务机制就会出现题目。只是能够历程VersionedCollapsingMergeTree的表引擎博得办理。

搜索