Kafka系列之：Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据

  • 一、基于日志大小
  • 二、基于时间大小
  • 三、参数设置
  • 四、设置命令

一、基于日志大小

  • “log.retention.bytes”是Apache Kafka中的一项配置参数，用于指定每个日志段文件的最大大小。当日志段文件的大小达到或超过该配置值时，Kafka将开始删除该日志段中最旧的消息，以保持日志段文件的大小在一定的范围内。
  • 这个参数的设置可以帮助控制消息在Kafka中的持久化存储时间。如果设置得较小，将会导致更频繁的日志段切换和消息删除，可能会增加磁盘IO的负载。相反，如果设置得较大，将会导致消息在Kafka中存储的时间更长，可能会增加磁盘使用量。
  • 合理设置”log.retention.bytes”参数可以根据实际需求来平衡磁盘空间的利用率和消息的保留时间。需要根据具体的业务场景和预期的消息保留时间，以及可用磁盘空间等因素来进行设置。

二、基于时间大小

  • “log.retention.hours”是Apache Kafka中的另一个配置参数，用于指定每个日志段文件的最大保留时间。当日志段文件的最后一条消息的时间戳超过该配置值时，Kafka将开始删除该日志段文件，以保持消息在Kafka中的存储时间在一定的范围内。