本文共 1598 字，大约阅读时间需要 5 分钟。
本文将介绍Kafka日志存储系统的核心机制，包括文件目录布局、日志格式演变、消息压缩机制、日志索引以及日志清理策略等内容。
Kafka以主题为基本单位管理消息，主题可以划分为多个分区。每个分区中的消息都有唯一的偏移量（offset），用于标识消息的位置和顺序。Kafka通过日志分段(LogS egment)将大文件平均分配为多个小文件，以便于日志的维护和清理。活跃的日志分段被称为activeSegment，负责接收新消息。
每个日志分段包含多个文件，包括.log、.index、.timeindex等核心文件，以及可能的临时文件和事务索引文件等。Kafka在追加消息时，仅允许最后一个日志分段进行写入操作，待其满足条件后才创建新的日志分段。
Kafka的日志格式经历了多次演变，特别是从v0版到v1版，增加了timestamp字段。消息压缩是Kafka性能优化的重要手段，生产者发送的压缩数据直接存储在Broker中，消费者在消费前解压处理。Kafka支持三种压缩算法：GZIP、SNAPPY和LZ4，默认配置为“producer”模式，即与生产者一致。
在压缩场景下，消息被压缩为内层消息（inner message），外层消息（wrapper message）包含内层消息的整体压缩数据。外层消息的timestamp设置规则与内层消息的timestamp类型相关，需根据具体配置选择CreateTime或LogAppendTime类型。
Kafka为每个日志分段维护两个索引文件：偏移量索引文件和时间戳索引文件。稀疏索引技术用于构建索引，减少磁盘占用和查询时间。索引文件以MappedByteBuffer形式加载到内存中，支持快速二分查找。
索引文件的切分条件包括文件大小超过配置参数log.segment.bytes、消息时间差超过roll参数、索引文件大小超过log.index.size.max.bytes等。切分时，Kafka会创建新的索引文件，并关闭旧索引文件的可写权限。
Kafka提供两种日志清理策略：日志删除和日志压缩。日志压缩（Log Compaction）通过合并具有相同键的消息，保留最后一个版本，减少历史数据体积。Log Compaction保留消息的物理位置和偏移量，使查询操作不受影响。
日志清理策略的配置参数包括log.roll.ms和log.roll.hours，控制消息保留时间。Kafka还支持通过参数log.flush.interval.messages和log.flush.interval.ms控制同步刷盘操作，确保数据可靠性。
Kafka依赖文件系统存储消息，文件追加方式为顺序写盘，仅允许在日志分段的尾部追加数据。Kafka通过页缓存和零拷贝技术优化磁盘I/O性能。页缓存由操作系统管理，用于减少磁盘IO次数，提升吞吐量。
零拷贝技术通过sendfile()实现，将磁盘数据直接传输至网络，减少内核和用户模式之间的上下文切换，提升数据传输效率。
Kafka的磁盘I/O流程涉及文件系统、页缓存和磁盘调度算法。Linux支持四种磁盘调度算法：NOOP、CFQ、DEADLINE和ANTICIPATORY。建议根据业务需求选择合适的调度策略，以优化磁盘读写性能。
文件系统建议使用EXT4或XFS等支持高性能的文件系统，进一步提升Kafka的写入性能。合理配置vm.swappiness参数，避免内存与swap频繁交换，减少对Kafka性能的影响。
Kafka利用零拷贝技术通过sendfile()方法直接将磁盘数据传输至网络，避免了数据在内核和用户模式之间的多次复制，显著提升数据传输效率。这种技术特别适用于高吞吐场景，减少上下文切换，提升系统性能。
转载地址：http://pohfk.baihongyu.com/