Kafka【理论篇】02：Broker扩展、Producer扩展、Consumer扩展、Topic和Partition扩展、Message扩展

一、Broker扩展

Broker的参数可以配置在server.properties这个配置文件中，Broker中支持的完整参数在官方文档中有体现。

具体链接为：
http://kafka.apache.org/24/documentation.html#brokerconfigs

针对Broker的参数，我们主要分析两块

1：Log Flush Policy：设置数据flush到磁盘的时机

为了减少磁盘写入的次数,broker会将消息暂时缓存起来,当消息的个数达到一定阀值或者过了一定的时间间隔后,再flush到磁盘,这样可以减少磁盘IO调用的次数。
这块主要通过两个参数控制

（1）log.flush.interval.messages 一个分区的消息数阀值

达到该阈值则将该分区的数据flush到磁盘，注意这里是针对分区，因为topic是一个逻辑概念，分区是真实存在的，每个分区会在磁盘上产生一个目录。

[root@bigdata01 kafka-logs]# ll
total 20
drwxr-xr-x. 2 root root 141 Jun  8 17:12 88888888-0
drwxr-x