在Kafka中，消息是在主题(topic)中存储的，而每个主题可以被划分为多个分区(partitions)。Kafka通过分区来实现数据的并行处理，以及增强数据吞吐量和可扩展性。默认情况下，Kafka提供了自己的分区策略来决定每条消息被发送到哪个分区，但在某些场景下，使用自定义分区器(partitioner)来覆盖默认的分区逻辑是非常有用的。下面列出了几个为什么需要自定义分区器的原因：

1. 更细粒度的控制

默认的分区逻辑可能不足以满足特定的业务需求。通过实现自定义分区器，开发者可以根据消息内容或其他业务逻辑来决定消息应该被发送到哪个分区，从而实现更细粒度的控制。

2. 负载均衡

尽管Kafka的默认分区策略已经能够在大多数情况下实现负载均衡，但在某些特定的消息流模式下，可能会出现某些分区负载过高而其他分区负载过低的情况。通过自定义分区逻辑，可以更好地分散消息到不同的分区中，避免某些分区成为热点，从而更有效地利用集群资源。

3. 保证消息顺序

在某些应用场景中，保持消息的顺序性是非常重要的，尤其是当处理与特定键相关的消息时。Kafka保证在同一个分区内的消息是有序的。通过自定义分区器，开发者可以确保具有相同键的消息总是被发送到同一个分区，从而在消费时能保持消息的顺序性。

4. 兼容特定的消费模式

在一些复杂的应用场景中，消费者可能需要按照特定的方式来消费消息，比如基于消息类型或消息优先级来进行消费。自定义分区器可以帮助将消息以适当的方式分配到分区中，以满足这些特定的消费需求。

结论

虽然Kafka后台自动进行分区管理，但自定义分区器提供了额外的灵活性，允许开发者根据自己的业务需求对消息分区进行更精细的控制。这种灵活性是通过在客户端配置自定义分区器来实现的，使得消息生产者能够根据业务逻辑将消息发送到指定的分区，从而优化数据的组织、处理速度和消费模式。

当我们重写了分区策略，就不会使用后台的默认策略了，发送到指定分区

当你在Kafka客户端重写分区逻辑并使用自定义分区器时，Kafka会按照你的自定义逻辑来决定消息应该发送到哪个分区，而不是使用它的默认分区策略。这意味着，一旦消息通过你的自定义分区器指定了目标分区，Kafka就会直接将消息发送到这个指定的分区，而不会再进行额外的分区处理。

这里是如何工作的：

  1. 客户端分区决策：当生产者准备发送消息时，它会首先使用配置的分区器（partitioner）来决定这个消息应该被发送到哪个分区。如果你使用的是Kafka的默认分区器，那么它会根据消息的键（key）（如果提供的话）和可用分区来决定目标分区。如果你重写了分区逻辑并使用了自定义分区器，那么这个决策就会基于你的自定义逻辑。

  2. 发送到Kafka：一旦分区器决定了消息的目标分区，消息就会被发送到Kafka集群中对应的分区。此时，Kafka仅负责接收消息并将其存储在指定分区中，而不会尝试重新分配或改变消息的目标分区。

  3. Kafka不再分区：因此，一旦消息被分配了目标分区，Kafka就不会对其进行进一步的分区处理。消息将直接存储在指定的分区中，等待被消费。

总之，通过在客户端使用自定义分区器，你可以根据具体的业务需求控制消息分布到Kafka集群中的哪个分区。Kafka会尊重这些客户端做出的分区决策，而不会对其进行修改或再分配。这样做的好处是可以根据特定的业务规则优化消息分布，例如，通过确保特定类型的消息总是发送到相同的分区来保持顺序，或者根据负载平衡的需要来分配消息。