时间:2026-10-22 17:14:10来源:
Kafka 是一款分布式流处理平台,主要用于构建实时数据管道和流应用。它由 LinkedIn 开发并开源,现由 Apache 软件基金会维护。Kafka 以高吞吐量、持久化、水平扩展和实时处理能力著称,广泛应用于日志聚合、事件溯源、消息队列等场景。
| 特性 | 描述 |
| 分布式 | 支持多节点部署,提升系统可用性和扩展性 |
| 高吞吐 | 每秒可处理数百万条消息,适合大数据场景 |
| 持久化 | 消息存储在磁盘,保障数据不丢失 |
| 实时处理 | 支持流式数据处理,延迟低 |
| 可靠性 | 通过副本机制保证数据一致性 |
Kafka 的核心概念包括主题(Topic)、分区(Partition)、生产者(Producer)、消费者(Consumer)和 Broker。它常与 Spark、Flink 等工具结合,构建复杂的数据流处理系统。