8. Kafka Connect

8.1 概述

Kafka Connect 是一个可扩展、可靠的在Kafka和其他系统之间流传输的数据工具。它可以通过connectors（连接器）简单、快速的将大集合数据导入和导出kafka。Kafka Connect可以接收整个数据库或收集来自所有的应用程序的消息到Kafka Topic。使这些数据可用于低延迟流处理。导出可以把topic的数据发送到secondary storage（辅助存储也叫二级存储）也可以发送到查询系统或批处理系统做离线分析。Kafka Connect功能包括：

• Kafka连接器通用框架：Kafka Connect 规范了kafka与其他数据系统集成，简化了connector的开发、部署和管理。

• 分布式和单机模式 - 扩展到大型支持整个organization的集中管理服务，也可缩小到开发，测试和小规模生产部署。

• REST 接口 - 使用REST API来提交并管理Kafka Connect集群。

• 自动的offset管理 - 从connector获取少量的信息，Kafka Connect来管理offset的提交，所以connector的开发者不需要担心这个容易出错的部分。

• 分布式和默认扩展 - Kafka Connect建立在现有的组管理协议上。更多的工作可以添加扩展到Kafka Connect集群。

• 流/批量集成 - 利用kafka现有的能力，Kafka Connect是一个桥接流和批量数据系统的理想解决方案。