大数据生态系统中兴起的Kafka流和管理工具，可以减少应用程序中数据的复杂性。

上周发布的Confluent Enterprise 3.0，其中包括一个Apache Kafka集群管理系统。越来越多的用户需要从操作系统快速获取数据，用来处理和分析近实时的信息，该软件可以帮助用户更好地实现这些需求。

公司也开始研究属于自己的Kafka流，并宣布开源Confluent Enterprise 3.0，其中包括Kafka流——可能在某些应用程序中代替Apache Spark流的流处理器。后者是Hadoop生态流处理器，Kafka消息传递系统往往是耦合的。

Confluent的管理和流工具的目的是减少关注运动数据应用程序的复杂性，这是许多数据开发商的涉及的一个新领域。

Kafka管理可以帮助团队发现性能瓶颈，独立完成非常低级的程序检查。

与此同时，Kafka流产品可以简化流。虽然Confluent代表强调，他们预计与其他流框架如Spark和Flink共存。

“Spark是一个可以编写大量应用程序的系统。它在批处理和分布式模式下工作，很适合用来分析人类基因组数据，或公司一年的广告数据等内容。但你需要将它运行在自己的集群中，”Confluent的产品管理和数据科学总监Joseph Adler说道。

Adler说，Kafka流可以在没有YARN（Hadoop 2.0资源管理器）的情况下工作，能够在现有的应用程序正在使用附加的数据流进行更新的情况下找到牵引，他还引用天气提要或零售销售的数据进行了解释。

Kafka的根源

Confluent非常清楚，Kafka软件主要用于流处理。公司近期用户会议上公布的研究显示，68%的Kafka受访用户计划在未来6到12个月进行更多的流处理。Confluent调查了来自20个国家，超过100个的Kafka用户。调查结果显示，Kafka在公司中的作用越来越大，29%的受访者所在企业年销售额超过10亿美元。

Kafka在LinkedIn中作为web应用程序的一部分。Kafka实现日志发布——订阅消息传递体系结构，专为分布式使用。LinkedIn于2011年将Kafka作为开源软件赠与Apache软件基金会。近几年，Confluent逐渐将Kafka变成商业化工具，由LinkedIn中创造Kafka的关键人物负责完成这一商业化过程。

虽然Confluent发现自己处在一个日益拥挤的Hadoop生态系统中，但它与Kafka根源的紧密联系可能会提供一个早期的优势。采用Kafka管理工具，似乎是年轻的公司最自然而然的一种选择。

Kafka受关注

“Confluent试图简化流数据管道，它的明显优势是拥有Apache Kafka，”来自加州的首席分析师Doug Henschen说。

随着越来越许多供应商都在其产品线采用开源Apache Kafka，Confluent公司的地位得到巩固，最近几周将Kafka纳入发布软件中的一项。

SnapLogic更新其弹性集成平台支持Apache Kafka和端点连接器，包括预构建的数据转换操作。而Syncsort表示，现在DMX-h v9从Kafka集成数据，主机和关系数据库也是如此，利用管道连接到Apache Hadoop和Spark。

上周，Kafka发起者LinkedIn表示，将Kafka监控框架开放源代码，公司内部努力提供Kafka集群部署的监测和测试。这些举措可能表明，就像之前的Hadoop，Kafka可能成为自己软件生态系统的焦点。