由于其强大的计算能力，Spark 非常适合机器学习和图形处理。使用 Spark，开发人员可以轻松地用 Java、Scala、R、Python 和 SQL 等语言编写应用程序。它还支持 80 多个可用于构建并行应用程序的高级运算符。其有用的库组包括 SQL 和 DataFrames、GraphX、Spark Streaming 和 MLib（用于机器学习）。
有数千家公司在生产中使用 Spark，其中包括思科、亚马逊、百度、NTT Data、Shopify 和雅虎等知名公司。一些客户在多达 8000 个包含数千个节点的集群上运行 Spark。事实证明，它在 1/10 的机器上对大约 100TB 的数据进行排序的速度比 Hadoop MapReduce 快三倍。除了 IT 行业之外，金融、零售、旅游、医疗保健和媒体等工业领域也在使用 Spark。
什么是 Apache Kafka？
Apache.org将 Kafka 定义为一个开源分布式事件流平台，数千家公司使用它来构建高性能数据管道、流分析、数据集成和关键任务应用程序。使用 Kafka，您可以使用低延迟机器集群以有限的网络吞吐量传递消息，将生产集 拉脱维亚电报筛查 群扩展到多达一千个代理，将数据流安全地存储在容错集群中，并在可用区之间高效地扩展集群。
Apache Kafka 可用于多种应用，例如实时处理付款和金融交易、持续捕获和分析来自 IoT 设备的传感器数据、即时响应客户互动和订单以及监控住院患者。所有这些任务都是由 Kafka 通过其三个关键功能完成的 - 读取和写入事件流（包括从其他系统导入或导出数据）、可靠且持久地存储这些流以及在事件流发生时对其进行处理。