Spark
Spark是面向大规模数据处理的统一分析引擎。它提供了Scala、Java、Python和R的高级API，以及支持通用计算图形进行数据分析的优化引擎。它还支持一组丰富的高级工具，包括用于SQL和DataFrame的Spark SQL、用于机器学习的MLlib、用于图形处理的GraphX以及用于流处理的结构化流
在线文档
您可以在上找到最新的Spark文档，包括编程指南project web page本自述文件仅包含基本设置说明
建设Spark
Spark是用Apache Maven要构建Spark及其示例程序，请运行：
./build/mvn -DskipTests clean package
(如果您下载了预构建包，则不需要执行此操作。)
更详细的文档可从项目网站获得，网址为“Building Spark”
有关常规开发提示，包括有关使用集成开发环境开发Spark的信息，请参见“Useful Developer Tools”
交互式Scala外壳
开始使用Spark的最简单方式是通过scala shell：
./bin/spark-shell
尝试执行以下命令，该命令应返回1,000,000,000：
scala> spark.range(1000 * 1000 * 1000).count()
交互式Python外壳
或者，如果您喜欢Python，也可以使用Python shell：
./bin/pyspark
并运行以下命令，该命令也应返回1,000,000,000：
>>> spark.range(1000 * 1000 * 1000).count()
示例程序
Spark还在examples目录。要运行其中一个，请使用./bin/run-example <class> [params]例如：
./bin/run-example SparkPi
将在本地运行PI示例
您可以在运行示例时设置MASTER环境变量，以将示例提交到集群。这可以是 mesos:// 或 Spark://url，“纱线”在纱线上运行，“local”在本地运行，只有一个线程，或者“local[N]”在本地运行，有N个线程。如果类位于examples包裹。例如：
MASTER=spark://host:7077 ./bin/run-example SparkPi
如果没有给出参数，许多示例程序会打印用法帮助
运行测试
测试首先需要building Spark构建Spark后，可以使用以下工具运行测试：
./dev/run-tests
请参阅有关如何执行以下操作的指南run tests for a module, or individual tests
还有一个Kubernetes集成测试，参见resource-managers/kubernetes/integration-tests/README.md
关于Hadoop版本的说明
Spark使用hadoop核心库与hdfs和其他hadoop支持的存储系统对话。由于不同版本的HADOOP中的协议已更改，因此您必须根据群集运行的相同版本构建Spark
请参阅以下地址的构建文档：“Specifying the Hadoop Version and Enabling YARN”有关针对特定Hadoop发行版进行构建的详细指导，包括针对特定配置单元和配置单元节俭服务器发行版进行构建
配置
请参阅Configuration Guide有关如何配置Spark的概述，请参阅联机文档
贡献
请查看Contribution to Spark guide有关如何开始为项目做贡献的信息，请参阅
