Intellij IDEA连接Spark集群
Intellij IDEA连接Spark集群
1. 首先安装Scala插件，File->Settings->Plugins，搜索出Scla插件，点击Install安装；
2. File->New Project->maven，新建一个Maven项目，填写GroupId和ArtifactId；
3. 编辑pom.xml文件，添加项目所需要的依赖：
<properties>
<scala.version>2.10.5</scala.version>
<Hadoop.version>2.6.5</hadoop.version>
</properties>
<repositories>
<repository>
<id>scala-tools.org</id>
<name>Scala-Tools Maven2 Repository</name>
<url>http://scala-tools.org/repo-releases</url>
</repository>
</repositories>
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.6.0</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.10</artifactId>
<version>1.6.0</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.10</artifactId>
<version>1.6.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hadoop.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>${hadoop.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>${hadoop.version}</version>
</dependency>
</dependencies>
4. File->Project Structure->Libraries，选择和Spark运行环境一致的Scala版本：
5. File->Project Structure->Modules，在src/main/下面增加一个scala文件夹，并且设置成source文件夹；
完整文档可以到Linux公社资源站下载：
------------------------------------------分割线------------------------------------------
免费下载地址在 http://linux.linuxidc.com/
用户名与密码都是www.linuxidc.com
具体下载目录在 /2017年资料/5月/18日/Intellij IDEA连接Spark集群/
下载方法见 http://www.linuxidc.com/Linux/2013-07/87684.htm
------------------------------------------分割线------------------------------------------
更多
