IT業界のすみっこ暮らし

ふと気がついたときの記録

Apache Sparkインストール手順

色々と試行錯誤したけど、下のサイトを見てなんとかインストールすることが出来た。
Installing Scala and Apache Spark on Mac OS – freeCodeCamp

Homebrewとxcodeはインストール済みの状態だったので私が行なった手順は以下になる。

1、Javaのインストー

brew cask install java

2、Scalaのインストー

brew install scala

3、Apache Sparkのインストー

brew install apache-spark

4、環境変数の設定

※インストールされたバージョンを確認して設定する

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.1.1/libexec
export PYTHONPATH=/usr/local/Cellar/apache-spark/2.1.1/libexec/python/:$PYTHONP$

5、HostNameの設定

今回は開発環境なので"localhost"に設定

$ scutil --set HostName "localhost"

設定内容は以下のコマンドで確認可能

$ scutil --get HostName

6、spark-shellで実行

spark-shell

まだいくつかの警告は表示されているけど、エラーはない状態で無事に実行できた。 f:id:papamau:20170701171756p:plain

補足:HostNameがない場合のエラー

java.net.UnknownHostExceptionが発生する。

f:id:papamau:20170701171944p:plain