Apache Sparkインストール手順

色々と試行錯誤したけど、下のサイトを見てなんとかインストールすることが出来た。
How to Install Scala and Apache Spark on MacOS – freeCodeCamp.org

Homebrewとxcodeはインストール済みの状態だったので私が行なった手順は以下になる。

１、Javaのインストール

brew cask install java

２、Scalaのインストール

brew install scala

３、Apache Sparkのインストール

brew install apache-spark

４、環境変数の設定

※インストールされたバージョンを確認して設定する

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.1.1/libexec
export PYTHONPATH=/usr/local/Cellar/apache-spark/2.1.1/libexec/python/:$PYTHONP$

５、HostNameの設定

今回は開発環境なので"localhost"に設定

$ scutil --set HostName "localhost"

設定内容は以下のコマンドで確認可能

$ scutil --get HostName

６、spark-shellで実行

spark-shell

まだいくつかの警告は表示されているけど、エラーはない状態で無事に実行できた。

補足：HostNameがない場合のエラー

java.net.UnknownHostExceptionが発生する。