IT業界のすみっこ暮らし

ふと気がついたときの記録

Apache Sparkインストール手順

色々と試行錯誤したけど、下のサイトを見てなんとかインストールすることが出来た。
Installing Scala and Apache Spark on Mac OS – freeCodeCamp

Homebrewとxcodeはインストール済みの状態だったので私が行なった手順は以下になる。

1、Javaのインストー

brew cask install java

2、Scalaのインストー

brew install scala

3、Apache Sparkのインストー

brew install apache-spark

4、環境変数の設定

※インストールされたバージョンを確認して設定する

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.1.1/libexec
export PYTHONPATH=/usr/local/Cellar/apache-spark/2.1.1/libexec/python/:$PYTHONP$

5、HostNameの設定

今回は開発環境なので"localhost"に設定

$ scutil --set HostName "localhost"

設定内容は以下のコマンドで確認可能

$ scutil --get HostName

6、spark-shellで実行

spark-shell

まだいくつかの警告は表示されているけど、エラーはない状態で無事に実行できた。 f:id:papamau:20170701171756p:plain

補足:HostNameがない場合のエラー

java.net.UnknownHostExceptionが発生する。

f:id:papamau:20170701171944p:plain

Jupyter Notebookインストール手順

Installing Jupyter Notebook — Jupyter Documentation 4.1.1 alpha documentation

1、pip3更新

pip3 install --upgrade pip

2、pip3を使ってjupyterをインストー

pip3 install jupyter

3、notebookの設定ファイルを生成

jupyter notebook --generate-config

4、notebookのパスワードを設定(ログインパスワード)

jupyter notebook password
Enter password:  ****
Verify password: ****

5、jupyter notebook起動

jupyter notebook


設定ファイルを生成しないまま、jupyter notebook 起動した場合にはこの画面が表示される

f:id:papamau:20170630221505p:plain

設定ファイル生成&パスワード設定後、localhost:8888にアクセス

f:id:papamau:20170630221548p:plain

設置完了!

f:id:papamau:20170630221601p:plain

昨日テスト用に作ったファイルを開いてみた f:id:papamau:20170630222944p:plain

新しいnoteを作成してみた f:id:papamau:20170630223454p:plain

Untitled.ipynbファイルが追加されていることが分かる f:id:papamau:20170630223555p:plain

Pythonでグラフ描画:matplotlib(6)を参考にグラフも描いてみた f:id:papamau:20170630224420p:plain なにコレ面白い!

忘れそうなのでnumpyとpylabのダウンロード方法

pip3 install numpy
pip3 install matplotlib

今日はここまで!

追記

起動方法は分かるんだけど、どう止めれば良いか迷ったので調べてみた

python - How to close IPython Notebook properly? - Stack Overflow

  • There isn’t currently a better way to do it than Ctrl+C in the terminal.

なるほど

macでpython開発環境構築

macで開発環境を改めて作った。 今まであらゆるものをインストール→アンインストールを繰り返した端末なのでちょっと時間がかかった。

1、xcodeインストー
2、homebrewインストール&警告が出まくったからその解決
3、homebrewでpython3インストー
4、Atomインストー
5、AtomでPython3でテスト実行

f:id:papamau:20170629230654p:plain

今現在のconfig.scon

"*":
  core:
    telemetryConsent: "no"
  "exception-reporting":
    userId: xxxxxxxxxxx
  "runner":
    scopes:
      python: "python3"

参考サイト

一番シンプルで参考になった qiita.com

Homebrew使い方まとめ - Qiita

MacにHomebrewをインストールする - Qiita

Homebrewをアンインストールするには - Qiita

MacPortsからHomeBrewに乗換え&Python開発環境構築 - c-bata web

初心者でも簡単にできるPythonの環境構築とエディタで実行する方法 - paiza開発日誌

Atomおすすめプラグイン〜導入まで - Qiita

Python学習メモ20170626

pie001.hatenablog.com

今日の進捗

Strings and Console Output - Date and Timeの全コースクリア

広告を非表示にする

Online Python IDE

What is the best online python IDE? - Quora

CODENVY

www.codenvy.com

無料プランあり

f:id:papamau:20170626180001p:plain

機能が多いみたいなので、後でじっくり見てみたい。

repl.it

repl.it - Online REPL, Compiler & IDE

repl.it - online REPL, Compiler & IDE

これは直感的で分かり易い!

f:id:papamau:20170626181618p:plain

Python 2.7もPython3も使えて、他の言語も豊富。

ideone

ideone.com

CodePad

codepad

runnable

Runnable: Catch bugs earlier.

Wandbox

wandbox.org

paiza.hatenablog.com

広告を非表示にする

Python学習メモ20170625

学習サイト

www.codecademy.com

ver 2.7.3 f:id:papamau:20170625222211p:plain

今日の進捗

Strings and Console Output - Strings and Console Outputの全コースクリア

応用のために利用するサイト

pythonfiddle.com

Free Online IDE and Terminal

広告を非表示にする