IT業界のすみっこ暮らし

ふと気がついたときの記録

Apache Sparkインストール手順

色々と試行錯誤したけど、下のサイトを見てなんとかインストールすることが出来た。
Installing Scala and Apache Spark on Mac OS – freeCodeCamp

Homebrewとxcodeはインストール済みの状態だったので私が行なった手順は以下になる。

1、Javaのインストー

brew cask install java

2、Scalaのインストー

brew install scala

3、Apache Sparkのインストー

brew install apache-spark

4、環境変数の設定

※インストールされたバージョンを確認して設定する

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.1.1/libexec
export PYTHONPATH=/usr/local/Cellar/apache-spark/2.1.1/libexec/python/:$PYTHONP$

5、HostNameの設定

今回は開発環境なので"localhost"に設定

$ scutil --set HostName "localhost"

設定内容は以下のコマンドで確認可能

$ scutil --get HostName

6、spark-shellで実行

spark-shell

まだいくつかの警告は表示されているけど、エラーはない状態で無事に実行できた。 f:id:papamau:20170701171756p:plain

補足:HostNameがない場合のエラー

java.net.UnknownHostExceptionが発生する。

f:id:papamau:20170701171944p:plain

Jupyter Notebookインストール手順

Installing Jupyter Notebook — Jupyter Documentation 4.1.1 alpha documentation

1、pip3更新

pip3 install --upgrade pip

2、pip3を使ってjupyterをインストー

pip3 install jupyter

3、notebookの設定ファイルを生成

jupyter notebook --generate-config

4、notebookのパスワードを設定(ログインパスワード)

jupyter notebook password
Enter password:  ****
Verify password: ****

5、jupyter notebook起動

jupyter notebook


設定ファイルを生成しないまま、jupyter notebook 起動した場合にはこの画面が表示される

f:id:papamau:20170630221505p:plain

設定ファイル生成&パスワード設定後、localhost:8888にアクセス

f:id:papamau:20170630221548p:plain

設置完了!

f:id:papamau:20170630221601p:plain

昨日テスト用に作ったファイルを開いてみた f:id:papamau:20170630222944p:plain

新しいnoteを作成してみた f:id:papamau:20170630223454p:plain

Untitled.ipynbファイルが追加されていることが分かる f:id:papamau:20170630223555p:plain

Pythonでグラフ描画:matplotlib(6)を参考にグラフも描いてみた f:id:papamau:20170630224420p:plain なにコレ面白い!

忘れそうなのでnumpyとpylabのダウンロード方法

pip3 install numpy
pip3 install matplotlib

今日はここまで!

追記

起動方法は分かるんだけど、どう止めれば良いか迷ったので調べてみた

python - How to close IPython Notebook properly? - Stack Overflow

  • There isn’t currently a better way to do it than Ctrl+C in the terminal.

なるほど

macでpython開発環境構築

macで開発環境を改めて作った。 今まであらゆるものをインストール→アンインストールを繰り返した端末なのでちょっと時間がかかった。

1、xcodeインストー
2、homebrewインストール&警告が出まくったからその解決
3、homebrewでpython3インストー
4、Atomインストー
5、AtomでPython3でテスト実行

f:id:papamau:20170629230654p:plain

今現在のconfig.scon

"*":
  core:
    telemetryConsent: "no"
  "exception-reporting":
    userId: xxxxxxxxxxx
  "runner":
    scopes:
      python: "python3"

参考サイト

一番シンプルで参考になった qiita.com

Homebrew使い方まとめ - Qiita

MacにHomebrewをインストールする - Qiita

Homebrewをアンインストールするには - Qiita

MacPortsからHomeBrewに乗換え&Python開発環境構築 - c-bata web

初心者でも簡単にできるPythonの環境構築とエディタで実行する方法 - paiza開発日誌

Atomおすすめプラグイン〜導入まで - Qiita

私がある会社で経験したパワハラ集

  • チームぐるみでいじめ
    • 情報共有をしない
      • 社内の情報を聞いても自分で調べろの一点張り
      • 自腹で競合の有料サービスの調査をさせられる(あとで法人カードで調査中の人の話を聞くことも…)
    • あいまいな仕事をさせ、MTGでみんなでからかう
    • わざと無駄な仕事をさせ、価値のない仕事をしていると見下ろす
    • いじめが慢性化したチームで部署移動&退職者を多数輩出
  • 人事に面談をしたら上司から「お前辞めたいの?お前は誰も認めてないよ?ここは俺の縄張りなんだから下手な真似すんな」と脅される
  • 人事評価でいじめグループから最悪の評価をもらい、減給にさせられる
  • 仕事に追われる中、上司に現状の不満を伝えると「お前に嫌気が差す」と数回念押しで言われる
  • 仕事の大変さを上司に伝えると「お前の代わりはいくらでもいる。履歴書はたくさん来る。お前の仕事なくそうか?」と脅される
  • 業務とそれに伴う責任に対して評価が不公平とを言うと「お前は仕事じゃなくてボランティアでやってんの?」と言われる
  • 上司の数々の暴言に対して、言い方というのがあるのではと言うと「俺がお前相手に言葉に気を使わなきゃいけないの?!」と逆ギレされる


職場はだいたいこんな感じ

  • 評価基準がなっていない
  • 給料が業界平均よりかなり低い
  • 「一人で開発すらろくにできず、仕事を任せない人」と「複数のシステムの開発を同時に行なっている人」の月給の違いがあまりない。
  • 大量の中途採用を行なった201X年と201X年の間から数年が経った今、その中途採用の人を中心に多くの退職者が発生中

Python学習メモ20170626

pie001.hatenablog.com

今日の進捗

Strings and Console Output - Date and Timeの全コースクリア

広告を非表示にする

Online Python IDE

What is the best online python IDE? - Quora

CODENVY

www.codenvy.com

無料プランあり

f:id:papamau:20170626180001p:plain

機能が多いみたいなので、後でじっくり見てみたい。

repl.it

repl.it - Online REPL, Compiler & IDE

repl.it - online REPL, Compiler & IDE

これは直感的で分かり易い!

f:id:papamau:20170626181618p:plain

Python 2.7もPython3も使えて、他の言語も豊富。

ideone

ideone.com

CodePad

codepad

runnable

Runnable: Catch bugs earlier.

Wandbox

wandbox.org

paiza.hatenablog.com

広告を非表示にする

Python学習メモ20170625

学習サイト

www.codecademy.com

ver 2.7.3 f:id:papamau:20170625222211p:plain

今日の進捗

Strings and Console Output - Strings and Console Outputの全コースクリア

応用のために利用するサイト

pythonfiddle.com

Free Online IDE and Terminal

広告を非表示にする