Python 開発環境 Jupyter Notebook

目次

FrontPage
・Windows11
・Chromebook
・Random
・機械学習
・さくらVPS
・Fedora13
・SuSe10
・Docker
・Ansible
・Java
・Scala
・Python
・Ruby
・Lisp
・Computer
・GIS
・HTML
・Culture
・Link

訪問者

total: 10984
today: 1
yesterday: 5
now: 7

更新

最新の10件

人気の10件

MenuBar

これは何？ †

• http://jupyter.org/
• Web 上で Python のちょっとしたコードを実行できる処理系

環境設定 †

• anaconda で python-env 隔離環境を作る → Python Python3のインストール(pyenv+anaconda編)
• 適当な作業ディレクトリ ~/PycharmProjects?/jupyter を作る

起動 †

[~]$ cd PycharmProjects/jupyter/
[~/PycharmProjects/jupyter]$ conda activate jupyter-env
(jupyter-env) [~/PycharmProjects/jupyter]$ jupyter notebook

これでブラウザが起動して、開発環境が起動する

PyCharm? からも Jupyter Notebook を起動できるし、ソッチのほうが便利 → Python 開発環境 PyCharm#s1303bb3

保存・終了 †

Noteの保存	[File]-[Save and Checkpoint]
Noteの終了	[File]-[Close and Halt]
Jupyter notebookの終了	jupyter notebook を起動したコンソールで Crtl+C。いきなりプロセスが落ちるのではなく、確認ダイアログが表示される

※ 特に設定を変更しなければ notebook は 120 秒ごとに自動保存される (左上に "(autoseved)" と表示される)

Notebook の作成 †

[New]-[Python3]

Notebook の編集 †

• Cell に、コードを記入します [▶Run] ボタンを押すと実行される
  
• Cell には、Code と Markdown を指定できる
  • Code には Python コードを書く。[▶Run] でコードが評価される
    
  • Markdown で、説明文を書くことができる
    

Code †

• Cell をまたいで Note全体が一つの Python モジュールになる
• 関数名のあとに?をつけて実行すると Docstring が表示される
  
• Shift+Tab で tooltip の表示
• Tab でコード補完
• Matplotlib などで、データをグラフ化して表示できる
  

Markdown †

• Markdown について → https://guides.github.com/features/mastering-markdown/
• 画像の貼り付け
  
  • Markdown モードの Cell に画像を Drag&Drop すると画像を貼り付けられる
  • Markdown 上は次のような表記になる

    # Python の lambda 式
    
    * lambda式は無名変数です
    * "lambda 引き数 : 処理" のように書きます
    * 主に map や filter の引き数に使います
    
    ![063.png](attachment:063.png)
    

  • 画像自体は note ファイル内に base64 エンコードされて保存される。削除する場合には Markdown Cell の [Edit Attachments] ボタンを押して削除する
    
    ※ [Edit Attachments]ボタンは [View]-[Cell Toolbar]-[Attachments] を選択しないと出てこない
• 数式の記述
  • Markdown 中で ＄＄ で囲われた領域に Texで数式を記述できる (数式の描画は https://www.mathjax.org/ で公開されている JS ライブラリ行われる。MathJax? が ＄＄ で囲われた領域を Tex とみなしてグラフィックに変換する)

    $$
    \left( 
    \begin{array}{c}
    x' \\
    y' \\
    1
    \end{array} 
    \right) 
    =
    \left( 
    \begin{array}{ccc} 
    m_{11} & m_{21} & d_{x} \\
    m_{12} & m_{22} & d_{y} \\
    0 & 0 & 1
    \end{array} 
    \right)
    \left( 
    \begin{array}{c}
    x \\
    y \\
    1
    \end{array} 
    \right)
    $$
    

  • 数式 Tex は、http://www.sciweavers.org/free-online-latex-equation-editor で作るのが便利
    

ln[]番号リセット †

• ひとつのセルを再実行するために ln[] 番号がカウントアップされる
• 上から順番に ln[] 番号を振り直したい場合は [Kernel]-[Restart & Run ALl ]
  
   
  

Magic Command †

• http://ipython.readthedocs.io/en/stable/interactive/magics.html
• https://github.com/ipython/ipython/wiki/Extensions-Index

Shellコマンド実行 †

!uname -srv

!のあとに Shell コマンドを記述して実行できる

図表 †

• matplotlib (グラフライブラリ)

  ln[1] %matplotlib inline
  
  ln[2] import matplotlib.pyplot as plt
        fig = plt.figure()
        ax = fig.add_subplot(111) # row1 col1 1st subplot
        dat = [0,1]
        ax.plot(dat)
        plt.show()

• pandas (データ処理)

  from IPython.display import display
  
  for cnt in rante(10)
    df = pd.DataFrame(...)
    display(df)

OSコマンドのラッパー †

• %command
  • http://ipython.readthedocs.io/en/stable/interactive/magics.html
• !の違いは、実行するOSの違いを隠してくれること
• また返値を返すので、これを python の変数に代入することができる

  ln[1] work = %pwd
  
  ln[2] with open(work + '/test.txt','r') as f:
          for row in f:
            print row.strip()
  
  ln[3] %ls

実行時間計測 †

ln[1] %time sum(range(10000))

ln[2] %timeit sum(range(10000))

%timeは1回実行。%timeit は 1000回実行時間のうち上位3位を表示

ln[3] %timeit -n 100 -r 5 sum(range(10000))

が100回実行時間のうち上位5位を表示

3rd party commands †

• https://github.com/ipython/ipython/wiki/Extensions-Index
• IPython SQL 良さげ https://pypi.org/project/ipython-sql/

Note の公開 †

• Github に push すると、Github 側の pre-view で notebook の実行結果を観ることができる
  • https://github.com/kagyuu/jupyter/blob/master/mynote.ipynb
    
     
    
• nbviewer
  • http://nbviewer.jupyter.org/
  • Git上にある notebook をレタリングしてくれる。
  • nbviewer.jupyter.org + レポジトリURL が Permalink になる。 http://nbviewer.jupyter.org/github/kagyuu/jupyter/blob/master/mynote.ipynb
    
  • ソースコードと docker image が公開されているので、自前の nbviewer を作ることもできる https://github.com/jupyter/nbviewer

外部から Notebook にアクセスする †

• Python の開発はもろもろ Ubuntu/Lubuntu の方が楽なので、Ubuntu 上で動いている Jupyter Notebook を macos 上からいじりたい

  [Lubuntu 計算マシン] -------- [Macbook]
  Corei7 6Core:12TH
  32GB Mem
  GTX1080 8GB

  あるいは

  [Lubuntu on VMWare] --------- [Macbook]
  2Core
  4GB Mem

• まずは名前解決のために、Ubuntu 側に avahi をインストールする

  $ sudo apt-get install avahi

• Jupyter Notebook の起動オプションで、外部からのアクセスを許可して、ブラウザを立ち上げないようにする

  (jupyter-env) atsushi@atsushi-virtual-machine:~/PycharmProjects/jupyter$ jupyter notebook --ip=* --no-browser
  [W 11:21:41.967 NotebookApp] WARNING: The notebook server is listening on all IP addresses and not using encryption. This is not recommended.
  [I 11:21:41.973 NotebookApp] Serving notebooks from local directory: /home/atsushi/PycharmProjects/jupyter
  [I 11:21:41.973 NotebookApp] 0 active kernels
  [I 11:21:41.973 NotebookApp] The Jupyter Notebook is running at:
  [I 11:21:41.973 NotebookApp] http://atsushi-virtual-machine:8888/?token=9c5551e3a29bdc15f505b8af52b4385d9297021b617208f9
  [I 11:21:41.973 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
  [C 11:21:41.973 NotebookApp] 
      
     Copy/paste this URL into your browser when you connect for the first time,
     to login with a token:
         http://atsushi-virtual-machine:8888/?token=9c5551e3a29bdc15f505b8af52b4385d9297021b617208f9&token=9c5551e3a29bdc15f505b8af52b4385d9297021b617208f9

• 初回だけ token 付きでアクセスすれば、次回からは token 不要。アクセスするときは bonjor/avahi なので、ドメイン名 local をつける

  http://atsushi-virtual-machine.local:8888

• 恒久的に対処する場合は

  $ jupyter notebook --generate-config

  で ~/.jupyter/ に設定ファイルが出力されるので、それを編集する

Python