Python

Pythonのウェブマイニングアプリケーションライブラリ3選

DebianパッケージにあるPythonのウェブマイニングアプリケーションライブラリをインストールしていきます。

インストール環境とソフトウェアのバージョン

  • OS:Debian Buster(testing)
  • python-scrapy:python3-scrapy(1.5.1-1)
  • statsmodels:python3-statsmodels(0.8.0-9)
  • scikit-learn:python3-sklearn(0.20.2+dfsg-6)

python3-scrapy-ウェブスクレイピング、クローリングフレームワーク

Scrapyは、ウェブサイトをクロールし、それらのページから構造化されたデータを引き出すのに使われている、速くてハイレベルなスクリーンスクレイピング、ウェブクローリングフレームワークです。

データマイニングからモニタリング、自動テストまで、広い範囲の目的のために使うことができます。

apt-get install python3-scrapy

python3-statsmodels-統計モデルの見積りのためのモジュール

statsmodels Python3
moduleは統計モデルのさまざまなカテゴリーの見積りのためのクラスや関数を提供します。

apt-get install python3-statsmodels

python3-sklearn-機械学習とデータマイニングのためのモジュール

scikit-learnは機械/統計学習やデータマイニングと関連があるPythonモジュールのコレクションです。

apt-get install python3-sklearn

Pythonのニューラルネットワークライブラリ3選

Pythonは、非常に多くの有益なライブラリや非常に広大なコミュニティなどから、最も広く使われているプログラミング言語の1つと言われています。

この記事では、仕事ですぐ使えるニューラルネットワークライブラリをまとめてみました。

DebianパッケージにあるPythonのニューラルネットワークライブラリをインストールしていきます。

インストール環境とソフトウェアのバージョン

  • OS:Debian Buster(testing)
  • Keras:python3-keras(2.2.4-1)
  • Lasagne:python3-lasagne(0.1+git20181019.a61b76f-1)
  • python-fann2:python3-fann2(1:1.1.2+ds-1)

Keras-TheanoやTensorFlow上で動くディープラーニングフレームワーク

Kerasはdeep (multi-layered) artificial neural networks
(DNN)に基づいた機械学習のためのPythonライブラリです。
それは素早い実験にフォーカスした最小のモジュールデザインに従います。

apt-get install python3-keras

Lasagne-Theanoに加えてビルドするディープラーニングライブラリ

LasagneはTheano(数学表現コンパイラ)に加えて深層(複層)人工ニューラルネットワークを作り、好みの形に仕立てるためのPythonライブラリです。

そのための他の抽象レイヤー、例えばKerasのようなものと比較して、それは、Theanoをできるだけ小さく抽象化します。

apt-get install python3-lasagne

python-fann2-FANNのためのPython3バインディング

Fast Artificial Neural
Networkライブラリは自由なオープンソースのニューラルネットワークライブラリです。

apt-get install python3-fann2

PythonのNLPライブラリ4選

DebianパッケージにあるPythonのNLPライブラリをインストールしていきます。

インストール環境とソフトウェアのバージョン

  • OS:Debian Buster(testing)
  • The Natural Language Toolkit (NLTK):python3-nltk(3.4-1)
  • python-thinc:python3-thinc(6.12.1-1)
  • python-pattern:python-pattern(2.6+git20150109-3)
  • python-pynlpl:python3-pynlpl(1.1.2-1)

The Natural Language Toolkit (NLTK)

自然言語処理のためのPython3ライブラリです。

apt-get install python3-nltk

python-thinc

NLPのための実用的な機械学習ライブラリです。

apt-get install python3-thinc

Pattern

Pythonのためのウェブマイニングモジュールです。

apt-get install python-pattern

PyNLPl

自然言語処理のためのライブラリです。

apt-get install python3-pynlpl

Pythonのデバッギングツール10選

DebianパッケージにあるPythonのデバッギングツールをインストールしていきます。

インストール環境とソフトウェアのバージョン

  • OS:Debian Buster(testing)
  • ipdb:python3-ipdb(0.11-1)
  • pudb:python3-pudb(2018.1-1)
  • winpdb:winpdb(1.4.8-3)
  • pydb:pydb(1.26-2)
  • DDD:ddd(1:3.3.12-5.1+b2)
  • Thonny:thonny(3.1.2-1)
  • Mu:mu-editor(1.0.2+dfsg-2)
  • pythontracer:pythontracer(8.10.16-1.2)
  • icecream:python3-icecream(1.3.1-1)

デバッガ

PDB

コードを1ステップで見ていくデバッガです。

python3.7をインストールすると「/usr/bin/pdb3.7」
にPython3系のデバッガがインストールされます。

システムの「/usr/bin/pdb」がまだ「/usr/bin/pdb2.7」にリンクされているので

「~/bin」にパスが通してあるとして、

ln -Ls /usr/bin/pdb3 ~/bin/pdb 

として、Python3系のデバッグコマンドにシンボリックリンクします。

「/usr/bin/pdb3」は現在「/usr/bin/pdb3.7」にシンボリックリンクしています。

ipdb

タブ補完、シンタックスハイライトなどを加えたpdbを置き換えるデバッガです。

Debianでは「python3-ipdb」というパッケージなのでこれをインストールします。

apt-get install python3-ipdb

pudb

フルスクリーンのコンソールベース Python デバッガです。

Python3系は「python3-pudb」というパッケージなのでこれをインストールします。

apt-get install python3-pudb

winpdb

プラットフォームに依存しない Python デバッガです。

apt-get install winpdb 

pydb

強化されたPythonのコマンドラインデバッガです。
DDDと使うのに適しています。

apt-get install pydb

DDD

グラフィカルなデバッガフロントエンドです。

apt-get install ddd

デバッグ機能付のIDE

thonny

初心者向けのPython IDEです。

apt-get install thonny

Mu

初心者Pythonプログラマのための簡単なエディタです。

apt-get install mu-editor

特定目的のためのツール

pythontracer

Pythonプログラムの実行時トレイサー、プロファイラーです。

apt-get install pythontracer

icecream

Pythonスクリプトのためのデバッギングツールです。

apt-get install python3-icecream

リンク

PythonDebuggingTools – Python Wiki