Pythonのウェブマイニングアプリケーションライブラリ3選

DebianパッケージにあるPythonのウェブマイニングアプリケーションライブラリをインストールしていきます。

インストール環境とソフトウェアのバージョン

  • OS:Debian Buster(testing)
  • python-scrapy:python3-scrapy(1.5.1-1)
  • statsmodels:python3-statsmodels(0.8.0-9)
  • scikit-learn:python3-sklearn(0.20.2+dfsg-6)

python3-scrapy-ウェブスクレイピング、クローリングフレームワーク

Scrapyは、ウェブサイトをクロールし、それらのページから構造化されたデータを引き出すのに使われている、速くてハイレベルなスクリーンスクレイピング、ウェブクローリングフレームワークです。

データマイニングからモニタリング、自動テストまで、広い範囲の目的のために使うことができます。

apt-get install python3-scrapy

python3-statsmodels-統計モデルの見積りのためのモジュール

statsmodels Python3
moduleは統計モデルのさまざまなカテゴリーの見積りのためのクラスや関数を提供します。

apt-get install python3-statsmodels

python3-sklearn-機械学習とデータマイニングのためのモジュール

scikit-learnは機械/統計学習やデータマイニングと関連があるPythonモジュールのコレクションです。

apt-get install python3-sklearn

Pythonのニューラルネットワークライブラリ3選

Pythonは、非常に多くの有益なライブラリや非常に広大なコミュニティなどから、最も広く使われているプログラミング言語の1つと言われています。

この記事では、仕事ですぐ使えるニューラルネットワークライブラリをまとめてみました。

DebianパッケージにあるPythonのニューラルネットワークライブラリをインストールしていきます。

インストール環境とソフトウェアのバージョン

  • OS:Debian Buster(testing)
  • Keras:python3-keras(2.2.4-1)
  • Lasagne:python3-lasagne(0.1+git20181019.a61b76f-1)
  • python-fann2:python3-fann2(1:1.1.2+ds-1)

Keras-TheanoやTensorFlow上で動くディープラーニングフレームワーク

Kerasはdeep (multi-layered) artificial neural networks
(DNN)に基づいた機械学習のためのPythonライブラリです。
それは素早い実験にフォーカスした最小のモジュールデザインに従います。

apt-get install python3-keras

Lasagne-Theanoに加えてビルドするディープラーニングライブラリ

LasagneはTheano(数学表現コンパイラ)に加えて深層(複層)人工ニューラルネットワークを作り、好みの形に仕立てるためのPythonライブラリです。

そのための他の抽象レイヤー、例えばKerasのようなものと比較して、それは、Theanoをできるだけ小さく抽象化します。

apt-get install python3-lasagne

python-fann2-FANNのためのPython3バインディング

Fast Artificial Neural
Networkライブラリは自由なオープンソースのニューラルネットワークライブラリです。

apt-get install python3-fann2

PythonのNLPライブラリ4選

DebianパッケージにあるPythonのNLPライブラリをインストールしていきます。

インストール環境とソフトウェアのバージョン

  • OS:Debian Buster(testing)
  • The Natural Language Toolkit (NLTK):python3-nltk(3.4-1)
  • python-thinc:python3-thinc(6.12.1-1)
  • python-pattern:python-pattern(2.6+git20150109-3)
  • python-pynlpl:python3-pynlpl(1.1.2-1)

The Natural Language Toolkit (NLTK)

自然言語処理のためのPython3ライブラリです。

apt-get install python3-nltk

python-thinc

NLPのための実用的な機械学習ライブラリです。

apt-get install python3-thinc

Pattern

Pythonのためのウェブマイニングモジュールです。

apt-get install python-pattern

PyNLPl

自然言語処理のためのライブラリです。

apt-get install python3-pynlpl

Pythonのデバッギングツール10選

DebianパッケージにあるPythonのデバッギングツールをインストールしていきます。

インストール環境とソフトウェアのバージョン

  • OS:Debian Buster(testing)
  • ipdb:python3-ipdb(0.11-1)
  • pudb:python3-pudb(2018.1-1)
  • winpdb:winpdb(1.4.8-3)
  • pydb:pydb(1.26-2)
  • DDD:ddd(1:3.3.12-5.1+b2)
  • Thonny:thonny(3.1.2-1)
  • Mu:mu-editor(1.0.2+dfsg-2)
  • pythontracer:pythontracer(8.10.16-1.2)
  • icecream:python3-icecream(1.3.1-1)

デバッガ

PDB

コードを1ステップで見ていくデバッガです。

python3.7をインストールすると「/usr/bin/pdb3.7」
にPython3系のデバッガがインストールされます。

システムの「/usr/bin/pdb」がまだ「/usr/bin/pdb2.7」にリンクされているので

「~/bin」にパスが通してあるとして、

ln -Ls /usr/bin/pdb3 ~/bin/pdb 

として、Python3系のデバッグコマンドにシンボリックリンクします。

「/usr/bin/pdb3」は現在「/usr/bin/pdb3.7」にシンボリックリンクしています。

ipdb

タブ補完、シンタックスハイライトなどを加えたpdbを置き換えるデバッガです。

Debianでは「python3-ipdb」というパッケージなのでこれをインストールします。

apt-get install python3-ipdb

pudb

フルスクリーンのコンソールベース Python デバッガです。

Python3系は「python3-pudb」というパッケージなのでこれをインストールします。

apt-get install python3-pudb

winpdb

プラットフォームに依存しない Python デバッガです。

apt-get install winpdb 

pydb

強化されたPythonのコマンドラインデバッガです。
DDDと使うのに適しています。

apt-get install pydb

DDD

グラフィカルなデバッガフロントエンドです。

apt-get install ddd

デバッグ機能付のIDE

thonny

初心者向けのPython IDEです。

apt-get install thonny

Mu

初心者Pythonプログラマのための簡単なエディタです。

apt-get install mu-editor

特定目的のためのツール

pythontracer

Pythonプログラムの実行時トレイサー、プロファイラーです。

apt-get install pythontracer

icecream

Pythonスクリプトのためのデバッギングツールです。

apt-get install python3-icecream

リンク

PythonDebuggingTools – Python Wiki

Google Stadiaのすべてのゲームリスト(E3のタイトルもアップデート中)

日本でのサービスインは未定ですが、GoogleStadiaのゲームリストをまとめているサイトがあったのでシェアします。

Google Stadia games: Here’s the full list (Updated with E3 titles!) – Android Authority

この中で日本のゲーム会社が作っているソフトは、

Dragon Ball Xenoverse 2: Namco Bandai’s fighting game, based on the
popular anime, will be available on Stadia.

Final Fantasy XV: The
Square Enix fantasy action-RPG will make an appearance on Stadia.

ドラゴンボールゼノバース2,ファイナルファンタジーXVだけですね。

これから、もっと多くの日本のゲームがでてくるといいですね。

Android Studioは来年32ビットシステムのサポートを終了します

Android Developers Blog: Moving Android Studio and Android Emulator to 64-bit versions

によると、GoogleはAndroid Studioが2020年から32ビットPCの終了することを発表しました。

長年にわたって主流となってきた64ビット処理の効率化をより推進するためです。

その記事の表によると、2019年12月31日に32ビット版のアップデートサポートが終了し、その後1年間ですべてのサポートが終了するそうです。

同様に、Android Emulator32ビット版のサポートもは2020年末に終わります。

F#をLinuxで動かすのに必要なソフトと設定

インストール環境

  • OS:Debian Buster(testing)

インストールするのは、Debian 10です。

設定

https://dotnet.microsoft.com/download/linux-package-manager/debian9/sdk-current

で書かれているとうりにします。

インストールするソフトがdebian9用なので、追加でバージョンの古い以下のソフト

  • libssl1.0.2~1~.0.2r-1~deb9u1amd64~.deb
  • libicu57~57~.1-6+deb9u2~amd64~.deb

をインストールしました。

dpkg -i libssl1.0.2_1.0.2r-1_deb9u1_amd64.deb
dpkg -i libicu57_57.1-6+deb9u2_amd64.deb
apt-get install dotnet-sdk-2.2

エディタEmacs

Emacsにはfsharp-modeというメジャーモードがあるのでこれをインストールします。

packageでfsharp-modeを入れ、

https://github.com/fsharp/emacs-fsharp-mode

に書いてあるとおりに、

(add-to-list 'load-path "~/.emacs.d/fsharp-mode/")

ロードパスを通し、

(autoload 'fsharp-mode "fsharp-mode"     "Major mode for editing F# code." t)
(add-to-list 'auto-mode-alist '("\\.fs[iylx]?$" . fsharp-mode))

設定をしました。

GitHubへSSH,GPG keyを登録する

[改訂新版]Emacs実践入門の4.4Webサービスを用いたバックアップで躓いたので解決策をメモしておきます。

GitHubへプッシュする前にGitHubのアカウントを作成します。

GitHub

アカウント作成後、右上のボタンから「Settings」⇒「SSH and GPG keys」を選びます。

「New SSH key」と「New GPG key」ボタンを押しそれぞれのキーをペーストし登録します。

SSHキーやGPGキーを作成していない場合

SSHキーは、 Connecting to GitHub with SSH – User Documentation

を見ながら作成します。

また、GPGキーの作成方法も、 Signing commits with GPG – User Documentation

にあるので参照し作成します。

Debian testing(Buster)で使える4つの軽量イメージビューワー

 

現在shotwellを写真管理に使っているので結構重くなっています。

そこでGnomeで簡単に使えるイメージビューワーを調べてみました。

Feh

Fehの解説

imlib2ベースのイメージビューワーです。コマンドラインから起動しスライドショウ、サムネイル表示などを備えています。

さすがにコマンドラインからの起動は一番速いです。

imlib2 based image viewer feh is a fast, lightweight image viewer which uses imlib2. It is commandline-driven and supports multiple images through slideshows, thumbnail browsing or multiple windows, and montages or index prints (using TrueType fonts to display file info). Advanced features include fast dynamic zooming, progressive loading, loading via HTTP (with reload support for watching webcams), recursive file opening (slideshow of a directory hierarchy), and mouse wheel/keyboard control.

Fehのインストール

# apt-get install feh

Fehのカスタマイズ

カスタマイズするための情報は’/usr/share/doc/feh/examples’にあります。

Ristretto

Ristrettoの解説

もとはXfceデスクトップ環境のための軽量画像ビューワーです。

もちろん他のデスクトップ環境(Gnomeなど)でも使えます。

lightweight picture-viewer for the Xfce desktop environment Ristretto is a fast and lightweight picture-viewer for the Xfce desktop environment.

Ristrettoのインストール

# apt-get install ristretto

Ristrettoのカスタマイズ

プルダウンメニューの「編集」から「設定」を選びます。

出てきたウィドウの「振る舞い」タブをクリックします。

デスクトップをXfceからGNOMEへ変更します。

Mirage

Mirageの解説

GTK+ウィジットを使ったイメージビューワーです。

fast and simple GTK+ image viewer Mirage is ideal for users who wish to keep their computers lean while still having a clean image viewer. . Features:

  • Supports png, jpg, svg, xpm, gif, bmp, tiff, and others
  • Preloading to navigate faster through images (optional)
  • Thumbnail pane for quick navigation
  • Slideshow and fullscreen mode
  • Rotating, zooming, flipping, resizing, and cropping
  • Custom user actions
  • Screenshot

Mirageのインストール

# apt-get install mirage

コマンドを実行すると依存関係にあるパッケージもインストールされます。

Mirageのカスタマイズ

プルダウンメニューの「Edit」から「Preferences」を選びます。

出てきたウィドウの各タブをクリックし変更していきます。

今回は何も変更しませんでした。

Nomacs

Nomacsの解説

WindowsやLinuxで動く同じコンピュータやLAN上で同期がとれるイメージビューワーです。

image viewer with capability of syncing multiple instances nomacs is a free image viewer for Windows and Linux systems, which is licensed under the GNU General Public License v3. nomacs is small, fast and able to handle the most common image formats. Additionally it is possible to synchronize multiple viewers. A synchronization of viewers running on the same computer or via LAN is possible. It allows one to compare images and spot the differences (e.g. schemes of architects to show the progress).

Nomacsのインストール

# apt-get install nomacs

コマンドを実行すると依存関係にあるパッケージもインストールされます。

Nomacsのカスタマイズ

プルダウンメニューの「編集」から「設定」を選びます。

出てきたウィドウの各タブをクリックし変更していきます。

今回は何も変更しませんでした。

GNOMEの既定のアプリケーション(写真)をRistrettoに変更

Ristrettoが起動が速くサムネイル表示など必要な機能を持っていたのでGNOMEの既定アプリに設定します。

GNOMEの「すべての設定」ウィンドウを開きます。

システムの「Details」をクリックします。

既定のアプリケーションタブの「写真」アプリケーションに「Ristretto」を選択します。

ASUS Chromebook C300SAがAndroidアプリに対応

Android Policeによると現地時間15日、ASUS Chromebook C300SAを含む16機種が、新たにAndroid OS向けアプリへの対応したそうです。

Androidアプリを利用するには、Chrome OSの設定を「Stable(安定版)チャンネル」から「Beta(ベータ版)チャンネル」へと変更する必要があります。

変更方法はこちら ⇒ Stable、Beta、Dev チャンネル – Chromebook ヘルプ

Googleは、2017年以降に発売予定の全Chromebookで、Androidアプリの実行を可能にする予定です。

Windows 10 s搭載のノートパソコンが出てきてからどうなるのか、国内でChromebookが盛り返すことがありうるのか今夏以降注目ですね。