MeCab導入、Word2Vec1で日本語Wikipediaデータの学習

  1. MeCab導入
  2. mecab-ipadic-NEologdの追加
  3. PythonからMecabを使えるようにする
  4. word2vecで日本語Wikipediaのデータを学習

という流れです。

１．MeCab導入
このへんのURLを参考に

２．mecab-ipadic-NEologdの追加
Gitのページに詳細が紹介されています

３．PythonからMecabを使えるようにする
pipでmecab-python3をインストール

pythonを起動してimport MeCabすると
GLIBCXX_3.4.20が見つからないと怒られた。
この辺のURLを参考にしてcondaでlibgccをインストールすると解決した。

m = Mecab.Tagger("")
m.parse("これはテスト")
とすると、utf-8のコーデックがどうのこうのと言われたので
apt-get install mecab-ipadic-utf8した。
（たしか先にインストールしたはずなんだけど、これでうまくいったのでOK）

MeCabの-dオプションがめんどくさい。
MeCab.Tagger("-d /usr/lib/mecab/dic/mecab-ipadic-neologd"）
ので、/etc/mecabrcのdicdirを書き換えた。

４．word2vecで日本語Wikipediaのデータを学習
参考URLはここ

冒頭でmecabとnaist辞書はインストールしなかった。
2017.2.28時点で最新のruby-2.4.0をインストールした。

コメント

コメントを投稿

このブログの人気の投稿

TightVNCでリモートデスクトップ

サーバー：Ubuntu LTS 16.04 クライアント：Windows 10 このページ（ http://blog.algolab.jp/post/2016/08/21/pyenv-anaconda-ubuntu/ ）の下の方から、元ネタ： http://blog.algolab.jp/post/2016/08/22/ubuntu-tightvnc-server/ に飛びます。 だいたい上のページの通りでいけたんだけど いくつかひっかかったところがあったのでめも。 その１． サーバーを立ち上げてクライアントからアクセスしようとすると 「接続が拒否されました」的なエラーメッセージ。 netstat -nltでサーバ側のポートを調べて、クライアント側で指定してやるとうまくいきました。 その２． クライアント側でウィンドウが立ち上がったんだけど、 全画面が灰色になってバツ印のカーソルがみえるだけでなにも操作できない。 サーバ側のログ(.vncディレクトリにある）を調べてエラーを潰していく。 今回僕が経験したのは４つ。 １．.Xresourcesファイルがないと怒られたのでtouchして作る ２．font (75dpi, 100dpi)がないと怒られたのでapt-get install ３．lxsessionがない（LXDE使用時)と怒られたのでapt-get install ４．~/.vnc/xstartupの編集 xrdb $HOME /.Xresources startxfce4 & # XLDEのときは lxsession -s LXDE & 上記以外はぜんぶコメントアウト おしまい 追記： いかのページが詳しい https://www.digitalocean.com/community/tutorials/how-to-install-and-configure-vnc-on-ubuntu-16-04 追記２： ログで↓みたいなメッセージがあるときはapt install overlay-scrollbar Gtk-Message: Failed to load module  "overlay-scrollbar"
続きを読む

firefoxからmidoriちゃんにのりかえ

firefoxでjupyter-notebookを開こうとしたら firefoxが起動しない。。。 ググっても簡単に治りそうな対応策はひっかからないので midoriを使って作業することにした。 midoriはapt install その語、jupyter-notebookのデフォルトブラウザをmidoriに変えようと 設定してみたんだけどうまくいかず。 jupyter-notebookを立ち上げて midoriを立ち上げ、 midoriにjupyter-notebookサーバのURLをコピペするというめんどくさい作業で対応中。 うーん。。。 ちなみにjupyter-notebookの設定法は 設定ファイルの作成 $jupyter notebook --generate-config 設定ファイルの変更 変更前：c.NotebookApp.browser='' 変更後：c.NotebookApp.browser='/usr/bin/midori' midoriの起動時に Gtk-Message: Failed to load module "gail" Gtk-Message: Failed to load module "atk-bridge" ってメッセージがでるので apt install libatk-adaptor libgail-common http://askubuntu.com/questions/548557/how-to-install-gail-and-atk-bridge
続きを読む

2016.09.30 Psychopy 日本語改行できない問題

イメージ
PsychoPy (v1.84.1)でfMRI用の刺激を書いています。 日本語の文章をエクセルの条件ファイルから読み込んで、提示させるのだけど そのままだと長い文章は画面からはみ出てしまう。 文章の途中で改行したい。 という訳で、なんやかんやとやっておりましたが 結論から言うと エクセルのセル内で改行する（Alt + Enter） だけ。 ちなみに、開発環境は Windows 10 Pro PsychoPy v1.84.1 （anacondaとは独立して入れてます） PsychoPyのPythonのバージョンは 2.7.11　（ PsychoPyのシェル画面でsys.versionと入力 ） 最初は、改行したいところに改行文字（\n）を挿入してたんだけど \nがそのまんま出力されて、改行できなかった。 ここ に同じような問題で困っている方がいたのだが 回答をみると、改行文字のようなエスケープシーケンスを処理できるのは クォーテーションやダブルクオーテーションで囲まれた 文字列リテラル だけのようだ。 read, readline, readlinesなどで読み込んだ文字列ではエスケープシーケンスが処理されないとのことなので、本事案も同じと考えてよいと思う。 ちなみに 以下がtrialsというpsychopy.data.TrialTypeクラスのインスタンスに条件を代入している箇所 trials変数のtrialListに施行ごとの条件が格納されているっぽい リストの中のdescriptionという変数に条件ファイルのdescriptionの中身を代入している。 つまり、 thisTrial = trials.trialList[0] description = thisTrial.description を実行している。 ここで、\n -> \\nという変換が自動的になされているようである。 Pythonのドキュメント によるとヴァージョン2.7以降で 窓や林檎の会合文字を扱えるようになったらしい。 今回の解決策はヴァージョン２．７以降で有効ということかもしれない。
続きを読む