思いついたときだけ書く日記

流暢にpythonでコンピュータとお話できるように python猛特訓中。 CourseraのPythonコースで概要を掴んで Codecademy と CodingBat で脊髄レベルに落としこむ作戦を展開。 良い世の中になったなー。 まさに技術革新！

シルバーウィークでした。 連休中にPythonとMachine Learningをしこたま勉強してやろうと思っていたんですが 風邪を引いてしまってふるわず。 午前中に勉強して 午後から具合悪くなって寝る、の繰り返しでした。 ベッドの上に寝転がっていても そうそう眠れるものではなかったので 積読消化をしておりました。 以下は連休中に読んだ本。 『家守綺譚』　梨木香歩 日常と非日常の交差が絶妙。 とても好きです。 『最後の喫煙者』　筒井康隆 初筒井作品。スプラッター。 『経済ってそういうことだったのか会議』　佐藤雅彦・竹中平蔵 竹中さんの話っておもしろい。 タイトルの通り、「そうだったのか！」ってなりました。 GYAOの無料映画も見ました。 『ぐるりのこと。』　橋口亮輔 リリーフランキーはやっぱりいい。 木村多江もめっちゃきれいでかわいかった。 ぐいぐいと引き込まれる映画でした。 『阪急電車』　三宅喜重 惰性で見た。 可もなく不可もなし。 今津線って一度もつかったことないから、 ぜんぜん土地勘なくて残念。

前回に引き続き、Machine Learning Foundationsのためのセッティング。 今回はその２： iPython Notebook iPython Notebookはブラウザ上でスクリプトを書いたり、実行することができるらしいです。 ブラウザを使うってことはWebへの公開もらくちん。 なだかすごいね。すごいねテクノロジー。 下は実際のスクリーンショットです。 ブラウザはChrome くわしくは こちらのページ を参考してください。 イメージとしては MATLABのパブリッシュ機能 に似てるなと思いました。 なんかもう、わざわざお金出してMATLAB使う必要ないんじゃないかと 思い始めた今日この頃。 Pythonたんたのしい。

Courseraで新たに機械学習のコースを受講することにしました。 「Machine Learning Foundations: A Case Study Approach」 このコースではPythonを使ってプログラムするようです。 最初の授業ではiPythonとiPython Notebook, そしてGraphLab Createをインストールするように 求められます。 どれもよーわからんですが、 とりあえずiPythonとiPython Notebookはすでにインストールされているようです。 Anacondaちゃんやりよるわ。 んで、GraphLab Createをインストールするんですが まずはGraphLab Createってなんぞ？ということで ユーザーズガイド の説明を抜粋してみます。 GraphLab Create is a Python package that allows programmers to perform end-to-end large-scale data analysis and data product development. Data ingestion and cleaning with SFrames. SFrame is an efficient disk-based tabular data structure that is not limited by RAM. This lets you scale your analysis and data processing to handle terabytes of data, even on your laptop. Data exploration and visualization with GraphLab Canvas. GraphLab Canvas is a browser-based interactive GUI that allows you to explore tabular data, summary plots and statistics. Network analysis with SGraph. SGraph is a disk-based gr...

仕事用のラップトップ（ Anacondaを導入したやつ ）でも コマンドプロンプト（cmd）からPythonを使えないか試してみました。 まずは環境変数の確認。 スタートメニュー⇒コンピュータ⇒システムのプロパティ⇒システムの詳細設定⇒環境変数 と辿っていって、「システム環境変数」の「Path」を確認します。 C:\Anaconda;C:\Anaconda\Scripts ちゃんとPathは通っていました。 ちなみに私の環境では、Pythonの実行ファイルはC:\Anacondaにあります。 つぎにコマンドプロンプトでPythonのコマンドを実行。 cmdをたちあげて、pythonを実行します。 Python 2.7.10が立ち上がりました。 ちゃんと使えています。 ついでに先日構築したPython3の環境も動作するか確認してみます。 コマンドラインでpython3の環境（beniensis)をアクティベートしてから pythonを実行します。 Python 3.4.3が起動しました。 Python 3の動作も確認します。 あれ？ >>print 'hello world' が通じない。。。なんで？ しらべてみたら、仕様がちょっと変わったみたいです。 >>print('hello world')   こうするとちゃんと通じました。よしよし。ワン！（Python犬） コマンドラインでスクリプトの実行 .py拡張子のファイルをpythonで開くように関連付けを行ったら コマンドラインでスクリプトを実行できるようになりました。 やりかたは、 コントロールパネル⇒プログラム⇒既定のプログラム⇒ 関連付けを設定する と進んでいって、 .py拡張子のファイルをpythonで開くように設定します。 めでたし、めでたし。

Programming for Everybody (Getting start with Python)というコースを受講し始めました。 講師の"Python is a dog."という言葉にがっちりハートをキャッチされちゃった結果です。 んで、PythonスクリプトをWindowsのコマンドプロンプトから実行するという課題があったんですが、 Anacondaちゃんではなかなかうまくいかない。。。 Anacondaのコンソールを使って >>hello.py って感じで実行しようとしても、そんなファイルねーよ！って怒られるた。 いや、講師の言葉を借りるとAnacondaは犬なので 「すみません、ご主人様、お言葉をちょっと理解できなかったんです。もうしわけありません。 っていってるらしいんですが。 まぁ、それはそれとして、あんまり時間をかけるのも嫌なので 自宅のPCに Python2.7.10 単体と Nodepad++ を別々にインストールして 試したらうまくいきました。 PythonとNotepad++はインストーラを実行するだけです。 ２つともインストールしおえたら、コマンドプロンプトを立ち上げます。 環境変数を設定してpythonを実行できるようにします。 ぼくはコマンドラインでpathを通しました。 PythonはC:\Python27にインストールされていたので 以下のようになります。 >> set path=%path%;C:\python27 あとは、コマンドライン上にスクリプトファイル名を打ち込めば実行できました。 >>hello.py hello, world!!    

気分転換（またの名を現実逃避）のために、Pythonを導入してみました。 Courseraの "Computational Neuroscience"というコースで紹介されていた方法 に従って導入しました。 Pythonにはいくつかのディストリビューションがあるようですが、 今回導入したのは The Anaconda Scientific Python Distribution です。 これまでの僕の理解によると、このディストリビューションは以下の点で優れているようです。 マルチプラットフォーム対応 自然科学分野で有益なライブラリが多くbuilt-inされている（numpy, matplotlib, schipy, etc） エクセルと簡単に連携できる conda とよばれる強力なパッケージ管理ソフトによって複数のバージョンを共存させ、簡単に管理することができる（アップデートなど） Matlab-likeな統合開発環境spyderを利用できる（built-in） Windowsの場合、インストールはいたって簡単でした。 The Anaconda Scientific Python Distribution のページかインストーラーをダウンロードして実行するだけ。 コンソールのみ（IPython QTconsole）を立ち上げて使うこともできますし、 Spyderを立ち上げてスクリプトを書いて実行することもできます。 ただ、Pythonのバージョンがデフォルトで2.7だったので Python3.4も入れてみることにしました。 ここらへんがanacondaの本領を発揮するところなんですかね。 とりあえず、anacondaとcondaのアップデートをしておきます。 anacondaのコンソールを立ち上げて以下のコマンドを実行。 >>conda update conda >>conda update anaconda   この作業はSypderのIPythonコンソールではできませんでした。 このへんがちょっとややこしくて、まだ十分に理解できてないのですが、 Pythonの各バージョンやSpyderはAnacondaで管理されているためだと...

Dr. NgによるMachine Learningを終え、 Huth et al., 2012 Neuronをなんとか読み込み、 今週からいよいよ手持ちのデータを解析してみます。 どうなることやら。 とりあえず、手持ちのデータを 機械学習→パラメータのPCA→PCの評価→PCの意味 みたいな流れで、どれだけ解析できるのか試してみようと思います。 んで、実験計画を具体的にブラッシュアップしていきます（願望）。 さて、それの作業に平行して Courseraで新しいコースを受講しようと思うのです。 （Courseraにはまってしまいましたｗ） 今興味のあるのは Data Analysis and Interpretation Specialization Machine Learning Specialization Coding the Matrix: Linear Algebra through Computer Science Computational Neuroscience Learning How to Learn Natural Language Processing あたりなんですが、上の3つはPythonを使うコースみたいです。 Pythonってこの分野ではよく使われているのだろうか。 一方で、Dr. NgはPythonよりもMATLAB/Octaveを強く勧めてたし、 Coding the Matrixのシラバスには、Pythonを使うのは教育的な目的で、 コース終了後にはMatlab/Octaveを使うことになるだろうと書いていたので、 コンピュータサイエンスでのMatlab/Octaveの優位性には変わりないのだろうか。 Pythonパイセンのことが気になりはじめた今日この頃。

これまたLibraryのマスターにオススメいただいた本です。 夢を追うことについて、深い洞察と多くの金言を与えてくれる本です。 座右の書にしようと思います。 これを書き終えたらAmazonでポチることにします。 一人の少年が自分の運命に従い、 スペインからサハラ砂漠を経てエジプトのピラミッドまでを旅し、 ついに夢にたどり着くまでのお話。 南米文学のかおりが漂うファンタジックなストーリーと （マルシアガルケスほどファンシーではないけど） 硬すぎずやわらかすぎない、とてもわかりやすい日本語訳に ぐいぐいと引き込まれました。 少年が旅の終盤で大いなる魂を知るときの描写は 禅やタオイズムを彷彿とさせました。 とても興味深い。 すべての探求は初心者のつきで始まる。そして、すべての探求は、勝者が厳しくテストされることによって終わるのだ。 しかし夢の実現を不可能にするものが、たった一つだけある。それは失敗するのではないかという恐れだ。 おまえは夢を実現する途中で死ぬのだ。それでも、自分の運命が何か知りもしない何百万人よりかは、ずっと良い死に方なのだよ。    

ひさびさに読書と映画にひたりました。 まずは読書から。 『家族の言い訳』 良く行くコンビニでふと目について、タイトルが気になったので買ってみました。 ためしに1ページ読んでみたら、とまらなくなってしまって一気に読みきってしまいました。 読みやすい文章と引き込まれる展開ってやつですかね。 どの家族にも多かれ少なかれ問題はあると思うのですが、 そんな問題を抱える8組の家族の短いストーリー。 さわやかに泣けました。 家族ってなんだろう。 いがみ合ったり、いくつもの問題を抱えながら それでも一緒にいる。 そんなにいやなら別れてしまえば良いのに。 そもそも結婚なんてしなければいいのに。 とか思っている（いた）のですが それだけでは語れない何かがあるのかもしれませんね。 家族には。 『BAR追分』 Libraryでお貸しいただきました。 マスターが「おもしろいよ」と薦めてくれました。 その言葉に偽りなし。 新宿の一角の路地にあるバー「追分」と 追分が店を構える「ねこみち横丁」を舞台に 横丁の住人たちが織り成すストーリー。 やっぱバーっていいよなー。 お互いがつかず離れず。 でもやさしさと暖かさに包まれる。 最後のお話にはとくにぐっときました。 つづいて、映画。 『James Brown』 フォーラム福島のスタンプが貯まって 無料鑑賞できたのでみてきました。 たのしい映画でした。 とくにライブシーンがとてもよく描写されていて まるでライブビューイングにきたみたいでした。 ジェームスブラウンってあんまりよく知らなかったんだけど 曲はどこかで聴いたことのあるものがおおくて 「おお！これか」とか思いながら見ているうちに どんどん引き込まれました。 ライブシーンと平行して ジェームスの生い立ちが描かれるんですが 挿入の仕方がとてもよかったです。 映画を見るまえは JBのことをただのファンキーなじいさんかと思ってたんですが 間違っていました。 JBはものすごくファンキーなじいさんです。 かっこいい。 『SAFE』 わ...

Dr. Ngのクラスもこれで最後。 わりとがんばってみたので、感慨もひとしおです。 Week10 Large scale machine learning データ数が数億に上るような機械学習の解説です。 所謂ビッグデータというやつですかね。 ひとつはアメリカ合衆国の国勢調査とかそんなの。 データが増えるとその分、計算量が増えます。 ひとつの学習をさせるのものすごい時間がかかったり、あるいは計算できなかったり。 そんなときの対処法として確率的最急降下法とかが紹介されています。 あるいは複数のコンピュータ（またはコア）を使った分散処理の仕方とか。 もうひとつはGoogleやAmazonのようなネットを介したオンラインデータの学習ですね。 これは日々目に触れる機会が多い技術ですよね、きっと。 ユーザのクリックをもとに映画や商品をオススメしたりするやつ。 基本的なアルゴリズムが解説されていて、知的好奇心を刺激してくれます。 Week11 いよいよ最後のセッション。 ここでは機械学習が現在挑んでいるOCRという話題について概説しています。 OCR: Optical Character Recognition 写真の中から文字列を検出して、それを認識するというもの。 ここで使われているアルゴリズムはこのクラスですでに解説されているものです。 ロジスティック回帰とか。 では、メインの話題はというと、中規模から大規模プロジェクトの開発における マネジメント方法を詳しく教えてくれます。 プロジェクトをいくつかのステップ（コンポーネント）にわけ、それぞれを別々に開発していくようなシチュエーションが該当すると思います。 システム全体の成績を上げたいとき（あるいはデバッグしたいとき）、 どのコンポーネントに人的・時間的リソースを割くのがもっとも効果的かを見分ける方法です。 アルゴリズムにとどまらず、開発のマネジメントまで解説してくれるとは ほんとうに至れり尽くせりな幹事が増す。 最後のQuizをクリアすると同時に、Congratulation！というメールが届きました。 You completed the course. Hard work pays off. とねぎら...

Week8: k-means clustering and PCA 教師なし学習としてK-means clusteringとPCAが取り上げられています。 K-means cluteringの説明がとてもわかりやすかった。 PCAは線形代数の知識をまるっとすっとばしてsvd（特異値分解の解を得るための関数）の使い方に終始。あくまでも機械学習のアプリケーションに重点をおく姿勢はぶれない。Dr. Ngはぶれない。 教育のあり方としても参考になりました。何が重要で何がそんなに重要でないかをはっきりと伝えてもらうことは、初学者にとってとてもありがたいです。 Week9: 異常検知とRecommendation どちらも実践的な話題です。 異常検知はクレジットカードの不正利用なんかの検出に使われているようです。 RecommendationはAmazonなどで商品をお勧めしてくるあれです。 異常検知でも線形代数の知識をがばっと端折って説明してくれます。 ありがとう、Dr. Ng でも、いつかはきちんと線形代数のおさらいをしなければ。 また、Courseraにお世話になろう。 Recommendationはいまやインターネットでは見かけない日はないくらい 身近な話題ですね。 Dr. Ngの解説を聞きながら感心しきりです。 とくにCollaborative filtering  algorithmはパラメータθだけでなく 特徴値まで推定してくれるという優れもの。 これには感心しました。 これはシステム解析にも使えるんじゃなかろうかと妄想しております。 脳の各段階で、どのような特徴量が抽出されているのかを機械学習的に割り出すことが できやしないものか。。。 妄想は膨らみます。 残すところあと２週。 今週中に完了させて、 自分のデータ解析に移りたい。 科研の書類に間に合うかな。

先週の水曜日からちょっと遅めの夏休み。 その前の安達太良登山も含めるとわりとしっかり夏休みました。 1日目：仙台うみの杜水族館 このなつにできたばかりの水族館。偵察がてらいってきましたが まわりをだだっぴろい空き地に囲まれて、ぽつんと建っていました。 ちょっとさびしい。 特筆すべき展示はというと、カキの養殖とかかな。 アシカとイルカのショーもけっこう盛り上がったな。 基本的に東北の人たちというのは、いいお客さんだと思う。 一生懸命盛り上がってくれようとしている、と感じる。 ２日目：越後妻有・大地の芸術祭 今回で2回目の参加となる芸術祭。 とても好き。今回も大変たのしめた。 今回は松之山温泉に宿をとって、1泊2日の日程でしっかりとめぐることにしました。 津南町エリアを廻ったのですが、どれもよかったです。 廃校になった小学校とか廃屋になった古民家をつかったインスタレーション、たのしかった。 あと、松之山温泉がとてもよかった。 こじんまりとした温泉街ですが、人里はなれたところでゆっくりと湯につかり ２００メートルくらいしかない温泉街をぶらぶらするのは ぼくの趣味によくあう。 「山愛」という定食屋でたべたカツ丼が壮絶にうまかった。 分厚いカツなんですが、肉に味がしっかりとして まるで良いステーキを食べてるみたいでした。 脂身は全然なく、赤身だけですが、筋張ったところなどなく 適度な肉の弾力が素敵でした。 ああ、思い出しただけで幸せになれる。 また行きたい。 ３日目：引き続き大地の芸術祭 松之山エリアから十日町エリアに移動して芸術祭を楽しみました。 あと一泊ほしかったかなー。 長岡市内のホテルで一泊。 駅近くで立ち寄った居酒屋がめっちゃうまかった。 たしか、昨年遊びに行ったとき現地の友達につれてってもらったとこ。 うまい。太る。 ４日目：ラファエル前派展＠新潟市美術館＋音楽と髭達＠ハードオフスタジアム 午前中は長岡から移動して、新潟市美術館でラファエル前派展。 フレデリック・ワッツの「『希望』のためのスケッチ」にしばし釘付けになった。 ほしい。これはほしい。 失明した女性が、一本しか弦のないハープを懸命に奏でる姿を描いたもの。 希望とは何たるかをドラマチックに表した傑作だと思う。 ...

今日はサポートベクターマシン（SVM）。 率直に言ってなんだか狐につままれたような気分です。 あいかわらずDr. Ngの解説は健在なのですが、 「これでSVMを使えるようになった！」という実感を得られませんでした。 最後のクイズや宿題をやれば、使える気分になるのかなーと思いながら 説明を聞いていったのですが、最後までなんだか腑に落ちない感覚がぬぐえませんでした。 現時点におけるSVMに対する理解は以下のようなものです。 ・ロジスティック回帰の改良版（？） ・コスト関数にmarginを設けた ・SVMはmarginを最大にするようにDecision boundaryを決定するため、直感的に「もっともらしい」分類が可能（そのためにはパラメータCをうまく設定してやる必要がある） 自分で書いていても、他人に説明できる気がしません。 marginが導入されたあたりから、僕の理解がいまいち追いついていないような気がします。 時間があるときにもう一度見直してみようと思います。 そんな読者の不安を察してか、Dr. Ngは終盤で 「アルゴリズムよりもデータの量や実装面でのスキル（エラー分析やデバッグ、フィーチャーのデザイン）のほうが重要」なんて言い出します。 それをいうと元も子もないような気がしますが 金言であるような気もします。 データがないのに解析方法ばかり気にしててもしょうがないですもんね。 実験屋としてはいかにきれいなデータ（実験計画も含めて）とってくるかっていうのが肝です。 Dr. Ngは上述の金言を踏まえて ロジスティック、ニューラルネットワーク、SVMを機械学習（教師あり）の３大アルゴリズムとして 習得することをお勧めしていました。 このレクチャーのいいところはDr. Ngがどこが大切で、なにがそんなに大切でないかということを わりときっぱりといってくれるところです。 初学者にはたいへんありがたい。

先週一週間は学会のため、MLの勉強はほとんどできなかったんですが 今日から再開。 Week6の確認問題で２回も躓いてしまったので、 RecallとPrecisionについてまとめてみました。 Recall: コースでは再現率と訳されていた。 実際に陽性なデータ（真陽性と偽陰性を含む）のうち、モデルによって陽性だと判断されたデータ（真陽性)の割合。 二項分類問題ではTPR (True Positive Rate）あるいはSensitivity（感度）と呼ばれるらしい。 統計学では検出力（1-β)にあたるものですかね。 Precision: コースでは精度と訳されていたもの。 モデルによって陽性だと判断されたデータ（真陽性と偽陽性）に対する真陽性の割合。 二項分類問題ではPPV (Positive Predictive Value)と呼ばれるらしい。 week6では上記の二つの指標を用いて、ゆがみのあるデータを分類するモデル（たとえばかなり低頻度で現れる疾患の診断するときの学習モデル）を評価する方法を解説していました。 感度や特異度、FDRなんかはたまに耳（目）にする用語なので これを機会にスライドにまとめてみました。 Ng博士をまねて、パワーポイントのペン機能をつかって スライドにいろいろ書き込んだのですが SlideShareにアップ したらペンで書き込んだ部分が消えてました。 ざんねん。 ペン機能にはまだ慣れが必要ですが 使っていて楽しいです。 僕が使っているのはワコムの無線型タッチパッドです。 薄くて持ち運びも便利。 http://www.wacom.com/en-gb/products/navigation/bamboo-pad-wireless

ちょっと体調崩れ気味です。 日曜日の夜に土湯温泉で湯に入ったあたりから からだがふわふわして、 昨日は暑いんだか寒いんだかよくわからんくなっていました。 んで、ML Week6の最後の問題をやりかけたまま 途中で放っておいたら、さきほどこんなメールが届きました。 Hi Masahiro Okamoto, We noticed that you didn’t pass Machine Learning System Design in Machine Learning yet! We wanted to remind you that there’s no penalty, so feel free to try again. Research shows testing will help you remember and apply the information more easily, so this exam is not only a way to gauge how well you’ve mastered the material - it will actually help you learn! 試験が難しくてへこたれてたわけではないんですが なんか元気がでました。 つくづくよくできたシステムです。 今日もがんばろう。

金曜日から土曜日にかけてWeek5のニューラルネットワークにトライしました。 難しかったです。。。 複数のステップがあり、それぞれのステップがわりと込み入っていたので 全体像を把握するのに時間がかかりました。 ビデオを見返し、宿題をやってなんとかコードを理解することができた（気がします）。 僕自身の問題はこれらを使いこなすことにあるので そこまでいたるには、 手持ちのデータやらをつかって練習していかんといかんなと感じております。 んで、昨晩から今朝にかけてはWeek6のモデル診断（Machine Learning Diagnostic）をやっているのですが、 ちょっと感動してます。 機械学習で採用する（した）モデルの妥当性を検証する手順を説明してくれています。 あらためて、ほんとに、コードを使えるようになるための講義を用意してくれてるんだな、と感じました。 Ng博士やプロジェクト関係者の至れり尽くせりなサービス精神に感銘しております。 あー、たのしい。 そろそろ自分のデータでいろいろいじりたくなってきました。 たのしみ。 そういえばWeek6のビデオ「Model selection and training/validataion/test sets1」の日本語字幕がずれていました。スライド一枚分ほどずれてしまっていたので、字幕を見てるとむしろ混乱してしまいました。字幕OFFで何度か見返して対応しました。あと、日本語字幕のテキストをダウンロードできるので、それも参考にしたんですが、最後のほうはなぜか訳されてなかったです。 そんなに難しいことをいってないのでとりあえずなんとかなりました（たぶん）。

Couseraで受講しているAndrew Ng氏のMachine Learning courseが楽しい。 わかりやすい（わかった気にさせてくれる）し、 課題の難易度もいい感で適度な達成感を味あわせてくれるので かなり気に入っています。 あと、Ng氏がたまにビデオで"Congratulation!!"とかいってほめてくれます。 ほめられるのが大好きな僕は、にやにやしながら動画を見ています。 Machine Learningの学習にとてもよいと思うのですが、 英語の勉強にもなるなーと感じてます。 とくに専門的な内容を英語で伝えるープレゼンするーときのリズムやイントネーションが 身についているような。。。 コースが終わったら 公開されている動画をiPodに入れて、通勤中の車内でシャドウイングしてみようと思う。 神経科学のコースを受講すると、実践的なプレゼン力が身につきそうなので 時間をみつけてやってみます。

これからの研究のために機械学習を勉強しようと思ったです。 機械学習学習、あるいはメタ機械学習。 以下の書籍（またはオンライン講座）で機械学習について学んで行く予定です。 実践を意識して、できるだけ自分の手でコードを書いて身につけられる教材を選んだつもりです。 プログラミングのための線形代数 Machine Learning by Andrew NG@Stanford フリーソフトで作る音声認識システム フリーソフトではじめる機械学習入門 はじめてのパターン認識 プログラミングのための確立統計 データ解析のための統計モデリング入門 ２は Coursera というオンライン講座（MOOC)で開講されています。 スタンフォードのAndrew Ngが教えてくれるそうです。たのしみ。 上記の教材をこなしたら、ビショップ本も読めるようになるのかしらん。 とりあえず、次の実験の解析法を具体的に考えられるくらいになるのが 当面の到達目標。 あと、以下の本も時間があるときに読んでおきたい。 深層学習（岡谷貴之） パターン・記号統合　基礎と応用―ペットロボットのペットらしさを求めて（ 不確実情報利用技術調査専門委員会, 電気学会不完全） 余裕があれば、随時、教材の感想を書いていく予定です。