coursera 機械学習コース 1週目 まとめ

学んだことの整理を目的として、

courseraの機械学習コースの講義を週ごとにまとめていく。

 

機会学習とは

アーサー・サミュエルの定義(1959)

Machie Learning:

Field of stody that gives computers the ability to learn without being explicityle programmed. 

 訳) コンピュータに明示的にプログラムすることなく学習する能力を与える研究分野。

 

これから書いていくような、「線形回帰」などの数学の分野を使って、

コンピュータに能力を与えていくわけか。

 

トム・ミッチェルの定義(1998)

Well-posed Learning Problem: A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.

訳) コンピュータ・プログラムは、ある課題Tについて、ある性能基準Pに基づき、もしTについての性能が基準Pで測定して、経験Eと共に改善している場合に、経験Eから学習したと言うことが出来る。

チェスで相手に勝つためのプログラムでいうと、

T: チェスのプレイ, P: 相手に勝つ確率, E: 1000回のチェスのプレイ

 

アルゴリズムの種別

教師あり学習

アルゴリズムに与えたデータセットに「正しい答え」が与えられている。

・回帰問題: 連続値の出力

例) 家賃の予測

・クラス分類: 分類の出力

例) 腫瘍が悪性か良性かを判断する

 

教師なし学習

アルゴリズムに与えたデータセットに「正しい答え」が与えられていない。

クラスタリング: 出力結果から別々のクラスタに分類する。

例) 記事のトピック分け,  

 

 教師あり学習アルゴリズムの仕組み

f:id:ryoo_jp:20190418112620p:plain

教師あり学習アルゴリズムの仕組み

図のように、訓練データを学習アルゴリズムに読み込ませ、仮説関数を作成。

その仮説関数に変数を入力し、出力結果を得る。

 

・仮説関数(単回帰の場合)

\Large h(\theta)=\theta_{0}+\theta_{1}x

※単回帰の単は変数が一つだということを表す。

この仮説関数のうち、予測に最適な\theta_{0}\theta_{1}を見つける。

 

・目的関数

仮説の二つのパラメータの最適値を見つけ出す関数のことを指す。

f:id:ryoo_jp:20190418121918p:plain

目的関数

仮説関数の出力と訓練データの差の2乗の合計を、全訓練データで行う。

それを平均したものが目的関数。

※2乗するのは、+や-の符号を考えなくするため。

 

この目的関数を最小化する\theta_{0}\theta_{1}を、

より効率的に見つけるのがやりたいことである。

 

最急降下法

f:id:ryoo_jp:20190418125047p:plain

最急降下法アルゴリズム

f:id:ryoo_jp:20190418125322p:plain

仮説関数を代入した結果




以降は行列の演算方法。

省略する。

 

 

学習のポイント

ng教授はこう述べていた。

 

アルゴリズムを実践的に正しく使うことを学ぶことが重要。

アルゴリズム自体を知っても意味がないということ。

また、

多くのシリコンバレーの開発者は、Octave を使ってアルゴリズムを試作し、のちにC++Javaに移植する。

生産性を高めるためにOctaveから始めることを強く推奨されていた。

 

頑張るぞー。