機械学習の面白さ

私が機械学習について、色々書いても有益な情報は提供できないと思いますが、私の整理として少し書きたいと思います（だらだら、へぇへぇポイントを書いているだけです）。

私が解析学を使って諸問題にどういう切り口を入れるか挑んでいた自体も、部分的に線形化してそれをMatlabでアルゴリズムのループ計算で収束して停留点の解を得るといったことはやっていました。

鞍点解の問題や凸性の問題があげられる一方、うまくアロナグ（線形）化してアルゴリズムを設計できれば特に関数の連続性にとらわれない自由な公理体系のもとに解を算出できる期待を感じていました。

動的計画法など期待に胸を膨らませてやっておりましたが。。。

特微空間（再生核ヒルベルト空間）で線形アルゴリズムを用いるなんて。。。

当時、甘利俊一先生の研究を知っていたら、もう少しまともな論文めいたものができていたかもしれません。扱いきれなくて身動きできなくなるだけだったかもしれませんが。

微分（勾配）に合わせて誤差を減らすようにパラメーターを微調整していく確率的勾配降下法の発想は優れたものです。非凸でも局所的な最適解に陥らずに最もらしい解にもっていくようなところ、データサイズに依存しない精度という、特に前者は深く知る必要がある気がします。

ミニバッチも非常に統計や数値計算的な手法で、モンテカルロ法を彷彿させます。

凸解析の上では最適化問題として、データへの当てはまりを表す項と複雑さを表す項（正則化項）の二項で記述されるようですが、これは幾何ブラウン運動のようです。

正則化学習を再生核ヒルベルト空間におけるノルムで記述する（カーネル法）ことで最適化問題を有次元におとしこめること、ヒンジ損失関数による二値判別問題をサポートベクトルマシンということなど、少しずつ用語が結びつきあります。

測度論やっていると〇〇マシンに従えば問題の解にたどり着くみたいなことに出くわすイメージです。

離散凸解析なら正格子上でアルゴリズムによる解の収束点をどうやって得ようかと、劣モジュラ性で問題を取り扱いやすいサイズに落として、（中略）とか考えていたのも15年以上前です。おそろしいものです。そして、劣モジュラ性と書かれた機械学習の書籍は10年前に出ています。う～ん、、、

こういったこととニューラルネットワークを結び付けて、私が何を得られるかが重要だと思います。

今のところは斜め読みしながら、自分がやってきた模索的学習との接点をみつけてニヤニヤしたり落ち込んだりするレベルでしかできていませんが。。。

岡野原先生の『対称性と機械学習』や雑誌「数理科学」を読みながら、う～んと首をかしげていたら私のGWが終わっているんだろうなと思います。

最後までお読みいただき、申し訳ございません。　　　(有)アイ・エス・オー　長友