も~~い~~く~つ~~ね~~る~~と~~~

おーーしょーーーうーーーがーーーつーーーーーー

カテゴリー: 未分類 | コメントをどうぞ

同じ初期値を用いた場合にUMAPはt-SNEよりも良いグローバル構造を保持するとは限らない(UMAPの方がt-SNEより良い結果を示すのは単に初期値の問題)

UMAP does not preserve global structure any better than t-SNE when using the same initialization – bioRxiv

一般に「UMAPの方がt-SNEよりも綺麗(データ構造をよく捉えられる)」という話について,UMAPの方がt-SNEより良好な結果を示すのは,初期値の取り方,どちらもコスト関数の最適化に最急降下法を用いるが,その際に初期値として,UMAPはラプラス固有写像(Laplacian Eigenmaps)を用いるが,t-SNEはランダムに初期値を取るが,それで結果に差が出ているだけで,手法にはさほど優劣はないという趣旨の論文(どちらも初期値をランダムに決めればpoorな結果に,どちらも初期値をきちんと(UMAP: LE, t-SNE: PCA)求めると良い結果に).ただし,(使っていても思うのは)UMAPの方が結果がコンパクトに纏まる傾向があるので,初期値次第でどちらの手法も大局的な構造を表現できるとしても,好みは分かれるのかなと.また,UMAPの方が処理速度が速い事に変わりはないので,UMAPが有用である事に変わりはない.

t-SNEの初期値としてはPCAを用いている.計算が簡単だからLEの代わりに用いた,と書いてあるが,それによってどれ位違いが出てくるのか気になる.固有値問題を解くという意味においては,同様の手法なのかも知れないけど,かたや線形モデル,かたや非線形モデルという事で,データによって結果は異なってくると思うけど.

カテゴリー: 未分類 | コメントをどうぞ

Zero-Shot Learningかー

本当は備忘録の為に細かく記載しておきたいが,詳細に書いて問題になったら嫌なので,ボカしながら書く(結局,後から見返して分からなくなるパターン……).

One-Shot LearningやFew-Shot Learningを調べていて,Zero-Shot Learningもあると知る.考えてみれば,今抱えている課題についても,問題設定をある程度抽象化(特徴ベクトル表現)して,学習データからその抽象化された問題に対して学習させられれば,Zero-Shot Learningも可能なのかなと.現状,すぐに実装できるかどうかはさておき,理論上は可能な気もするし,とりあえずはそれが出来ればインパクトは大きいなと.大きく2つのプランを考えている中で,一方のプランとはまた違った方向性として,こういう事を突き詰めていくのは,面白いし,有意味だなと思っている所.

結局,(ヒトも機械学習モデルも)domain-knowledgeをどの様にして獲得するかという所に行き着くんだよなあ.一番簡単なのは多読(大量のデータを与えて学習)する事だけど,やはり手間が掛かる.できるだけ効率的にやりたいってなると,エッセンシャルな知識の連関構造(ネットワーク)を作りながら学ぶ事が重要になる.それって,まさにknowledge-graphだし,そうやって一般化されたマッピングの結果,domain-knowledgeを獲得する事に繋がっていく.まあ,「だから?」という話だけど.

カテゴリー: 未分類 | コメントをどうぞ

スパース性とベイズ推定

L2ノルム最適化において,事前情報として独立した同一の正規分布を仮定する所,各要素に固有の分散を考える事でスパースネスな解が得られる(スパースベイズ推定).独立した成分(因子)という強い仮定を満たす時(信号が複数の独立した成分の加法的集合であると仮定できる時),スパース性を考える事とベイズ的に考える事は相関的というか,かたやスパーススパースといい,かたやベイズ因子分析,ベイズ判別分析(~ARD, Automated Relevance Determination;ガウス過程を用いた(非線形)回帰ではなくベイズ推定を用いた(線形)回帰)とベイズベイズ言っているけど,単純化すればどちらもL1ノルム最小化問題だなと(コストや制約,最適化手法でスパースネスに差が出てくるが).

カテゴリー: 未分類 | コメントをどうぞ

MDS(多次元尺度構成法)

おさらい.

MDS(多次元尺度構成法) – 日経リサーチ

(1)相関行列の固有値分解 ==> 主成分分析(因子分析)
(2)頻度行列の特異値分解 ==> コレスポンデンス分析(数量化3類)
(3)分散比行列の固有値分解 ==> 判別分析
(4)距離行列の固有値分解 ==> MDS

色々な名称があってよく分からなくなってくるけど.結局,スパースネスな解(基底群)を求めるという話.固有値分解はエルミート行列の特異値分解であり,処理対象が共分散行列(或いはそれを正規化した相関行列)の場合,主成分分析(PCA)になる.色々な言い方があるけど,何を処理するかで,「コレスポンデンス分析」や「MDS」と変わるらしい.L1ノルム最小化問題と考えれば,ベイズ推定を用いた,或いはガウス過程を用いた回帰によるARD(Automatic Relevance Determination)を考える事ができるし,よりスパースな解(尤もらしい解)を得たい場合,スパースモデリング(K-SVD法を用いた辞書学習)といった方法が考えられるのだろう.

カテゴリー: 未分類 | コメントをどうぞ

IMM(Interacting Multiple Model)法について

多重モデルを用いた車両と路面の状態推定に関する研究 – 日本大学生産工学部 [PDF]

Interacting Multiple Model (IMM) 法を用いた状態推定の有効性に関する検討 – 日本大学生産工学部 [PDF]

IMM Estimator – FilterPy 1.4.4 documentation

システムダイナミクスが複雑に変化し得る様な状況でも,IMM法は当て嵌まりが良いらしい.当て嵌まりの良いモデルが得られるという事は,その逆を考えれば良い状態推定の手法にもなり得るという事なので,例えばセンサ類の異常検知,故障分析等にも活用できそうだ.ただ,モード確率やマルコフ連鎖遷移行列とやらの最適化方法(どう決定すれば良いのか)がよく分からない.

カテゴリー: 未分類 | コメントをどうぞ

Few-Shot Learningについて

[ICLR2019] Few-Shot Learning by Exploiting Object Relation – Qiita

「新しいクラスの画像が極端に制限されている場合でも認識できるモデルを追求する Few-Shot Learning という分野」

新しいクラスの画像が1~5枚程度でも精度を出せるというのは魅力的.
(特に1枚の場合は「one-show learning」)
どうしても大量の(かつ質の高い)データを用意する部分がネックになるので,
Data Augmentationでどれだけ効果あるか,転移学習させるのか,
ドメイン適応を活用していくのかいろいろな選択肢,検討項目があるけど,
引き出しは多い方が良いし,Few-Shot Learningについておいおい勉強していきたい.

カテゴリー: 未分類 | コメントをどうぞ