Support Vector Machine

「多変量解析入門」小西貞則著, (SVM、凸最適化の簡潔な説明)
「カーネル法入門」福水健次著、朝倉書店

概説
https://en.wikipedia.org/wiki/Support_vector_machine
(Empirical Risk Minimizationの説明もある)

https://review-of-my-life.blogspot.com/2017/11/R-SVN.html

VC次元とSupport Vector Machineの解説
A Tutorial on Support Vector Machines for Pattern Recognition CHRISTOPHER J.C. BURGES
https://www.di.ens.fr/~mallat/papiers/svmtutorial.pdf

Kernel trick
http://www.cogsys.wiai.uni-bamberg.de/teaching/ss06/hs_svm/slides/SVM_Seminarbericht_Hofmann.pdf

Support Vector Machine の説明

Maximal Margin Classifier
Marginを最大にするseparating hyperplane を選ぶ
Margin とはトレーニングデータの各xからのhyperplane への符号付距離の最小値
（一番近い点からhyperplane への距離）
$\max_{\beta,\beta_0,\|\beta\|=1}M$
s.t. $y_i(x_i^T\beta+\beta_0)\geq M, \ i=1,\ldots,N$
$M$ はmarginを意味する。