Machine learning
LASSO リソースHastie, Tibshirani and Wainwright, Statistical Learning with Sparsity: The Lasso and Generalizations SLSと省略するLASSOの計算方法 Coordinate descent, SLS, p15Elastic Net, SLS chapter 4Fused Lasso, SLSGroup LassoAdaptive Lasso…
Survey Sylvain Arlot and Alain Celisse (2010). A survey of cross-validation procedures for model selection Statist. Surv.Volume 4 (2010), 40-79. Regression L. Breiman and P. Spector (1992). Submodel selection and evaluation in regression. …
variable importance in SVMthe importance of predictor variables for individual classes in svmFeature slection Optimal feature selection for support vector machines Minh Hoai Nguyen , Fernando de la Torre
Radmacher 平均Radmacher平均のテクニックを用いて、期待値と標本平均の差の期待値の上限を求める 機械学習で有用http://ttic.uchicago.edu/~tewari/lectures/lecture9.pdf
Support Vector Machine Support Vector Clustering Support Vector Regression https://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf Transductive support vector machines
統計的学習理論鈴木氏資料 http://ibisml.org/archive/ibis2012/ibis2012-suzuki.pdfVapnick氏論文 http://internet.math.arizona.edu/~hzhang/math574m/Read/vapnik.pdfSridharan氏の講義ノート（主に理論） http://www.cs.cornell.edu/courses/cs6783/2018…
カーネル法、カーネルトリックのリソース結構ある @kilometer氏のブログ https://qiita.com/kilometer/items/58376b9a103743329b2f福水氏の資料 http://www.ism.ac.jp/~fukumizu/OsakaU2014/OsakaU_1intro.pdf再生核ヒルベルト空間、その他 Jordan氏の講義ノ…
Support Vector MachineSVMのリソースページ http://www.svms.org/「多変量解析入門」小西貞則著, (SVM、凸最適化の簡潔な説明) 「カーネル法入門」福水健次著、朝倉書店概説 https://en.wikipedia.org/wiki/Support_vector_machine (Empirical Risk Minimiz…
CART Classification and Regression TreeCART のまとめは一度書いたがもう一度トライ 主に、Breiman Friedman, Olshen, Stone (BFOS)と下川・杉本・後藤に基づく。CARTは次の3つのプロセスから構成される (i) Tree を 最大まで（基準を満たすまで）成長させ…
RでCART rpart パッケージを使う。Recursive Partitioning: Large Companies and Glaucoma Diagnosis https://cran.r-project.org/web/packages/HSAUR/vignettes/Ch_recursive_partitioning.pdf (これが一番詳しい) https://www.r-bloggers.com/using-cart-i…
Random forest : Use of out-of-bag data Generalization error を推定するout-of-bag 推定という巧妙な方法がある。Generalization errorは ] で定義される。ただし はトレーニングセットRandom Forest は、Bagging (Bootstrap aggregation)とtreeのsplit …
Random Forest と統計的推論Athey and Wager Wager established asymptotic normality of predictor. Wager, Hastie and Efron (2014) proposed the infinitesimal jackknife to construct a confidence interval with Random Forest. Ｑ：regression tree …
BoostingBoosting の考え方は非常に面白い。 Base Learner の弱いところを見つけ、強化していく。 Boosting はメタアルゴリズム。（Base Learner がインプット。） 複数回強化したBase Learner の重み付平均（重み付投票）が Boosting learner である。CART…
