Ｒで2標本問題竹澤氏 http://cse.naro.affrc.go.jp/takezawa/r-tips/r/65.html松岡氏の記事 2標本問題の新展開~古典的手法からカーネル法まで~ https://qiita.com/yuchi_m/items/7132b426d848dc81ad9f

R 欠損値の処理実際のデータ分析では欠損値が頻繁に表れる。特にglm, lm などでNAがあるobservations がdeleteされるので、 その処理に以下のページの説明が非常に役立つ。 関数complete.cases()を使う。https://stackoverflow.com/questions/23345419/r-fla…

Random forest : Use of out-of-bag data Generalization error を推定するout-of-bag 推定という巧妙な方法がある。Generalization errorは ] で定義される。ただし はトレーニングセットRandom Forest は、Bagging (Bootstrap aggregation)とtreeのsplit …

Random Forest と統計的推論Athey and Wager Wager established asymptotic normality of predictor. Wager, Hastie and Efron (2014) proposed the infinitesimal jackknife to construct a confidence interval with Random Forest. Ｑ：regression tree …

BoostingBoosting の考え方は非常に面白い。 Base Learner の弱いところを見つけ、強化していく。 Boosting はメタアルゴリズム。（Base Learner がインプット。） 複数回強化したBase Learner の重み付平均（重み付投票）が Boosting learner である。CART…

CART Classification and Regression Tree Binary tree model Classifier Learning set the set of measurements the set of classes d: classifier (clasification rule) Criterion for which variable to use for splits Gini index をimpurity measure に…

Bagging が有効な予測量 unstable な予測 CART regression after variable selection

Bagging and Random Forest difference between Bagging and Random forest https://www.quora.com/What-are-the-differences-between-bagged-trees-and-random-forests 疑問：Random ForestのBagging に対する優位性はあるのか？

LASSO Tibshirani http://statweb.stanford.edu/~tibs/lasso.html Statistical inference in LASSO https://arxiv.org/abs/1311.6238

統計学のリソース STATISTICAL METHODS FOR RESEARCH WORKERS By Ronald A. Fisher (1925) http://psychclassics.yorku.ca/Fisher/Methods/ random http://www.randomservices.org/random/index.html

LASSOの一般形 はf のcomplexityを意味する はデータから決める Tibshirani type Use cross validation to choose