Random forest : Use of out-of-bag data

Data Science Machine learning

Random forest : Use of out-of-bag data Generalization error を推定するout-of-bag 推定という巧妙な方法がある。Generalization errorは ] で定義される。ただしはトレーニングセットRandom Forest は、Bagging (Bootstrap aggregation)とtreeのsplit …

2018-09-28

Causal Inference by Imbens and Rubin

Causal inference

Causal Inference by Imbens and Rubin Chapter 1 Causality : Basic Framework以下のサイトに資料あり https://www2.stat.duke.edu/courses/Spring14/sta320.01/Chapter 3 Assignment mechanism Def. 1 Individualistic assignment Def2. Probabilistic ass…

2018-09-27

Random forest : Statistical inference

Data Science Machine learning

Random Forest と統計的推論Athey and Wager Wager established asymptotic normality of predictor. Wager, Hastie and Efron (2014) proposed the infinitesimal jackknife to construct a confidence interval with Random Forest. Ｑ：regression tree …

2018-09-27

Boosting

Data Science Machine learning

BoostingBoosting の考え方は非常に面白い。 Base Learner の弱いところを見つけ、強化していく。 Boosting はメタアルゴリズム。（Base Learner がインプット。）複数回強化したBase Learner の重み付平均（重み付投票）が Boosting learner である。CART…

2018-09-22

CART 1

Data Science

CART Classification and Regression Tree Binary tree model Classifier Learning set the set of measurements the set of classes d: classifier (clasification rule) Criterion for which variable to use for splits Gini index をimpurity measure に…

2018-09-21

Bagging

Data Science

Bagging が有効な予測量 unstable な予測 CART regression after variable selection

2018-09-20

R 確率分布に関連する関数

R

R 確率分布に関連する関数 pnorm, dnorm, qnor,m rnorm http://cse.naro.affrc.go.jp/takezawa/r-tips/r/60.html

2018-09-20

Bagging and Random Forest

Data Science

Bagging and Random Forest difference between Bagging and Random forest https://www.quora.com/What-are-the-differences-between-bagged-trees-and-random-forests 疑問：Random ForestのBagging に対する優位性はあるのか？

2018-09-15

LASSO

Data Science

LASSO Tibshirani http://statweb.stanford.edu/~tibs/lasso.html Statistical inference in LASSO https://arxiv.org/abs/1311.6238

2018-09-13

Random forest : main idea

BreimanとCutler のrandom forestのページ https://www.stat.berkeley.edu/~breiman/RandomForests/ http://www.math.usu.edu/adele/RandomForests/index.htm Random forest のアルゴリズムサイズのブートストラップ標本をから生成する。 Breiman は1994…

2018-09-07

統計学のリソース

Data Science

統計学のリソース STATISTICAL METHODS FOR RESEARCH WORKERS By Ronald A. Fisher (1925) http://psychclassics.yorku.ca/Fisher/Methods/ random http://www.randomservices.org/random/index.html

2018-09-05

Random assignment

Causal inference

Random assignment https://en.wikipedia.org/wiki/Random_assignment#cite_note-Neyman-6 https://psychclassics.yorku.ca/Peirce/small-diffs.htm Random assignment の最も早い時点の提唱者がCharles Peirce であったことに驚いた。 Random assignment の…