Computational Statistics Handbook with MATLAB

COVER......Page 1
Computational Statistics Handbook with MATLAB®......Page 2
Table of Contents......Page 5
Preface......Page 13
1.1 What Is Computational Statistics?......Page 16
Contents......Page 0
Philosphy......Page 17
Wh What Is t Covere Covered......Page 18
A Word About N Notation ion......Page 20
1.3 MATLAB Code......Page 21
Internet Resourc Resources......Page 22
1.4 Further Reading......Page 23
2.1 Introduction......Page 25
Background......Page 26
Probability......Page 28
Conditional Probability......Page 31
Independence......Page 32
Bayes Theorem......Page 33
Mean and Variance......Page 35
Kurtosis......Page 37
Binomial......Page 38
Example 2.1......Page 40
Example 2.3......Page 42
Example 2.4......Page 43
Example 2.5......Page 46
Example 2.6......Page 49
Example 2.7......Page 51
Example 2.8......Page 53
Example 2.9......Page 55
Example 2.10......Page 57
2.6 MATLAB Code......Page 59
2.7 Further Reading......Page 60
Exercises......Page 62
3.2 Sampling Terminology and Concepts......Page 65
Sample Mean and Sample Variance......Page 67
Sample Moments......Page 68
Example 3.1......Page 69
Covariance......Page 70
Example 3.2......Page 71
3.3 Sampling Distributions......Page 72
3.4 Parameter Estimation......Page 74
Mean Squared Error......Page 75
Standard Error......Page 76
Maximum Likelihood Estimation......Page 77
Example 3.3......Page 78
Example 3.4......Page 80
3.5 Empirical Distribution Function......Page 82
Quantiles......Page 83
Example 3.5......Page 85
Example 3.6......Page 86
3.6 MATLAB Code......Page 87
3.7 Further Reading......Page 88
Exercises......Page 90
Uniform Random Numbers......Page 92
Example 4.1......Page 93
Inverse Transform Method......Page 95
Example 4.2......Page 96
Example 4.3......Page 97
Acceptance-Rejection Method......Page 98
Example 4.4......Page 99
Example 4.5......Page 101
Exponential Distribution......Page 102
Example 4.6......Page 103
Gamma......Page 104
Example 4.7......Page 105
Chi-Square......Page 106
Example 4.8......Page 107
Example 4.9......Page 108
Multivariate Nomal......Page 109
Example 4.10......Page 111
Generating Variates on a Sphere......Page 112
Binomial......Page 113
Example 4.12......Page 114
Poisson......Page 115
Example 4.13......Page 116
Discrete Uniform......Page 117
Example 4.14......Page 118
4.5 MATLAB Code......Page 119
4.6 Further Reading......Page 120
Exercises......Page 122
5.1 Introduction......Page 124
5.2 Exploring Univariate Data......Page 125
Example 5.1......Page 126
Example 5.2......Page 128
Stem-and-Leaf......Page 129
Example 5.3......Page 130
Q-QPlot......Page 132
Example 5.4......Page 133
Example 5.5......Page 134
Quantile Plots......Page 136
Example 5.6......Page 137
Example 5.7......Page 139
Binomialness Plot......Page 142
Example 5.9......Page 143
Box Plots......Page 145
Example 5.10......Page 146
Scatterplots......Page 148
Example 5.11......Page 149
Contour Plots......Page 151
Example 5.13......Page 152
Bivariate Histogram......Page 154
Example 5.14......Page 155
Example 5.15......Page 156
3-D Scatterplot......Page 158
Example 5.16......Page 159
Scatterplot Matrix......Page 160
Example 5.17......Page 161
Example 5.18......Page 162
Example 5.19......Page 164
Example 5.20......Page 166
Example 5.21......Page 168
Andrews Curves......Page 170
Example 5.22......Page 171
Example 5.23......Page 173
Example 5.24......Page 175
Example 5.25......Page 176
Example 5.26......Page 177
Projection Pursuit......Page 181
Projection Pursuit Index......Page 184
Finding the Structure......Page 185
Structure Removal......Page 187
Example 5.27......Page 189
Grand Tour......Page 191
Example 5.28......Page 195
5.5 MATLAB Code......Page 196
5.6 Further Reading......Page 197
Exercises......Page 200
6.1 Introduction......Page 204
Hypothesis Testing......Page 205
Example 6.1......Page 207
Example 6.2......Page 209
Example 6.3......Page 211
Example 6.4......Page 213
Confidence Intervals......Page 214
Example 6.5......Page 216
Basic Monte Carlo Procedure......Page 217
Monte Carlo Hypothesis Testing......Page 218
Example 6.6......Page 219
Example 6.7......Page 222
Monte Carlo Assessment of Hypothesis Testing......Page 223
Example 6.8......Page 224
General Bootstrap Methodology......Page 227
Bootstrap Estimate of Standard Error......Page 229
Example 6.9......Page 230
Bootstrap Estimate of Bias......Page 232
Bootstrap Standard Confidence Interval......Page 233
Bootstrap-t Confidence Interval......Page 234
Example 6.11......Page 235
Bootstrap Percentile Interval......Page 237
Example 6.12......Page 238
6.5 MATLAB Code......Page 239
6.6 Further Reading......Page 240
Exercises......Page 241
7.1 Introduction......Page 243
7.2 Cross- Validation......Page 244
Example 7.1......Page 246
Example 7.2......Page 248
Example 7.3......Page 250
7.3 Jackknife......Page 251
Example 7.4......Page 253
Example 7.5......Page 254
Example 7.6......Page 257
Example 7.7......Page 258
7.4 Better Bootstrap Confidence Intervals......Page 259
Example 7.8......Page 262
7.5 Jackknife- After- Bootstrap......Page 263
Example 7.9......Page 264
7.6 MATLAB Code......Page 265
7.7 Further Reading......Page 266
Exercises......Page 268
8.1 Introduction......Page 270
1-D Histograms......Page 272
Example 8.1......Page 274
Example 8.2......Page 277
Multivariate Histograms......Page 278
Frequency Polygons......Page 280
Example 8.3......Page 282
Example 8.4......Page 284
Averaged Shifted Histograms......Page 285
Example 8.5......Page 289
Univariate Kernel Estimators......Page 291
Example 8.6......Page 293
Multivariate Kernel Estimators......Page 296
Example 8.7......Page 297
8.4 Finite Mixtures......Page 298
Example 8.8......Page 300
Example 8.9......Page 302
Multivariate Finite Mixtures......Page 304
Example 8.10......Page 305
EM Algorithm for Estimating the Parameters......Page 307
Example 8.11......Page 310
Adaptive Mixtures......Page 312
Example 8.12......Page 315
8.5 Generating Random Variables......Page 317
Example 8.13......Page 320
8.7 Further Reading......Page 322
Exercises......Page 325
9.1 Introduction......Page 328
9.2 Bayes Decision Theory......Page 330
Example 9.1......Page 332
Example 9.2......Page 333
Bayes Decision Rule......Page 334
Example 9.3......Page 335
Example 9.4......Page 338
Likelihood Ratio Approach......Page 340
Example 9.5......Page 342
9.3 Evaluating the Classifier......Page 343
Example 9.6......Page 344
Example 9.7......Page 346
Receiver Operating Characteristic (ROC) Curve......Page 348
Example 9.8......Page 351
9.4 Classification Trees......Page 353
Example 9.9......Page 356
Example 9.10......Page 358
Example 9.11......Page 361
Pruning the Tree......Page 363
Example 9.12......Page 366
Choosing the Best Tree......Page 367
Selecting the Best Tree Using an Independent Test Sample......Page 368
Example 9.13......Page 371
Selecting the Best Tree Using Cross-Validation......Page 372
Example 9.14......Page 375
Measures of Distance......Page 378
Example 9.15......Page 379
Hierarchical Clustering......Page 380
Example 9.16......Page 382
K-Means Clustering......Page 384
Example 9.18......Page 386
9.6 MATLAB Code......Page 387
9.7 Further Reading......Page 390
Exercises......Page 392
10.1 Introduction......Page 395
Example 10.1......Page 396
Example 10.2......Page 398
10.2 Smoothing......Page 400
Loess......Page 401
Example 10.3......Page 403
Robust Loess Smoothing......Page 406
Example 10.4......Page 409
Upper and Lower Smooths......Page 410
10.3 Kernel Methods......Page 411
Nadaraya-Watson Estimator......Page 414
Local Linear Kernel Estimator......Page 415
10.4 Regression Trees......Page 417
Example 10.8......Page 420
Pruning a Regression Tree......Page 421
Selecting a Tree......Page 422
Example 10.9......Page 427
10.5 MATLAB Code......Page 429
10.6 Further Reading......Page 430
Exercises......Page 432
11.1 Introduction......Page 434
Bayesian Inference......Page 435
Monte Carlo Integration......Page 436
Example 11.1......Page 437
Markov Chains......Page 438
11.3 Metropolis- Hastings Algorithms......Page 439
Metropolis-Hastings Sampler......Page 440
Example 11.2......Page 441
Metropolis Sampler......Page 442
Example 11.3......Page 445
Independence Sampler......Page 447
Example 11.4......Page 448
Example 11.5......Page 450
11.4 The Gibbs Sampler......Page 452
Example 11.6......Page 454
Example 11.7......Page 456
Example 11.8......Page 459
11.5 Convergence Monitoring......Page 461
Gelman and Rubin Method......Page 462
Example 11.9......Page 465
11.6 MATLAB Code......Page 467
11.7 Further Reading......Page 470
Exercises......Page 471
What Is Spatial Statistics?......Page 474
Types of Spatial Data......Page 475
Spatial Point Patterns......Page 476
Complete Spatial Randomness......Page 478
Example 12.1......Page 480
Example 12.2......Page 481
Example 12.3......Page 482
Estimating the Intensity......Page 484
Example 12.4......Page 485
Nearest Neighbor Distances - G and F Distributions......Page 487
K-Function......Page 491
Example 12.5......Page 489
Example 12.6......Page 493
12.4 Modeling Spatial Point Processes......Page 494
Nearest Neighbor Distances......Page 495
Example 12.7......Page 498
K-Function......Page 499
Example 12.8......Page 501
Example 12.9......Page 502
Homogeneous Poisson Process......Page 504
Example 12.10......Page 505
Binomial Process......Page 506
Example 12.11......Page 507
Poisson Cluster Process......Page 508
Example 12.12......Page 509
Inhibition Process......Page 510
Example 12.13......Page 511
Example 12.14......Page 513
12.6 MATLAB Code......Page 514
12.7 Further Reading......Page 516
Exercises......Page 517
A. 1 What Is MATLAB?......Page 519
A. 3 File and Workspace Management......Page 520
A. 5 Arithmetic Operators......Page 522
A. 6 Data Constructs in MATLAB......Page 524
A. 7 Script Files and Functions......Page 526
A. 8 Control Flow......Page 528
A. 9 Simple Plotting......Page 529
A. 10 Contact Information......Page 532
Other......Page 533
Greek Symbols......Page 534
Acronyms......Page 535
Friedman-Tukey Index......Page 536
Moment Index......Page 537
L2 Distances......Page 538
C. 2 MATLAB Source Code......Page 539
D.1 Bootstrap Confidence Interval BCa......Page 545
D. 2 Adaptive Mixtures Density Estimation......Page 546
D. 3 Classification Trees......Page 548
D. 4 Regression Trees......Page 550
Appendix E: MATLAB Statistics Toolbox......Page 552
Computational Statistics Toolbox......Page 561
Appendix G: Data Sets......Page 566
References......Page 573