Statistical Models

Cover......Page 1
Half-title......Page 3
Series-title......Page 4
Title......Page 5
Copyright......Page 6
Contents......Page 7
Preface......Page 11
Examples......Page 13
Outline......Page 22
Notation......Page 24
Location and scale......Page 27
Bad data......Page 29
Shape......Page 30
Graphs......Page 31
2.1.2 Random sample......Page 33
2.1.3 Sampling variation......Page 36
2.1.4 Probability plots......Page 38
Exercises 2.1......Page 39
Convergence in probability......Page 40
Convergence in distribution......Page 42
Slutsky’s lemma......Page 43
2.2.2 Delta method......Page 45
Several variables......Page 46
Big and little oh notation: O and o......Page 47
Exercises 2.2......Page 48
2.3 Order Statistics......Page 49
Density function......Page 50
Several order statistics......Page 51
Approximate density......Page 53
Derivation of (2.27)......Page 54
Exercises 2.3......Page 55
Cumulants......Page 56
Skewness and kurtosis......Page 58
2.5 Bibliographic Notes......Page 60
2.6 Problems......Page 61
3.1.1 Standard errors and pivots......Page 64
Complications......Page 68
3.1.2 Choice of scale......Page 70
3.1.4 Prediction......Page 72
Exercises 3.1......Page 73
3.2.1 Normal and related distributions......Page 74
Chi-squared distribution......Page 75
Student t distribution......Page 76
F distribution......Page 77
3.2.2 Normal random sample......Page 78
3.2.3 Multivariate normal distribution......Page 80
Multivariate normal distribution......Page 81
Marginal and conditional distributions......Page 83
Linear combinations of normal variables......Page 84
Two samples......Page 85
Exercises 3.2......Page 87
3.3.1 Pseudo-random numbers......Page 89
Inversion......Page 90
Rejection......Page 91
Applications......Page 94
3.3.2 Variance reduction......Page 97
Importance sampling......Page 99
Exercises 3.3......Page 101
3.5 Problems......Page 102
4.1.1 Definition and examples......Page 106
Dependent data......Page 110
4.1.2 Basic properties......Page 111
Interpretation......Page 112
4.2.1 Quadratic approximation......Page 113
4.2.2 Sufficient statistics......Page 115
Minimal sufficiency......Page 119
Exercises 4.2......Page 120
4.3.1 Expected and observed information......Page 121
4.3.2 Efficiency......Page 123
4.4.1 Computation......Page 127
4.4.2 Large-sample distribution......Page 130
Scalar parameter......Page 132
Vector parameter......Page 133
Consistency of…......Page 134
Asymptotic normality of…......Page 136
Exercises 4.4......Page 137
4.5.1 Basic ideas......Page 138
4.5.2 Profile log likelihood......Page 139
4.5.3 Model fit......Page 143
Chi-squared statistics......Page 145
Derivations of (4.39) and (4.43)......Page 150
Exercises 4.5......Page 151
Parameter space......Page 152
Score and information......Page 156
Wrong model......Page 159
Exercises 4.6......Page 161
4.7 Model Selection......Page 162
Exercises 4.7......Page 167
4.9 Problems......Page 168
5.1 Straight-Line Regression......Page 173
Linear combinations......Page 177
5.2.1 Basic notions......Page 178
Mean parameter......Page 181
Variance function......Page 182
5.2.2 Families of order p......Page 183
Curved exponential families......Page 186
5.2.3 Inference......Page 188
Model adequacy......Page 189
Likelihood......Page 191
Derived densities......Page 192
Exercises 5.2......Page 194
5.3 Group Transformation Models......Page 195
Equivariance......Page 197
Exercises 5.3......Page 199
Hazard and survivor functions......Page 200
Censoring......Page 202
5.4.2 Likelihood inference......Page 203
Discrete data......Page 205
5.4.3 Product-limit estimator......Page 208
Competing risks......Page 210
Frailty......Page 213
5.5.1 Types of missingness......Page 215
Publication bias......Page 218
5.5.2 EM algorithm......Page 222
Exponential family models......Page 227
Exercises 5.5......Page 229
5.6 Bibliographic Notes......Page 230
5.7 Problems......Page 231
6.1 Markov Chains......Page 237
Classification of chains......Page 241
Likelihood inference......Page 245
Higher-order models......Page 247
6.1.2 Continuous-time models......Page 249
Fully observed trajectory......Page 251
Partially observed trajectory......Page 252
Exercises 6.1......Page 254
6.2.1 Basic notions......Page 256
6.2.2 Directed acyclic graphs......Page 261
Hammersley–Clifford theorem......Page 265
Exercises 6.2......Page 266
6.3.1 Multivariate dependence......Page 267
Simpson’s paradox......Page 268
6.3.2 Multivariate normal distribution......Page 271
6.3.3 Graphical Gaussian models......Page 272
Conditional independence graphs......Page 274
Calculation of partial correlation......Page 276
Exercises 6.3......Page 277
6.4 Time Series......Page 278
Stationarity and autocorrelation......Page 279
Trend removal......Page 283
Volatility models......Page 284
6.5.1 Poisson process......Page 286
Homogeneous Poisson process......Page 289
6.5.2 Statistics of extremes......Page 290
Point process approximation......Page 294
6.5.3 More general models......Page 298
Exercises 6.5......Page 303
6.6 Bibliographic Notes......Page 304
6.7 Problems......Page 305
7.1.1 Mean squared error......Page 312
Cramér–Rao lower bound......Page 314
7.1.2 Kernel density estimation......Page 317
Rao–Blackwell theorem......Page 321
Completeness......Page 323
7.1.4 Interval estimation......Page 325
Exercises 7.1......Page 326
7.2.1 Basic notions......Page 327
Optimality......Page 330
7.2.2 Robustness......Page 331
7.2.3 Dependent data......Page 335
Exercises 7.2......Page 336
7.3.1 Significance levels......Page 337
Interpretation......Page 338
Goodness of fit tests......Page 339
One- and two-sided tests......Page 341
Nonparametric tests......Page 343
7.3.2 Comparison of tests......Page 345
Neyman–Pearson lemma......Page 347
Local power......Page 350
7.3.3 Composite null hypotheses......Page 351
Conditioning......Page 352
Invariance......Page 353
7.3.4 Link with confidence intervals......Page 355
Exercises 7.3......Page 359
7.4 Bibliographic Notes......Page 360
7.5 Problems......Page 361
8.1 Introduction......Page 365
8.2.1 Estimation......Page 371
8.2.2 Geometrical interpretation......Page 374
8.2.3 Likelihood quantities......Page 375
Likelihood ratio statistic......Page 378
8.2.4 Weighted least squares......Page 380
Exercises 8.2......Page 381
8.3.1 Distributions of…......Page 382
8.3.2 Confidence and prediction intervals......Page 383
Exercises 8.3......Page 385
8.4 Least Squares and Robustness......Page 386
M-estimation......Page 387
Exercises 8.4......Page 389
8.5.1 F statistics......Page 390
Analysis of variance......Page 392
8.5.3 Orthogonality......Page 394
Exercises 8.5......Page 397
8.6.1 Residuals......Page 398
8.6.2 Nonlinearity......Page 401
8.6.3 Leverage, influence, and case deletion......Page 405
Exercises 8.6......Page 408
8.7.1 General......Page 409
8.7.2 Collinearity......Page 410
Stepwise methods......Page 412
Likelihood criteria......Page 414
Inference after model selection......Page 417
Model uncertainty......Page 418
Exercises 8.7......Page 420
8.9 Problems......Page 421
9.1.1 Randomization......Page 429
Blocking......Page 431
Randomization inference......Page 433
9.1.2 Causal inference......Page 435
Exercises 9.1......Page 437
9.2.1 One-way layout......Page 438
9.2.2 Randomized block design......Page 441
Balanced incomplete block design......Page 444
9.2.3 Latin square......Page 446
9.2.4 Factorial design......Page 448
Exercises 9.2......Page 450
9.3.1 Interaction......Page 451
Confounding......Page 454
9.3.2 Contrasts......Page 455
9.3.3 Analysis of covariance......Page 458
Exercises 9.3......Page 460
9.4.1 Basic ideas......Page 461
Nested variation......Page 462
Split-unit experiments......Page 464
9.4.2 Linear mixed models......Page 468
Prediction of random effects......Page 470
Exercises 9.4......Page 474
9.5 Bibliographic Notes......Page 475
9.6 Problems......Page 476
10.1 Introduction......Page 480
10.2.1 Likelihood inference......Page 483
10.2.2 Iterative weighted least squares......Page 484
10.2.3 Model checking......Page 488
Exercises 10.2......Page 491
10.3.1 Density and link functions......Page 492
10.3.2 Estimation and inference......Page 494
Exercises 10.3......Page 498
10.4.1 Binary data......Page 499
10.4.2 2 × 2 table......Page 504
Small sample analysis......Page 506
Exercises 10.4......Page 509
10.5.1 Log-linear models......Page 510
10.5.2 Contingency tables......Page 512
Marginal models......Page 517
10.5.3 Ordinal responses......Page 519
Exercises 10.5......Page 522
Parametric models......Page 523
Quasi-likelihood......Page 524
Exercises 10.6......Page 529
10.7 Semiparametric Regression......Page 530
10.7.1 Local polynomial models......Page 531
Choice of polynomial......Page 534
Choice of smoothing parameter......Page 535
Inference......Page 537
Extensions......Page 539
Computation of bias and variance......Page 541
10.7.2 Roughness penalty methods......Page 542
Penalized log likelihood......Page 543
How much smoothing?......Page 545
10.7.3 More general models......Page 547
Exercises 10.7......Page 551
10.8.1 Introduction......Page 552
Accelerated life models......Page 553
10.8.2 Proportional hazards model......Page 555
Log rank test......Page 557
Time-dependent covariates......Page 559
Model checking......Page 560
Counting processes and martingale residuals......Page 564
Exercises 10.8......Page 565
10.9 Bibliographic Notes......Page 566
10.10 Problems......Page 567
11.1.1 Bayes’ theorem......Page 577
Inference......Page 578
11.1.2 Likelihood principle......Page 580
Sufficiency and conditionality principles......Page 581
Likelihood principle......Page 582
11.1.3 Prior information......Page 584
Conjugate densities......Page 585
Ignorance......Page 586
Jeffreys priors......Page 587
Exercises 11.1......Page 589
Normal approximation......Page 590
Posterior confidence sets......Page 591
11.2.2 Bayes factors......Page 594
Marginal inference......Page 599
Prediction diagnostics......Page 601
11.2.4 Prediction and model averaging......Page 604
Exercises 11.2......Page 606
11.3.1 Laplace approximation......Page 608
Inference......Page 610
11.3.2 Importance sampling......Page 614
Gibbs sampler......Page 617
Output analysis......Page 619
Bayesian application......Page 621
Metropolis–Hastings algorithm......Page 624
Exercises 11.3......Page 629
11.4 Bayesian Hierarchical Models......Page 631
Justification of (11.49)......Page 637
Exercises 11.4......Page 638
11.5.1 Basic ideas......Page 639
11.5.2 Decision theory......Page 643
Admissible decision rules......Page 645
Shrinkage and squared error loss......Page 646
Derivation of (11.64)......Page 647
Exercises 11.5......Page 648
11.6 Bibliographic Notes......Page 649
11.7 Problems......Page 651
12 Conditional and Marginal Inference......Page 657
12.1 Ancillary Statistics......Page 658
Location model......Page 661
Difficulties with ancillaries......Page 666
Exercises 12.1......Page 667
12.2 Marginal Inference......Page 668
Restricted maximum likelihood......Page 669
Regression-scale model......Page 673
12.3.1 Exact conditioning......Page 677
12.3.2 Saddlepoint approximation......Page 680
Edgeworth series......Page 683
Derivation of saddlepoint approximation......Page 684
12.3.3 Approximate conditional inference......Page 686
Conditional inference......Page 687
Curved exponential family......Page 689
12.4.1 Likelihood adjustment......Page 692
12.4.2 Parameter orthogonality......Page 697
Exercises 12.4......Page 702
12.5 Bibliographic Notes......Page 703
12.6 Problems......Page 704
APPENDIX A: Practicals......Page 708
Bibliography......Page 711
Name Index......Page 724
Example Index......Page 728
Index......Page 730