Nonlinear Regression (Wiley Series in Probability and Statistics)

Cover Page......Page 1
Title: Nonlinear Regression......Page 6
ISBN 0471471356......Page 7
Preface......Page 8
Contents......Page 12
1.1 Notation......Page 26
1.2 Linear and Nonlinear Models......Page 29
1.3.1 Regressors measured without error......Page 35
1.4.1 Functional relationships......Page 36
1.4.2 Structural relationships......Page 37
1.5 Controlled Regressors with Error......Page 38
1.6 Generalized Linear Model......Page 39
1.7 Transforming to Linearity......Page 40
1.8 Models with Autocorrelated Errors......Page 43
1.9 Further Econometric Models......Page 44
2.1.1 Nonlinear least squares......Page 46
2.1.2 Linear approximation......Page 48
2.1.3 Numerical methods......Page 50
2.1.4 Generalized least squares......Page 52
*2.1.5 Replication and test of fit......Page 55
2.2.1 Normal errors......Page 57
2.2.2 Nonnormal data......Page 59
2.2.3 Concentrated likelihood methods......Page 62
*2.3 Quasi-likelihood Estimation......Page 67
*2.4 LAM Estimator......Page 73
2.6 Robust Estimation......Page 75
2.7 Bayesian Estimation......Page 77
2.7.1 Choice of prior distributions......Page 78
2.7.2 Posterior distributions......Page 80
2.7.3 Highest-posterior-density regions......Page 88
2.7.4 Normal approximation to posterior density......Page 89
2.7.5 Test for model adequacy using replication......Page 90
2.7.6 Polynomial estimators......Page 91
2.8 Variance Heterogeneity......Page 93
2.8.1 Transformed models......Page 95
a. Box–Cox transformations......Page 96
b. John–Draper transformations......Page 97
2.8.2 Robust estimation for model A......Page 98
2.8.3 Inference using transformed data......Page 99
2.8.4 Transformations......Page 100
2.8.5 Further extensions of the Box-Cox method......Page 101
2.8.6 Weighted least squares: model B......Page 102
2.8.7 Prediction and transformation bias......Page 111
2.8.8 Generalized least-squares model......Page 113
3.2 Convergence of Iterative Procedures......Page 116
3.3.1 Confidence regions......Page 122
3.3.2 Effects of curvature......Page 123
3.4.1 Identifiability problems......Page 127
a. Linear models......Page 128
b. Nonlinear models......Page 135
c. Stable parameters......Page 142
d. Parameter redundancy......Page 143
e. Some conclusions......Page 151
4.1 Introduction......Page 152
4.2 Relative Curvature......Page 153
4.2.1 Curvature definitions......Page 154
4.2.2 Geometrical properties......Page 156
*4.2.3 Reduced formulae for curvatures......Page 163
*4.2.4 Summary of formulae......Page 170
4.2.5 Replication and curvature......Page 171
*4.2.6 Interpreting the parameter-effects array......Page 172
*4.2.7 Computing the curvatures0......Page 175
*4.2.8 Secant approximation of second derivatives......Page 179
4.3 Beale’s......Page 182
*4.4 Connection Coefficients......Page 184
4.5.1 Definitions......Page 190
*4.5.2 Reduced formulae for subset curvatures......Page 193
*4.5.3 Computations......Page 195
4.6.1 Quadratic approximation......Page 199
4.6.2 Approximate moments of residuals......Page 202
4.6.3 Effects of curvature on residuals......Page 203
a. Definition and properties......Page 204
4.7 Nonlinearity and Least-Squares Estimation......Page 206
4.7.2 Variance......Page 207
4.7.3 Simulated sampling distributions......Page 209
4.7.4 Asymmetry measures......Page 212
5.1 Asymptotic Confidence Intervals......Page 216
5.2.2 Confidence regions......Page 219
5.2.3 Asymptotic likelihood methods......Page 221
5.3 Linear Hypotheses......Page 222
5.4 Confidence Regions for Parameter......Page 227
5.5 Lack of Fit......Page 228
*5.6 Replicated Models......Page 229
* 5.7 Jackknife Methods......Page 231
5.8.1 Intrinsic curvature......Page 239
5.8.2 Parameter-effects curvature......Page 243
5.8.3 Summary of confidence regions......Page 245
5.8.4 Reparametrization to reduce curvature effects......Page 247
5.8.5 Curvature and parameter subsets......Page 252
5.9.1 Three test statistics......Page 253
5.9.2 Normally distributed errors......Page 254
5.9.3 Freedom-equation specification......Page 257
5.9.4 Comparison of test statistics......Page 259
5.9.6 Multiple hypothesis testing......Page 260
5.10.1 Hartley’s method......Page 261
5.10.2 Partially linear models......Page 265
5.12.1 Single prediction......Page 270
5.12.2 Multiple predictions......Page 271
5.12.3 Empirical Bayes interval......Page 272
5.13.1 Design criteria......Page 275
5.13.2 Prior estimates......Page 280
5.13.3 Sequential designs......Page 282
5.13.4 Multivariate models......Page 284
a. Volume approximation......Page 285
b. An example......Page 289
c. Conclusions......Page 294
6.1 Introduction......Page 296
6.2.1 Preliminaries......Page 300
6.2.2 Maximum-likelihood estimation......Page 302
6.2.3 Two-stage estimation......Page 304
6.2.4 Iterated two-stage estimation......Page 305
6.2.5 Conditional least squares......Page 306
6.2.6 Choosing between the estimators......Page 307
6.2.7 Unequally spaced time intervals......Page 310
6.3 AR(2) Errors......Page 311
6.4.1 Introduction......Page 314
6.4.2 Preliminary results......Page 315
6.4.3 Maximum-likelihood estimation and approximations......Page 319
b. Approximate the derivative of the determinant......Page 320
c. Asymptotic variances......Page 321
6.4.4 Two-stage estimation......Page 326
6.4.5 Choosing a method......Page 328
6.4.6 Computational considerations......Page 329
6.5.1 Introduction......Page 330
6.5.3 Maximum-likelihood estimation......Page 331
6.6.1 Introduction......Page 332
6.6.2 Conditional least-squares method......Page 335
6.6.3 Other estimation procedures......Page 339
6.7.1 Choosing an error process......Page 343
a. Overfitting......Page 346
b. Use of noise residuals......Page 347
7.1 Introduction......Page 350
7.2 Exponential and Monomolecular Growth Curves......Page 352
7.3.1 General description......Page 353
7.3.2 Logistic (autocatalytic) model......Page 354
7.3.3 Gompertz growth curve......Page 355
7.3.4 Von Bertalanffy model......Page 356
7.3.5 Richards curve......Page 357
7.3.6 Starting values for fitting Richards models......Page 360
7.3.7 General procedure for sigmoidal curves......Page 362
7.3.8 Weibull model......Page 363
7.3.10 Fletcher family......Page 364
7.3.11 Morgan–Mercer–Flodin (MMF) family......Page 365
7.4 Fitting Growth Models: Deterministic Approach......Page 367
7.5.1 Introduction......Page 369
7.5.2 Rates as functions of time......Page 371
a. Uncorrelated error process......Page 372
b. Approximating the error process......Page 373
7.5.3 Rates as Functions of Size......Page 378
a. A Tractable Diferential Equation......Page 379
b. Approximating the Error Process......Page 381
7.6.1 Preliminaries......Page 385
7.6.2 Bleasdale–Nelder model......Page 388
7.6.4 Choice of model......Page 389
7.6.5 Starting values......Page 390
8.1 Introduction......Page 392
8.2.1 Linear and nonlinear models......Page 395
8.2.2 Tracer exchange in steady-state systems......Page 397
8.2.3 Tracers in nonsteady-state linear systems......Page 400
8.3.1 The solution and its computation......Page 401
8.3.2 Some compartmental structures......Page 408
8.3.3 Properties of compartmental systems......Page 409
* 8.4 Identifiability in Deterministic Linear Models......Page 411
8.5.1 Introduction......Page 418
8.5.2 Use of the chain rule......Page 420
a. Method of Bates et al.......Page 421
b. Method of Jennrich and Bright......Page 425
c. General algorithm......Page 426
8.5.4 The use of constraints......Page 427
8.5.5 Fitting compartmental models without using derivatives......Page 429
a. All compartments observed with zero or linear inputs......Page 431
c. Exponential peeling......Page 432
8.5.7 Brunhilda example revisited......Page 435
8.5.8 Miscellaneous topics......Page 437
8.6 More Complicated......Page 438
8.7.1 Background theory......Page 440
a. No environmental input......Page 441
b. Input from the environment......Page 445
a. Unconditional generalized least squares......Page 448
b. Conditional generalized least squares......Page 449
8.7.3 Discussion......Page 454
8.8 Further Stochastic Approaches......Page 456
9.1 Introduction......Page 458
9.2.1 Two linear regimes......Page 463
9.2.2 Testing for a two-phase linear regression......Page 465
9.2.3 Parameter inference......Page 470
9.2.4 Further extensions......Page 471
9.3.1 Models and inference......Page 472
9.3.2 Computation......Page 480
9.3.3 Segmented polynomials......Page 482
a. Inference......Page 485
9.3.4 Exact tests for no 5hange of phase in polynomials......Page 488
9.4.1 The sgn formulation......Page 490
9.4.2 The max–min formulation......Page 496
a. Smoothing max (0, z)......Page 497
b. Limiting form for max {zi}......Page 499
9.4.3 Examples......Page 501
9.4.4 Discussion......Page 505
9.5.1 Fixed and variable knots......Page 506
b. Variable knots......Page 509
9.5.2 Smoothing splines......Page 511
10.1 Introduction......Page 516
10.2 Functional Relationships: Without Replication......Page 517
10.3 Functional Relationships: With Replication......Page 521
10.4 Implicit Functional Relationships: Without Replication......Page 526
10.5.1 Maximum-likelihood estimation......Page 533
10.5.2 Bayesian estimation......Page 535
10.6.2 Least-squares estimation......Page 541
10.6.3 The algorithm......Page 544
10.7 Structural and Ultrastructural Models......Page 548
10.8 Controlled Variables......Page 550
11.1 General Model......Page 554
11.2 Generalized Least Squares......Page 556
11.3.1 Estimation......Page 561
11.3.2 Hypothesis testing......Page 563
11.4.1 Estimates from posterior densities......Page 564
11.4.2 H.P.D. regions......Page 567
11.4.3 Missing observations......Page 569
11.5.1 Dependencies in expected values......Page 570
11.5.2 Dependencies in the data......Page 571
11.5.3 Eigenvalue analysis......Page 572
11.5.4 Estimation procedures......Page 574
* 11.6 Functional Relationships......Page 582
12.2.1 Existence of least-squares estimate......Page 588
12.2.2 Consistency......Page 589
12.2.3 Asymptotic normality......Page 593
12.2.4 Effects of misspecification......Page 597
12.2.5 Some extensions......Page 599
12.2.6 Asymptotics with vanishingly small errors......Page 600
12.4 Hypothesis Testing......Page 601
12.5 Multivariate Estimation......Page 606
13.1 Introduction......Page 612
13.2.1 Local and global minimization......Page 613
13.2.2 Quadratic functions......Page 615
a. Convergence rates......Page 618
b. Descent methods......Page 619
c. Line searches......Page 622
13.3.1 Step-length methods......Page 624
a. Directional discrimination......Page 625
b. Adding to the Hessian......Page 627
13.3.2 Restricted step methods......Page 628
13.4.2 Quasi-Newton methods......Page 630
13.4.3 Conjugate-gradient methods......Page 634
13.5.1 Nonderivative quasi-Newton methods......Page 636
*13.5.2 Direction-set (conjugate-direction) methods......Page 637
13.5.3 Direct search methods......Page 640
13.7 Summary......Page 641
14.1 Gauss–Newton Algorithm......Page 644
14.2.1 Hartley’s method......Page 648
14.2.2 Levenberg–Marquardt methods......Page 649
14.3.1 Preliminaries......Page 652
14.3.2 Quasi-Newton approximation of A(0)......Page 653
14.3.3 The Gill–Murray method......Page 658
b. Finite-difference approximation......Page 661
c. Quasi-Newton approximation......Page 662
14.3.4 Summary......Page 664
14.4.1 Convergence criteria......Page 665
14.4.2 Relative offset......Page 666
14.4.3 Comparison of criteria......Page 669
14.5 Derivative-Free Methods......Page 671
14.6.1 Robust loss functions......Page 675
14.6.2 L1-Minimization......Page 678
14.7.1 Introduction......Page 679
14.7.2 Gauss–Newton for the concentrated sum of squares......Page 680
14.7.3 Intermediate method......Page 682
14.7.4 The NIPALS method......Page 684
14.7.5 Discussion......Page 685
15.1.1 Choosing a method......Page 686
c. ACM algorithms......Page 688
15.2 User-Supplied Constants......Page 689
a. Initial parameter value......Page 690
b. Maximum step length......Page 691
a. Precision of function......Page 692
15.2.4 Termination criteria (stopping rules)......Page 693
a. Convergence of function estimates......Page 694
c. Convergence of parameter estimates......Page 695
d. Discussion......Page 696
15.3.1 Programming error......Page 697
15.3.3 Difficulties caused by bad scaling (parametrization)......Page 698
15.4 Checking the Solution......Page 700
A2 Eigenvalues......Page 702
A4 Positive definite and semidefinite matrices......Page 703
A7 Optimization......Page 704
A8 Matrix factorizations......Page 705
A9 Multivariate t-distribution......Page 706
A10 Vector differentiation......Page 707
A11 Projection matrices......Page 708
A13 Matrix operators......Page 709
A14 Method of scoring......Page 710
B1 Derivatives for curves......Page 712
B2 Curvature......Page 713
B3 Tangent planes......Page 715
B4 Multiplication of 3-dimensional arrays......Page 716
B5 Invariance of intrinsic curvature......Page 717
C1 Rate equations......Page 720
C2 Proportional rate equations......Page 722
C3 First-order equations......Page 723
D1 Estimation......Page 726
D2 Inference......Page 727
D3 Parameter subsets......Page 728
E. Minimization Subject to Linear Constraints......Page 732
References......Page 736
Author Index......Page 770
Subject Index......Page 778
WILEY SERIES IN PROBABILITY AND STATISTICS......Page 794