Nonparametric System Identification

Half-title......Page 3
Title......Page 5
Copyright......Page 6
Contents......Page 7
Dedication......Page 10
Preface......Page 11
1 Introduction......Page 13
2.1 The system......Page 15
2.2.1 The problem and the motivation for algorithms......Page 16
2.2.2 Simulation example......Page 19
2.3 Dynamic subsystem identification......Page 20
2.4 Bibliographic notes......Page 21
3.1 Motivation......Page 23
3.2 Consistency......Page 25
3.3 Applicable kernels......Page 26
3.4 Convergence rate......Page 28
3.6 Simulation example......Page 33
3.7.1 Lemmas......Page 36
3.7.2 Proofs......Page 37
3.8 Bibliographic notes......Page 41
4.1 Introduction......Page 42
4.2 Consistency and convergence rate......Page 43
4.3 Simulation example......Page 46
4.4.1 Lemmas......Page 47
4.4.2 Proofs......Page 49
4.5 Bibliographic notes......Page 55
5.2 Relation to stochastic approximation......Page 56
5.3 Consistency and convergence rate......Page 58
5.4 Simulation example......Page 61
5.5.1 Auxiliary results......Page 63
5.5.2 Lemmas......Page 65
5.6 Bibliographic notes......Page 70
6.1 Introduction......Page 71
6.2 Fourier series estimate......Page 73
6.3 Legendre series estimate......Page 76
6.4 Laguerre series estimate......Page 78
6.5 Hermite series estimate......Page 80
6.6 Wavelet estimate......Page 81
6.7 Local and global errors......Page 82
6.8 Simulation example......Page 83
6.9.1 Lemmas......Page 84
6.9.2 Proofs......Page 85
6.10 Bibliographic notes......Page 90
7.1 Introduction......Page 92
7.2.1 Motivation and estimates......Page 93
7.2.2 Consistency and convergence rate......Page 94
7.2.3 Simulation example......Page 96
7.3.1 Motivation......Page 97
7.3.2 Fourier series estimate......Page 98
7.3.3 Legendre series estimate......Page 100
7.4.1 Lemmas......Page 101
7.4.2 Proofs......Page 104
7.5 Bibliographic notes......Page 111
8.1 Identification problem......Page 113
8.1.2 Dynamic subsystem identification......Page 114
8.2 Kernel algorithm......Page 115
8.3 Orthogonal series algorithms......Page 118
8.4.1 Lemmas......Page 120
8.4.2 Proofs......Page 121
8.5 Bibliographic notes......Page 124
9.1 The system......Page 125
9.2.1 The problem and the motivation for algorithms......Page 126
9.2.2 Possible generalizations......Page 128
9.2.3 Monotonicity-preserving algorithms......Page 129
9.3.1 The motivation......Page 131
9.3.2 The algorithm......Page 132
9.4 Lemmas......Page 133
9.5 Bibliographic notes......Page 134
10.1.1 Introduction......Page 135
10.1.2 Differentiable characteristic......Page 136
10.1.3 Lipschitz characteristic......Page 137
10.2.2 Fourier series algorithm......Page 138
10.2.4 Hermite series algorithm......Page 140
10.3 Simulation example......Page 141
10.4.1 Lemmas......Page 142
10.4.2 Proofs......Page 146
10.5 Bibliographic notes......Page 154
11.1 Identification problem......Page 155
11.2 Nonlinear subsystem......Page 156
11.4 Lemmas......Page 158
11.5 Bibliographic notes......Page 160
12.1.1 Parallel nonlinear system......Page 161
12.1.2 Series-parallel models with nuisance characteristics......Page 169
12.1.3 Parallel-series models......Page 172
12.1.4 Generalized nonlinear block-oriented models......Page 174
12.2 Block-oriented systems with nonlinear dynamics......Page 185
12.2.1 Nonlinear models......Page 187
12.2.2 Identification algorithms: Nonlinear system identification......Page 191
12.2.3 Identification algorithms: Linear system identification......Page 198
12.2.4 Identification algorithms: the Gaussian input signal......Page 203
12.2.5 Sandwich systems with a Gaussian input signal......Page 217
12.2.6 Convergence of identification algorithms......Page 221
12.3 Concluding remarks......Page 230
12.4 Bibliographical notes......Page 232
13.1 Multivariate nonparametric regression......Page 234
13.2.1 Approximation by additive functions......Page 240
13.2.2 Additive regression......Page 245
13.3 Multivariate systems......Page 254
13.5 Bibliographic notes......Page 260
14.1 Introduction......Page 262
14.2.1 Semiparametric Hammerstein models......Page 264
14.2.2 Semiparametric Wiener models......Page 266
14.3 Statistical inference for semiparametric models......Page 267
14.3.1 Consistency of semiparametric estimates......Page 271
14.4 Statistical inference for semiparametric Wiener models......Page 276
14.4.1 Identification algorithms......Page 279
14.4.2 Convergence analysis......Page 284
14.4.3 Simulation examples......Page 290
14.4.4 Extensions......Page 294
14.5 Statistical inference for semiparametric Hammerstein models......Page 298
14.6 Statistical inference for semiparametric parallel models......Page 299
14.7.1 Average derivative estimation......Page 302
14.7.2 The average derivative estimate for the semiparametric Wiener model......Page 306
14.7.3 The average derivative estimate for the additive Wiener model......Page 312
14.7.4 The average derivative estimate for semiparametric multivariate Hammerstein models......Page 316
14.7.5 The average derivative estimate for semiparametric multivariate parallel models......Page 319
14.8 Concluding remarks......Page 321
14.9.1 Auxiliary Results......Page 322
14.9.2 Lemmas......Page 324
14.9.3 Proofs......Page 325
14.10 Bibliographical notes......Page 328
A.1 Introduction......Page 331
A.2.1 Pointwise convergence......Page 332
A.2.2 Convergence rate......Page 337
A.2.3 Integrated error......Page 339
A.3 Applications to probability......Page 340
A.4 Lemmas......Page 341
B.1 Introduction......Page 343
B.2 Fourier series......Page 345
B.3 Legendre series......Page 352
B.4 Laguerre series......Page 357
B.5 Hermite series......Page 363
B.6 Wavelets......Page 367
C.1.1 Discrete time......Page 371
C.1.2 Continuous time......Page 372
C.2 Convergence of random variables......Page 373
C.3 Stochastic approximation......Page 376
C.4.1 Distributions and moments......Page 377
C.4.2 Spacings......Page 379
C.4.3 Integration and random spacings......Page 382
References......Page 383
Index......Page 399