Bayesian Approach to Inverse Problems

Table o f Contents......Page 5
Introduction......Page 15
Part 1: Fundamental Problems and Tools......Page 24
1.1. Introduction......Page 25
1.2. Basic example......Page 26
1.3. Ill-posed problem......Page 30
1.3.1. Case of discrete data......Page 31
1.3.2. Continuous case......Page 32
1.4. Generalized inversion......Page 34
1.4.3. Example......Page 35
1.5. Discretization and conditioning......Page 36
1.6. Conclusion......Page 38
1.7. Bibliography......Page 39
2.1. Regularization......Page 41
2.1.1. Dimensionality control......Page 42
2.1.2. Minimization of a composite criterion......Page 44
2.2.1. Criterion minimization for inversion......Page 48
2.2.2. The quadratic case......Page 49
2.2.3. The convex case......Page 51
2.2.4. General case......Page 52
2.3.2. “L-curve” method......Page 53
2.3.3. Cross-validation......Page 54
2.4. Bibliography......Page 56
3.1. Inversion and inference......Page 59
3.2. Statistical inference......Page 60
3.2.1. Noise law and direct distribution for data......Page 61
3.2.2. Maximum likelihood estimation......Page 63
3.3. Bayesian approach to inversion......Page 64
3.4. Links with deterministic methods......Page 66
3.5. Choice of hyperparameters......Page 67
3.6. A priori model......Page 68
3.7. Choice of criteria......Page 70
3.8.1. Statistical properties of the solution......Page 71
3.8.2. Calculation of marginal likelihood......Page 73
3.8.3. Wiener filtering......Page 74
3.9. Bibliography......Page 76
Part 2: Deconvolution......Page 79
4.1. Introduction......Page 81
4.2.1. Inverse filtering......Page 82
4.2.2. Wiener filtering......Page 84
4.3.1. Choice of a quadrature method......Page 85
4.3.2. Structure of observation matrix H......Page 87
4.3.4. Problem conditioning......Page 89
4.3.5. Generalized inversion......Page 91
4.4.1. Preliminary choices......Page 92
4.4.2. Matrix form of the estimate......Page 93
4.4.3. Hunt’s method (periodic boundary hypothesis)......Page 94
4.4.4. Exact inversion methods in the stationary case......Page 96
4.4.6. Results and discussion on examples......Page 98
4.5.1. Kalman filtering......Page 102
4.5.2. Degenerate state model and recursive least squares......Page 104
4.5.3. Autoregressive state model......Page 105
4.5.4. Fast Kalman filtering......Page 108
4.5.5. Asymptotic techniques in the stationary case......Page 110
4.5.7. Case of non-stationary signals......Page 111
4.6. Conclusion......Page 112
4.7. Bibliography......Page 113
5.1. Introduction......Page 117
5.2. Penalization of reflectivities, L2LP/L2Hy deconvolutions......Page 119
5.2.1. Quadratic regularization......Page 121
5.2.3. L2LP or L2Hy deconvolution......Page 123
5.2.2. Non-quadratic regularization......Page 122
5.3.2. Various strategies for estimation......Page 124
5.3.3. General expression for marginal likelihood......Page 125
5.3.4. An iterative method for BG deconvolution......Page 126
5.3.5. Other methods......Page 128
5.4.1. Nature of the solutions......Page 130
5.4.2. Setting the parameters......Page 132
5.5. Extensions......Page 133
5.5.2. Estimation of the impulse response......Page 134
5.6. Conclusion......Page 136
5.7. Bibliography......Page 137
6.1. Introduction......Page 141
6.2.1. Principle......Page 142
6.2.2. Connection with image processing by linear PDE......Page 144
6.2.3. Limits of Tikhonov’s approach......Page 145
6.3.1. Principle......Page 148
6.3.2. Disadvantages......Page 149
6.4. Non-quadratic approach......Page 150
6.4.1. Detection-estimation and non-convex penalization......Page 154
6.4.2. Anisotropic diffusion by PDE......Page 155
6.5. Half-quadratic augmented criteria......Page 156
6.5.1. Duality between non-quadratic criteria and HQ criteria......Page 157
6.5.2. Minimization of HQ criteria......Page 158
6.6.1. Calculation of the solution......Page 159
6.6.2. Example......Page 161
6.7. Conclusion......Page 164
6.8. Bibliography......Page 165
Part 3: Advanced Problems and Tools......Page 169
7.1. Introduction......Page 171
7.2. Bayesian statistical framework......Page 172
7.3. Gibbs-Markov fields......Page 173
7.3.1. Gibbs fields......Page 174
7.3.2. Gibbs-Markov equivalence......Page 177
7.3.3. Posterior law of a GMRF......Page 180
7.3.4. Gibbs-Markov models for images......Page 181
7.4.1. Statistical tools......Page 185
7.4.2. Stochastic sampling......Page 188
7.5. Conclusion......Page 194
7.6. Bibliography......Page 195
8.1. Introduction and statement of problem......Page 197
8.2.1. Likelihood properties......Page 199
8.2.2. Optimization......Page 200
8.2.3. Approximations......Page 202
8.3.1. Statement of problem......Page 205
8.3.2. EM algorithm......Page 206
8.3.3. Application to estimation of the parameters of a GMRF......Page 207
8.3.4. EM algorithm and gradient......Page 208
8.3.5. Linear GMRF relative to hyperparameters......Page 210
8.3.6. Extensions and approximations......Page 212
8.4. Conclusion......Page 215
8.5. Bibliography......Page 216
Part 4: Some Applications......Page 219
9.1. Introduction......Page 221
9.2.2. Evaluation principle......Page 222
9.2.3. Evaluation results and interpretation......Page 223
9.2.4. Help with interpretation by restoration of discontinuities......Page 224
9.3. Definition of direct convolution model......Page 225
9.4.1. Overview of approaches for blind deconvolution......Page 226
9.4.2. DL2Hy/DBG deconvolution......Page 230
9.5. Processing real data......Page 232
9.5.1. Processing by blind deconvolution......Page 233
9.5.2. Deconvolution with a measured wave......Page 234
9.5.3. Comparison between DL2Hy and DBG......Page 237
9.6. Conclusion......Page 240
9.7. Bibliography......Page 241
10.1.1. Introduction......Page 243
10.1.2. Image formation......Page 244
10.1.3. Effect of turbulence on image formation......Page 246
10.1.4. Imaging techniques......Page 249
10.2. Inversion approach and regularization criteria used......Page 253
10.3.1. Introduction......Page 254
10.3.2. Hartmann-Shack sensor......Page 255
10.3.3. Phase retrieval and phase diversity......Page 257
10.4.1. Motivation and noise statistic......Page 258
10.4.2. Data processing in deconvolution from wavefront se......Page 259
10.4.3. Restoration of images corrected by adaptive optics......Page 263
10.4.4. Conclusion......Page 267
10.5.1. Observation model......Page 268
10.5.2. Traditional Bayesian approach......Page 271
10.5.3. Myopic modeling......Page 272
10.6. Bibliography......Page 277
11.1. Velocity measurement in medical imaging......Page 285
11.1.2. Information carried by Doppler signals......Page 286
11.1.4. Data and problems treated......Page 288
11.2.1. Least squares and traditional extensions......Page 290
11.2.2. Long AR models – spectral smoothness – spatial continuity......Page 291
11.2.3. Kalman smoothing......Page 293
11.2.4. Estimation of hyperparameters......Page 294
11.2.5. Processing results and comparisons......Page 296
11.3. Tracking spectral moments......Page 297
11.3.1. Proposed method......Page 298
11.3.2. Likelihood of the hyperparameters......Page 302
11.3.3. Processing results and comparisons......Page 304
11.4. Conclusion......Page 306
11.5. Bibliography......Page 307
12.1. Introduction......Page 311
12.2. Projection generation model......Page 312
12.3. 2D analytical methods......Page 313
12.5. Limitations of analytical methods......Page 317
12.6. Discrete approach to reconstruction......Page 319
12.7. Choice of criterion and reconstruction methods......Page 321
12.8.1. Optimization algorithms for convex criteria......Page 323
12.8.2. Optimization or integration algorithms......Page 327
12.10.1. 2D reconstruction......Page 328
12.10.2. 3D reconstruction......Page 329
12.11. Conclusions......Page 331
12.12. Bibliography......Page 332
13.1. Introduction......Page 335
13.2.1. Examples of diffraction tomography applications......Page 336
13.2.2. Modeling the direct problem......Page 338
13.3.1. Choice of algebraic framework......Page 340
13.3.2. Method of moments......Page 341
13.3.3. Discretization by the method of moments......Page 342
13.4. Construction of criteria for solving the inverse problem......Page 343
13.4.1. First formulation: estimation of x......Page 344
13.4.2. Second formulation: simultaneous estimation of x and φ......Page 345
13.5. Solving the inverse problem......Page 347
13.5.1. Successive linearizations......Page 348
13.5.2. Joint minimization......Page 350
13.5.3. Minimizing MAP criterion......Page 351
13.6. Conclusion......Page 353
13.7. Bibliography......Page 354
14.1. Introduction......Page 357
14.2.1. Likelihood functions and limiting behavior......Page 359
14.2.2. Purely Poisson measurements......Page 360
14.2.4. Compound noise models with Poisson information......Page 362
14.3.1. Maximum likelihood properties......Page 363
14.3.2. Bayesian estimation......Page 366
14.4.1. Implementation for pure Poisson model......Page 368
14.4.2. Bayesian implementation for a compound data model......Page 370
14.6. Bibliography......Page 372
List of Authors......Page 375
Index......Page 377