See discussions, stats, and author profiles for this publication at: https://www.researchgate.

net/publication/281821784

Data Fitting and Uncertainty (A practical introduction to weighted least

squares and beyond)

Book · October 2010

CITATIONS READS

262 3,004

1 author:

Tilo Strutz
Leipzig University of Telecommunications (HfTL)
78 PUBLICATIONS   522 CITATIONS   

SEE PROFILE

Some of the authors of this publication are also working on these related projects:

Machine Learning View project

Wavelets View project

All content following this page was uploaded by Tilo Strutz on 16 September 2015.

The user has requested enhancement of the downloaded file.

 IX

Contents

I Framework of Least-Squares Method 1

1 Introduction to Data-Fitting Problems 3

1.1 What is data fitting? . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Linear vs. nonlinear problems . . . . . . . . . . . . . . . . . . . . . 5
1.4 Example applications of linear data fitting . . . . . . . . . . . . . . 9
1.4.1 Estimation of a constant value . . . . . . . . . . . . . . . . 10
1.4.2 Parameter estimation for a straight line (linear regression) . 11
1.4.3 Polynomial function . . . . . . . . . . . . . . . . . . . . . . 11
1.4.4 Multiple linear regression . . . . . . . . . . . . . . . . . . . 12
1.5 Selected nonlinear data-fitting problems . . . . . . . . . . . . . . . 18
1.5.1 Exponential functions . . . . . . . . . . . . . . . . . . . . . 18
1.5.2 Composite Gaussian bell functions . . . . . . . . . . . . . . 20
1.5.3 Circle function . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.5.4 Neural networks . . . . . . . . . . . . . . . . . . . . . . . . 22
1.6 Test questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

2 Estimation of Model Parameters by the Method of Least Squares 25

2.1 What are “Least Squares”? . . . . . . . . . . . . . . . . . . . . . . 25
2.2 A general algorithm for minimisation problems . . . . . . . . . . . 27
2.3 Pitfalls . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.4 Simplifications for linear model functions . . . . . . . . . . . . . . 31
2.5 Curve approximation in case of unknown model function . . . . . . 32
2.6 Example computations . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.6.1 Constant value . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.6.2 Straight line . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.6.3 Polynomial approximation . . . . . . . . . . . . . . . . . . . 37
2.6.4 Plane approximation . . . . . . . . . . . . . . . . . . . . . . 37
2.6.5 Linear prediction . . . . . . . . . . . . . . . . . . . . . . . . 37
2.6.6 Cosine function . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.6.7 Rotation and translation of coordinates . . . . . . . . . . . 38
X

2.6.8 Exponential model function . . . . . . . . . . . . . . . . . . 40

2.6.9 Composite Gaussian bell functions . . . . . . . . . . . . . . 41
2.6.10 Circle function . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.6.11 Neural networks . . . . . . . . . . . . . . . . . . . . . . . . 43
2.7 Test questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

3 Weights and Outliers 47

3.1 What are the weights good for? . . . . . . . . . . . . . . . . . . . . 47
3.2 Outliers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.3 Estimation of weights . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.3.1 Estimation by binning . . . . . . . . . . . . . . . . . . . . . 52
3.3.2 Weights estimation using deviates . . . . . . . . . . . . . . 53
3.4 Approaches towards outlier detection . . . . . . . . . . . . . . . . . 55
3.4.1 Standardised residuals . . . . . . . . . . . . . . . . . . . . . 56
3.4.2 Cluster criterion . . . . . . . . . . . . . . . . . . . . . . . . 58
3.5 Application of weighted data fitting and outlier detection . . . . . 68
3.5.1 Constant value . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.5.2 Straight line . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.5.3 Plane approximation . . . . . . . . . . . . . . . . . . . . . . 76
3.5.4 Coordinates transformation . . . . . . . . . . . . . . . . . . 78
3.5.5 Linear prediction . . . . . . . . . . . . . . . . . . . . . . . . 82
3.5.6 Cosine function . . . . . . . . . . . . . . . . . . . . . . . . . 83
3.5.7 Exponential model function . . . . . . . . . . . . . . . . . . 89
3.5.8 Composite Gaussian bell functions . . . . . . . . . . . . . . 92
3.5.9 Circle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
3.5.10 Comparison of binning and deviate-based weights estimation 98
3.6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
3.6.1 Evaluation of weighting . . . . . . . . . . . . . . . . . . . . 101
3.6.2 Comparison of outlier detectors . . . . . . . . . . . . . . . . 101
3.6.3 Usefulness of weights . . . . . . . . . . . . . . . . . . . . . . 103
3.7 Test questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

4 Uncertainty of Results 105

4.1 Goodness-of-fit, precision and accuracy . . . . . . . . . . . . . . . . 105
4.1.1 Consistence of statistical model and data . . . . . . . . . . 105
4.1.2 Sample variance . . . . . . . . . . . . . . . . . . . . . . . . 106
 XI

4.2 Uncertainty of estimated parameters . . . . . . . . . . . . . . . . . 108

4.3 Uncertainty of data approximation . . . . . . . . . . . . . . . . . . 109
4.4 Inspection of plots . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
4.5 Example computations . . . . . . . . . . . . . . . . . . . . . . . . . 112
4.5.1 Constant value . . . . . . . . . . . . . . . . . . . . . . . . . 112
4.5.2 Straight line . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
4.5.3 Cosine function . . . . . . . . . . . . . . . . . . . . . . . . . 116
4.5.4 Model mismatch . . . . . . . . . . . . . . . . . . . . . . . . 116
4.6 Test questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

II Mathematics, Optimisation Methods, and Add ons 125

5 Matrix Algebra 127

5.1 Basics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
5.2 Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.3 Numerical solutions for matrix inversion . . . . . . . . . . . . . . . 133
5.3.1 Cofactor-matrix method . . . . . . . . . . . . . . . . . . . . 133
5.3.2 Inversion via Gauss-Jordan elimination . . . . . . . . . . . 134
5.3.3 Inversion via LU decomposition . . . . . . . . . . . . . . . . 136
5.3.4 Inversion by singular value decomposition (SVD) . . . . . . 143
5.4 Test questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

6 The Idea behind Least Squares 146

6.1 Normal distribution . . . . . . . . . . . . . . . . . . . . . . . . . . 146
6.2 Maximum likelihood principle . . . . . . . . . . . . . . . . . . . . . 147
6.3 Fitting of linear model functions . . . . . . . . . . . . . . . . . . . 149
6.3.1 Standard approach . . . . . . . . . . . . . . . . . . . . . . . 149
6.3.2 Solution using singular value decomposition (SVD) . . . . . 151
6.3.3 Scaling of conditions . . . . . . . . . . . . . . . . . . . . . . 152
6.4 Fitting of nonlinear model functions . . . . . . . . . . . . . . . . . 153
6.4.1 Error-surface approximation . . . . . . . . . . . . . . . . . . 153
6.4.2 Gauss-Newton method . . . . . . . . . . . . . . . . . . . . . 154
6.4.3 Gradient-descent method . . . . . . . . . . . . . . . . . . . 157
6.4.4 Levenberg-Marquardt method . . . . . . . . . . . . . . . . . 158
6.4.5 Example of finding the minimum . . . . . . . . . . . . . . . 158
6.5 Test questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
XII

7 Supplemental Tools and Methods 167

7.1 Alternative parameter estimation . . . . . . . . . . . . . . . . . . . 167
7.1.1 Recursive adaptation of parameters . . . . . . . . . . . . . 167
7.1.2 Iterative gradient descent . . . . . . . . . . . . . . . . . . . 168
7.1.3 Evolutionary approach . . . . . . . . . . . . . . . . . . . . . 168
7.2 Chauvenet’s criterion for outlier detection . . . . . . . . . . . . . . 169
7.3 Propagation of errors . . . . . . . . . . . . . . . . . . . . . . . . . . 172
7.4 Manual calculation of linear least squares . . . . . . . . . . . . . . 175
7.5 Combined treatment of different model functions . . . . . . . . . . 178
7.5.1 Example 1: Coordinate transformation . . . . . . . . . . . . 180
7.5.2 Example 2: Circular movement . . . . . . . . . . . . . . . . 182
7.6 Total least squares . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
7.6.1 Orthogonal fitting of a circle . . . . . . . . . . . . . . . . . 185
7.6.2 General approach . . . . . . . . . . . . . . . . . . . . . . . . 187
7.7 Test questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190

A Comparison of Approaches to Outlier Detection 191

A.1 Normally distributed data . . . . . . . . . . . . . . . . . . . . . . . 191
A.1.1 Data sets without outliers . . . . . . . . . . . . . . . . . . . 191
A.1.2 Data sets containing outliers . . . . . . . . . . . . . . . . . 193
A.2 Non-Gaussian distribution . . . . . . . . . . . . . . . . . . . . . . . 196
A.2.1 Laplace distribution . . . . . . . . . . . . . . . . . . . . . . 196
A.2.2 Uniformly distributed data . . . . . . . . . . . . . . . . . . 196
A.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199

B Implementation 202
B.1 Functionality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
B.2 Manual . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
B.2.1 Input and output . . . . . . . . . . . . . . . . . . . . . . . . 204
B.2.2 Initialisation of model parameters . . . . . . . . . . . . . . 210
B.2.3 Processing control . . . . . . . . . . . . . . . . . . . . . . . 213
B.2.4 Weights and outliers . . . . . . . . . . . . . . . . . . . . . . 213
B.3 General organisation of source code . . . . . . . . . . . . . . . . . . 219
B.4 Model functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
B.4.1 Numerical differentiation . . . . . . . . . . . . . . . . . . . 221
B.4.2 Handling of multi-dimensional conditions . . . . . . . . . . 222
 XIII

B.4.3 Limitation of parameter space . . . . . . . . . . . . . . . . . 223

B.4.4 Initialisation of parameters . . . . . . . . . . . . . . . . . . 223
B.5 Special algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
B.5.1 LU decomposition . . . . . . . . . . . . . . . . . . . . . . . 224
B.5.2 Singular value decomposition . . . . . . . . . . . . . . . . . 225
B.5.3 Sorting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
B.6 Possible optimisations . . . . . . . . . . . . . . . . . . . . . . . . . 225
B.7 Performance Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
B.7.1 Fitting linear systems . . . . . . . . . . . . . . . . . . . . . 227
B.7.2 Fitting nonlinear systems . . . . . . . . . . . . . . . . . . . 230

List of symbols 235

Bibliography 237

Index 241

S The Source Code (accessible via internet) 1

S.1 Licence and Disclaimer . . . . . . . . . . . . . . . . . . . . . . . . . 1
S.2 Main functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
S.3 Model functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
S.4 Initialisation of nonlinear models . . . . . . . . . . . . . . . . . . . 31
S.5 Matrix processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
S.5.1 Utils . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
S.5.2 Allocation and matrix handling . . . . . . . . . . . . . . . . 41
S.6 Command-line parsing . . . . . . . . . . . . . . . . . . . . . . . . . 46
S.7 Error Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
S.8 Other . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

View publication stats