Sind zufällige Fehler notwendigerweise gaußsch?

Fehler sind sehr oft Gaußsch, aber nicht immer. Hier sind einige physikalische Systeme, bei denen zufällige Schwankungen (oder "Fehler", wenn Sie sich in einem Kontext mit der variierenden Sache befinden, die einen Fehler darstellt) nicht Gauß'sch sind:

1. Die Verteilung der Zeiten zwischen Klicks in einem Fotodetektor, der Licht ausgesetzt ist, ist eine Exponentialverteilung. $ ^ {[a]} $

2. Die Häufigkeit, mit der ein Fotodetektor in einem festgelegten Zeitraum klickt, ist eine Poisson-Verteilung.

3. Der Positionsversatz eines Lichtstrahls, der auf ein Ziel in einiger Entfernung trifft, ist aufgrund gleichmäßig verteilter Winkelfehler eine Cauchy-Verteilung.

ol>

Ich habe gesehen, dass zufällige Fehler als solche definiert wurden, die auf 0 gemittelt werden, wenn die Anzahl der Messungen gegen unendlich geht, und dass der Fehler gleichermaßen wahrscheinlich positiv oder negativ ist. Dies erfordert nur eine symmetrische Wahrscheinlichkeitsverteilung um Null.

Es gibt Verteilungen, die auf der positiven und negativen Seite das gleiche Gewicht haben, aber nicht symmetrisch sind. Beispiel: $$ P (x) = \ left \ {\ begin {array} {ll} 1/2 & x = 1 \\ 1/4 & x = -1 \\ 1/4 & x = -2 \ ,. \ end {array} \ right. $$

Beim Eingeben dieser Frage in Google habe ich jedoch keine einzige Quelle gefunden, die darauf hindeutet, dass zufällige Fehler etwas anderes als Gaußsch sein könnten. Warum müssen zufällige Fehler Gauß'sch sein?

Die Tatsache, dass es nicht einfach ist, Verweise auf nicht-Gaußsche Zufallsfehler zu finden, bedeutet nicht, dass alle Zufallsfehler Gaußsch sind :-)

Wie in den anderen Antworten erwähnt, sind viele Verteilungen in der Natur aufgrund des zentralen Grenzwertsatzes Gaußsch. Der zentrale Grenzwertsatz besagt, dass bei einer Zufallsvariablen $ x $, die gemäß einer Funktion $ X (x) $ verteilt ist, wenn $ X (x) $ einen endlichen zweiten Moment hat, dann eine andere Zufallsvariable $ gegeben ist y $ definiert als der Durchschnitt vieler Instanzen von $ x $, dh $$ y \ equiv \ frac {1} {N} \ sum_ {i = 1} ^ N x_i \ ,, $$ Die Verteilung $ Y (y) $ ist Gaußsch.

Die Sache ist, dass viele physikalische Prozesse die Summe kleinerer Prozesse sind. Beispielsweise ist die schwankende Spannung an einem Widerstand die Summe der Spannungsbeiträge vieler einzelner Elektronen. Wenn Sie eine Spannung messen, erhalten Sie daher den zugrunde liegenden "statischen" Wert plus einen zufälligen Fehler, der von den verrauschten Elektronen erzeugt wird, die aufgrund des zentralen Grenzwertsatzes Gauß-verteilt sind. Mit anderen Worten, Gauss'sche Verteilungen sind sehr häufig , weil so viele der zufälligen Dinge in der Natur aus einer Summe vieler kleiner Beiträge stammen. .

Allerdings

1. Es gibt viele Fälle, in denen die Bestandteile eines zugrunde liegenden Fehlermechanismus eine Verteilung haben, die nicht einen endlichen zweiten Moment hat. Die Cauchy-Verteilung ist das häufigste Beispiel.

2. Es gibt auch viele Fälle, in denen ein Fehler einfach nicht die Summe vieler kleiner zugrunde liegender Beiträge ist.

ol>

Jeder dieser Fälle führt zu nicht-Gaußschen Fehlern.

$ [a] $: Siehe diesen anderen Stack Exchange-Beitrag.

Der Grund ist wahrscheinlich der zentrale Grenzwertsatz: Wenn Sie viele unabhängige Zufallsvariablen hinzufügen, bildet deren Summe unabhängig von ihren individuellen Wahrscheinlichkeitsverteilungen eine Normalverteilung.Dies macht Normalverteilungen zu einer ziemlich guten Vermutung, wenn Sie keine Informationen über die Ursache des Fehlers haben oder wenn Sie mehrere Fehlerquellen haben.Darüber hinaus treten Normalverteilungen häufig in realen Prozessen auf.

Die Antworten hier haben sich allgemein mit der unterschiedlichen Frage befasst, ob empirische Variablen Gaußsch sein sollten, aber 21joanna12 fragte nach experimentellen Fehlern, die eine völlig andere Analyse zulassen. Die beste Ressource zu dieser Frage, die ich empfehlen kann, ist Kapitel 7 von Wahrscheinlichkeitstheorie: Die Logik der Wissenschaft von E T Jaynes. Kurz gesagt, es gibt gute Gründe, warum Fehler Gaußsch sind (wenn auch nicht immer wörtlich):

• Sec. 7.2 berücksichtigt die Herschel-Maxwell-Ableitung , die zeigt, dass ein vektorwertiger Fehler der Dimension $ \ ge 2 $ span> mit unkorrelierten Fehlern im orthogonalen kartesischen Komponenten und eine sphärisch symmetrische Verteilung müssen einen Gaußschen Modul haben. (Nun, tatsächlich überprüft das Buch nur den $ 2 $ span> -dimensionalen Fall explizit, aber das Argument kann leicht erweitert werden.)
• Sec. 7.3 betrachtet die Gauß-Ableitung , die zeigt, dass eine Gauß-Verteilung die einzige Möglichkeit ist, dass die MLE eines Standortparameters gleich dem arithmetischen Mittel der Daten ist. Die Notation geht von $ 1 $ span> -dimensionalen Daten aus, aber ich denke, das Argument verallgemeinert sich, vorausgesetzt, die kartesischen Koordinaten des Fehlers sind nicht korreliert.
• Sec. 7.5 berücksichtigt die Landau-Ableitung , die ein Argument der Taylor-Reihe darstellt, dass ein 1D-Fehler $ e $ span> mit endlicher Varianz und Null-Mittelwert ein PDF hat Sagen Sie $ p $ span> und erfüllen Sie die Diffusionsgleichung $ \ partielle _ {\ sigma ^ 2} p = \ frac {1} {2} \ partielle_e ^ 2 p $ span> mit $ \ sigma ^ 2 $ span> einem Varianzparameter. Die Anforderung, dass $ \ sigma ^ 2 = 0 \ p (e) = \ delta (e) $ span> impliziert, impliziert dann, dass die Lösung Gauß ist.
• Sec.7.9 zeigt, dass die Verteilung eines 1D-Fehlers ohne vorherige Information die folgende Eigenschaft hat, wenn sie Gaußsch ist: die eindeutige Auswahl von $ w_i \ ge 0 $ span> mit $ \ sum_i w_i = 1 $ span>, der die Varianz eines Schätzers $ \ sum_i w_i x_i $ span> des Stichprobenmittelwerts mit dem $ x_i $ span> Unsere empirischen Daten $ n $ span> sind $ w_i= n ^ {- 1} $ span>.
• Ein verwandter Punkt, der in Kap.7.11 ist, dass ein Fehler eines gegebenen endlichen Mittelwerts und einer gegebenen Varianz seine Entropie unter Berücksichtigung dieser Information maximiert, wenn seine Verteilung Gaußsch ist.Jaynes argumentiert, dass jedes nicht entropiemaximierende Modell übertreibt, wie viel wir aus unserem begrenzten Wissen schließen können.

Die kurze Sec.7.12 (die ich vollständig wiedergebe) gibt Beispiele, bei denen wir keine Gaußschen Fehler erwarten:

Wenn wir die Gründe für den Erfolg der Gaußschen Inferenz verstanden haben, können wir auch sehr seltene besondere Umstände erkennen, unter denen eine andere Stichprobenverteilung unseren Wissensstand besser ausdrücken würde. Wenn wir zum Beispiel wissen, dass die Fehler durch die unvermeidbare und unkontrollierbare Drehung eines kleinen Objekts erzeugt werden, so dass es sich im Winkel $ \ theta $ span befindet >, der Fehler ist $ e = \ alpha \ cos \ theta $ span>, aber der tatsächliche Winkel ist unbekannt. Eine kleine Analyse zeigt, dass die vorherige Wahrscheinlichkeitszuweisung $ p (e | t) = (\ pi \ sqrt {\ alpha ^ 2-e ^ 2}) ^ {- 1}, \, e ^ 2< \ alpha ^ 2 $ span>, beschreibt unseren Wissensstand über den Fehler korrekt. Daher sollte es anstelle der Gaußschen Verteilung verwendet werden. Da es eine scharfe Obergrenze hat, kann es deutlich bessere Schätzungen liefern als das Gaußsche - selbst wenn $ \ alpha $ span> unbekannt ist und daher aus den Daten geschätzt werden muss ( oder vielleicht ist es der interessierende Parameter, der geschätzt werden soll).

Oder wenn bekannt ist, dass der Fehler die Form $ e = \ alpha \ tan \ theta $ span> hat, aber $ \ theta $ span> ist unbekannt, wir stellen fest, dass die vorherige Wahrscheinlichkeit die Cauchy-Verteilung ist $ p (e | I) = \ pi ^ {- 1} \ alpha / (\ alpha ^ 2 + e ^ 2) $ span>. Obwohl dieser Fall selten ist, werden wir es als lehrreiche Übung empfinden, die Schlussfolgerung mit einer Cauchy-Stichprobe zu analysieren Verteilung, weil qualitativ unterschiedliche Dinge passieren können. Die Orthodoxie betrachtet dies als "pathologischen Ausnahmefall", wie ein Schiedsrichter es ausdrückte, aber es verursacht keine Schwierigkeiten bei der Bayes'schen Analyse, was es uns ermöglicht, es zu verstehen.

Beachten Sie, dass diese Beispiele dieselben Bayes'schen Techniken verwenden wie Sec. 7.11.

Es gibt viele Beispiele für physikalische Phänomene, die von nicht-Gaußschen Statistiken bestimmt zu werden scheinen.Beispielsweise entsteht die Levy-Verteilung bei der Mehrfachstreuung von Licht in trüben Medien, wobei die Photonenweglänge dieser Verteilung folgt

Ich denke, jedes Mal, wenn Sie seltene, aber wichtige Ereignisse haben, werden Sie nicht-Gaußsche Statistiken sehen, wie zum Beispiel die Verteilung von Sonnenflecken, die Zeit zwischen geomagnetischen Umkehrungen usw. Der Gaußsche ist schön, da er zu einer relativ einfachen Analyse führtBerechnungen (zusätzlich zu den bereits genannten Gründen).In dynamischen Systemen werden die Ebenenabstände der Energie (universell) durch Poisson-Statistiken für den Fall nichtchaotischer Systeme im Vergleich zu Wigner-Statistiken für chaotische Systeme bestimmt.

Das gesamte Feld der Levy-Flüge ist riesig.Besonders bei der Laserkühlung.Dieses Buch ist hervorragend: Lévy-Statistiken und Laserkühlung: Wie seltene Ereignisse Atome zur Ruhe bringen

Hier werden verschiedene Antworten angezeigt. Ich werde etwas hinzufügen, das noch nicht hier ist.

Erstens ist es nicht b> erforderlich, dass ihre Verteilung um $ 0 symmetrisch ist, damit zufällige Fehler den erwarteten Wert $ 0 $ haben und gleichermaßen positiv oder negativ sind. $ Es ist einfach, Lose zu finden von Gegenbeispielen dazu.

Nehmen wir nun an $$ Y_i = \ alpha_0 + \ alpha_1 x_ {1, i} + \ cdots + \ alpha_p x_ {p, i} + \ varepsilon_i \ text {for} i = 1, \ ldots, n. $$ Wir gehen davon aus,

• Die Fehler $ \ varepsilon_i $ sind zufällig; Die Begriffe $ \ alpha_0 + \ alpha_1 x_ {1, i} + \ cdots + \ alpha_p x_ {p, i} $ sind es nicht. "Zufällig" bedeutet, dass sich jedes Mal, wenn Sie eine neue Stichprobe $ (Y_1, \ ldots, Y_n) $ nehmen, die $ n $ -Fehler ändern, unabhängig davon, was sie für die vorherigen Stichproben von $ n $ Beobachtungen waren. Aber die $ n \ times p $ -Zahlen $ x_ {1, i}, \ ldots, x_ {p, i} $ für $ i = 1, \ ldots, n $ ändern sich nicht; sind daher nicht zufällig.

• Der erwartete Wert jedes Fehlers ist $ 0. $

• Die Fehler haben alle die gleiche Varianz $ \ sigma ^ 2. $
• Die Fehler sind nicht miteinander korreliert.

Hier sind einige Dinge, die wir nicht b> annehmen:

• Wir gehen nicht b> davon aus, dass die Fehler normal verteilt sind, oder "Gauß", wenn Sie möchten.
• Wir gehen nicht b> davon aus, dass alle Fehler dieselbe Verteilung haben.
• Wir gehen nicht b> davon aus, dass die Fehler unabhängig sind. Unkorrelation ist eine schwächere Annahme.

Beachten Sie, dass die Schätzung der kleinsten Quadrate $ \ widehat \ alpha_k $ von $ \ alpha_k $ eine lineare Kombination $$ c_1 Y_1 + \ cdots + c_n Y_n, \ tag 1 $$ ist, wobei die Koeffizienten $ c_1, \ ldots, c_n $ hängen von den $ n \ times p $ -Zahlen $ x_ {1, i}, \ ldots, x_ {p, i} $ für $ i = 1, \ ldots, n. $

Unter diesen Annahmen können wir zeigen, dass unter allen linearen Kombinationen $ (1) $, die unverzerrte Schätzer von $ \ alpha_k sind, $ derjenige mit dem kleinsten mittleren quadratischen Schätzfehler derjenige ist, der die Schätzungen der kleinsten Quadrate ergibt .

Das ist der Gauß-Markov-Satz.

Daher benötigen wir keine Gaußsche Verteilung, um diese Schlussfolgerung zu ziehen.

Gaußsche Verteilungen sind oft Näherungen, die gut genug funktionieren.Auf der positiven Seite sind der Median, der Mittelwert und die Modi symmetrisch gleich, und die Algorithmen zum Ermitteln der Varianz und aller anderen wichtigen Details sind für Schüler, Studenten und weniger mathematikorientierte Wissenschaftler leicht genug.

Auf der anderen Seite besteht die Domäne der Gaußschen Verteilung aus allen Zahlen.Dies ist problematisch, wenn man bedenkt, dass viele Experimente niemals Werte außerhalb eines bestimmten Bereichs liefern können - negative Werte mit absoluten Einheiten (Höhen, Flächen, Zeiten, Temperaturen usw.) sowie Wirkungsgrade und andere Werte ohne Einheiten außerhalb von $ [0,1] $ sind oft absurd.Gaußsche haben auch keinen Mechanismus, um Schiefe oder Kurtosis zu erklären.Wir kommen mit ihnen davon, weil die Varianz oft so gering ist, dass diese Probleme die größeren Schlussfolgerungen nicht beeinflussen.

Zufällige Fehler werden normalerweise nicht durch eine Gaußsche Verteilung beschrieben, sind aber oft gut genug.

Quantisierungsfehler sind ein häufiges praktisches Beispiel für einen gleichmäßig verteilten Zufallsfehler.

Sie haben beispielsweise eine Digitalwaage, die auf 0,1 Gramm genau anzeigt.Sie geben 2,5376 Gramm Pulver hinein und es steht "2,5".Dann setzen Sie 3,6264 Gramm Pulver auf und es lautet "3,6".Und so weiter.Ihre Messwerte weisen einen Fehler auf, der in diesem Fall eine gleichmäßig verteilte Zufallszahl zwischen -0,05 und +0,05 ist.Natürlich ist es nicht buchstäblich zufällig - es ist eine deterministische Funktion der Eingabe - aber in vielen Fällen kann es als zufällig behandelt werden.

(Natürlich nähert es sich wie immer, wenn Sie viele Quantisierungsfehler mitteln, dem zentralen Grenzwertsatz an Gauß.)