Wie ist die Behauptung "Informationen sind unzerstörbar" kompatibel mit "Informationen gehen in der Entropie verloren"?

Machen wir die Dinge so spezifisch und einfach wie möglich. Vergessen wir die Quantenphysik und die einheitliche Dynamik, spielen wir mit ganz einfachen reversiblen zellulären Automaten.

Betrachten Sie eine Raumzeit, die aus einem quadratischen Gitter von Zellen besteht, auf dem ein trinäres (3-wertiges) Feld definiert ist. Die Werte sind farbcodiert, sodass die Zellen gelb, orange und rot sein können. Die 'Feldgleichungen' bestehen aus einem Satz zulässiger Färbungen für jeden 2x2-Zellenblock:

Insgesamt sind 27 lokale Farbmuster zulässig. Diese sind so definiert, dass, wenn drei der vier Quadrate gefärbt sind, die Farbe der vierten Zelle eindeutig definiert ist. (Überprüfen Sie dies!)

Die Feldgleichungen enthalten keine "Evolutionsrichtung". Wie definiert man eine zeitliche Richtung? Angenommen, wenn Sie "Nord" oder "West" entlang der Gitterrichtungen schauen, treffen Sie auf einen Horizont, hinter dem sich ein unendliches Meer gelber Quadrate erstreckt:

"Norden" und "West" bezeichnen wir als "Lichtstrahlen aus der Vergangenheit". Diese beiden Zellstrahlen bilden den "Schnappschuss" des Universums, aufgenommen von dem Raumzeitpunkt, der durch den Schnittpunkt der beiden Strahlen definiert ist. Mit diesem 'Schnappschuss' und unter Verwendung der Feldgleichungen (der zulässigen 2x2-Färbungen) können wir mit der Rekonstruktion der Vergangenheit beginnen:

Hier gilt die Regel zum Färben der Die Zelle folgt aus dem Quadrat am unteren Rand der mittleren Spalte in der Übersicht der 27 zulässigen 2x2-Quadrate. Dies ist das einzige 2x2-Muster von 27, das zu den angegebenen Farben rechts, unten und rechts unten in der Zelle passt, die gefärbt wird. Wenn Sie dieses 2x2-Muster als eindeutig passend zu den bereitgestellten Zellenfarben identifizieren, wird die Farbe oben links festgelegt.

Wenn Sie so weitermachen, erhalten Sie die vollständige Vergangenheit des Universums bis zu jedem gewünschten Punkt:

Wir stellen fest, dass wir die gesamte Vergangenheit konstruiert haben und die Färbungen der 'Lichtstrahlzellen' im 'Schnappschuss' kennen, die mit Ausnahme des einheitlichen Meeres jenseits des Horizonts nicht mehr als 25 Zellen zählen. Wir identifizieren diese Zählung als die Entropie (Anzahl der Triten), die ab dem Punkt beobachtet wird, an dem sich die beiden Lichtstrahlen treffen. Beachten Sie, dass die Entropie zu einem späteren Zeitpunkt größer ist: Der zweite Hauptsatz der Thermodynamik wird von diesem einfachen Modell berücksichtigt.

Jetzt kehren wir die Dynamik um, und es passiert etwas Interessantes: Wir kennen nur 9 Farbwerte von Lichtstrahlen die Zukunft (wieder ohne das einheitliche Meer jenseits des Horizonts):

Wir können die volle Zukunft rekonstruieren:

Wir beziehen uns auf diese 9 Trits, die die vollständige Entwicklung dieses zellulären Automatenuniversums als 'Informationsgehalt' des Universums definieren. Offensichtlich enthalten die 25 Entropietriten die 9 Informationstrits. Diese Informationen sind vorhanden, aber in den Entropietriten "versteckt". Die Entropie in diesem Modell wird weiter wachsen. Die 9 Informationstrits bleiben konstant und in einer immer größeren Anzahl von Entropietriten verborgen (aber wiederherstellbar).

Beachten Sie, dass keine der gemachten Beobachtungen von den Details der 'Feldgleichungen' abhängt. Tatsächlich führt jeder Satz zulässiger 2x2-Färbungen, die die Farbe der verbleibenden Zelle bei den Farben von drei Zellen eindeutig definieren, zu denselben Beobachtungen.

Basierend auf diesem Spielzeugmodell können viele weitere Beobachtungen gemacht werden. Ein offensichtliches Merkmal ist, dass das Modell keinen "Urknall", sondern einen "großen Sprung" aufweist. Darüber hinaus ist der Informationsgehalt (9 Tits im obigen Beispiel), der dieses Universum definiert, erheblich kleiner als die spätere Entropie (die ungebunden wächst). Dies ist eine direkte Folge des Vorhandenseins eines „vergangenen Horizonts“ im Modell. Obwohl die 'Feldgleichungen' in diesem Modell vollständig reversibel sind, können Sie mit dem aufgenommenen 'Schnappschuss' die gesamte Vergangenheit, aber nicht die Zukunft rekonstruieren. Dieser "Pfeil der Zeit" kann umgangen werden, indem die Vergangenheit jenseits des "großen Sprunges" rekonstruiert wird, wobei vergangene und zukünftige Rollenwechsel und ein neuer Schnappschuss aus der Rekonstruktion abgeleitet werden können. Dieser Schnappschuss ist zukunftsorientiert und ermöglicht es Ihnen, die Zukunft über den ursprünglichen Schnappschuss hinaus zu konstruieren.

Diese Beobachtungen gehen jedoch weit über die gestellten Fragen hinaus.

Ich weiß nicht, in welchem ​​Kontext Susskind dies erwähnt hat, aber er meinte wahrscheinlich, dass die Zeitentwicklung einheitlich ist. Dies bedeutet unter anderem, dass es reversibel ist, dh, dass keine Informationen jemals verloren gehen können, da Sie im Wesentlichen ab einer beliebigen Zeit (zeitähnliche Schicht) die Zeit rückwärts (theoretisch) ausführen und berechnen können, was früher passiert ist.

Wenn die Entwicklung des Schwarzen Lochs tatsächlich perfekt thermisch wäre, würde dies die Einheitlichkeit verletzen und Informationen würden tatsächlich verloren gehen. Ich glaube, Susskind glaubt, dass dies nicht der Fall ist.

Ich werde darauf hinweisen, dass ich kein Stringtheoretiker bin und Susskinds Arbeit daher nicht vollständig an mich gewöhnt ist (und ich könnte es wahrscheinlich nicht verstehen, wenn es so wäre), sodass ich den Kontext (des angeblichen Zitats) nicht vollständig kenne Diese Entropie ist verborgene Information.

Aber was er vielleicht mit "versteckter" Information meint, ist eines oder beide von zwei Dingen: das erste theoretische, das zweite praktische:

1. Die Kolmogorov-Komplexität $ K (\ Omega) $ span> für ein bestimmtes System $ \ Omega $ (genauer: die Komplexität der eindeutigen Beschreibung des Systems) ist im Allgemeinen nicht berechenbar . $ K (\ Omega) $ span> bezieht sich auf das Konzept der Shannon-Entropie $ S_ {Sha } (\ Omega) $ span> (siehe Fußnote);
2. Sowohl die Kolmogorov-Komplexität eines Systems als auch die Shannon-Entropie werden durch statistische Korrelationen zwischen mikroskopischen Komponenten der Systeme vor makroskopischen Beobachtungen maskiert: Thermodynamische Systeme die messbare Entropie $ S_ {exp} (\ Omega) $ span> (normalerweise der Boltzmann) entspricht der wahren Shannon-Entropie $ S_ {Sha } (\ Omega) $ span> plus alle gegenseitigen Informationen $ M (\ Omega) $ span> (logarithmisches Maß für die statistische Korrelation) zwischen den Systemkomponenten: $ S_ {exp} (\ Omega) = S_ {Sha} (\ Omega) + M (\ Omega) $ span>
ol>

Hoffentlich das Folgende Erklärungen zeigen Ihnen, warum diese Vorstellungen von "versteckt" in keiner Weise damit zusammenhängen, "zerstört" oder sogar "nicht wiederherstellbar" zu sein.

Die Kolmogorov-Komplexität eines Systems ist die Größe (gewöhnlich in Bits gemessen) der kleinstmöglichen Beschreibung des Systemzustands. Oder, wie Benutzer @Johannes es wunderbar ausdrückte: Es ist die Mindestanzahl von Ja / Nein-Fragen, die beantwortet werden müssten, um das System eindeutig zu spezifizieren. Selbst wenn Sie den Status eines Systems eindeutig und perfekt beschreiben können, gibt es im Allgemeinen keinen Algorithmus, um zu entscheiden, ob eine komprimiertere Beschreibung äquivalent sein kann. Siehe zum Beispiel die Diskussion des Uncomputability-Theorems für eine Kolmogorov-Komplexität auf Wikipedia. In diesem Sinne ist die wahre Entropie eines Dings einem Betrachter verborgen, obwohl das Ding und eine perfekte Beschreibung für ihn vollständig beobachtbar sind.

Soviel zur Verborgenheit der Entropie (Informationsmenge). Aber was ist mit den Informationen selbst? Die Unberechnbarkeit der Kolmogorov-Komplexität betrifft auch diese Frage: Da die Menge der Entropie, die einen Systemzustand beschreibt, nicht berechenbar ist, kann im Allgemeinen nicht festgestellt werden, ob der Zustand dieses Systems in unserem ursprünglichen System reversibel in den Zustand eines erweiterten Systems kodiert wurde verschmilzt mit anderen Systemen: ansonsten in Worten ausgedrückt, die eher für Schwarze Löcher gelten: Es gibt keinen Algorithmus, der erkennen kann, ob der Zustand unseres ursprünglichen Systems im Zustand eines anderen Systems codiert ist, das das erste verschluckt.

Eine Diskussion über den zweiten Punkt, dh wie sich die experimentell gemessene Entropie und die Kolmogorov-Komplexität unterscheiden, finden Sie unter meine Antwort hier. Dort diskutiere ich auch, warum Informationen in bestimmten einfachen Situationen möglicherweise nicht zerstört werden Die relevanten Gesetze der Physik sind reversibel, dann

Die Welt muss sich auf irgendeine Weise daran erinnern, wie sie zu einem Zustand zurückkehren kann, aus dem sie sich entwickelt hat (die Zuordnung zwischen Systemzuständen bei verschiedenentimes is one-to-one und on).

Dies ist eine allgemeinere Methode, um die in anderen Antworten angegebene Beschreibung der einheitlichen Evolution zu verwenden.

Nachwort : Charles Bennett stellt in seinem Artikel "Die Thermodynamik der Berechnung - eine Überprüfung" die faszinierende und befriedigende Theorie vor, dass der Grund, warum physikalische Chemiker nicht kommen können Ein ausfallsicherer Algorithmus zur Berechnung der Entropien der Moleküle, mit denen sie sich befassen, ist genau dieser Unberechnbarkeitssatz (beachten Sie, dass Algorithmen für bestimmte Fälle nicht ausgeschlossen sind, sodass der Satz nicht beweisen kann, dass physikalische Chemiker Entropien nicht berechnen können. Aber es ist in dem gleichen Sinne sehr plausibel, dass man sagen könnte, dass ein Grund, warum das Debuggen von Software ein schwieriges Problem ist, Turings Unentscheidbarkeit des Satzes über das Anhalten des Problems ist.

Fußnote : Die Shannon-Entropie ist ein Konzept, das leichter auf Systeme anwendbar ist, die als zu einem stochastischen Prozess gehörend angesehen werden, wenn eine detaillierte statistische Beschreibung des Prozesses vorliegt. Im Gegensatz dazu gilt die Komplexität von Kolmogorov eher für "Beschreibungen", und man muss die Sprache der Beschreibung definieren, um $ K (\ Omega) $ span> vollständig zu definieren. Wie genau sie in Fragen wie denen, die im Informationsparadoxon des Schwarzen Lochs angesprochen werden, zusammenhängen (oder auch wenn sie relevant sind), ist eine Frage, deren Antwort wahrscheinlich auf weitere Arbeiten wartet, die über die "Ansichten" der Physikgemeinschaft (wie in einer anderen Antwort angegeben) hinausgehen, ob oder Keine Information überlebt die zugrunde liegende Materie und Energie, die in ein Schwarzes Loch geworfen wird.

Eine weitere Fußnote (26. Juli 13): Siehe auch die Wikipedia-Seite zum Berry Paradox und einen wunderbaren Vortrag von Gregory Chaitin "The Berry Paradox" und gehalten bei einem Kolloquium zwischen Physik und Informatik an der Universität von New Mexico. Das Berry-Paradoxon führt (wenn auch unvollständig, aber in alltäglichen Worten) die Anfänge der Ideen ein, die der Kolmogorov-Komplexität zugrunde liegen, und führt Chaitin tatsächlich zu seiner unabhängigen Entdeckung der Kolmogorov-Komplexität, obwohl das unformalisierte Berry-Paradoxon tatsächlich nicht eindeutig ist. Der Vortrag enthält auch einige ergreifende kleine Beispiele für den persönlichen Umgang mit Kurt Gödel.

Bearbeiten 2. August 2013 Antworten auf Prathyushs Fragen :

Ich könnte Ich verstehe den Zusammenhang zwischen thermodynamischer Entropie und Kolmogorov-Komplexität nicht. Bitte können Sie dies kommentieren. Besonders der Teil "In diesem Sinne ist die wahre Entropie eines Dings vor einem Beobachter verborgen, obwohl das Ding und eine perfekte Beschreibung für ihn vollständig beobachtbar sind." Wenn Sie den genauen Zustand des Systems kennen, dann in Physik-Entropie ist Null, ob wir die Beschreibung vereinfachen können, kommt nicht ins Bild

Versuchen wir zunächst, mit

umzugehen, wenn Sie den genauen Zustand von kennen das System, dann in der Physik Entropie ist Null, ob wir die Beschreibung vereinfachen können, kommt nicht ins Bild

Tatsächlich ist es für das vorliegende Problem zentral , ob eine mögliche Vereinfachung möglich ist oder nicht. Angenommen, unsere Beschreibung unseres Systems $ \ Omega $ span> ist $ N_ \ Omega $ span> Bit lang. Nehmen wir außerdem an, wir haben sehr hart gearbeitet, um die kürzestmögliche vollständige Beschreibung zu erhalten, und hoffen, dass $ N_ \ Omega $ span> irgendwo in der Nähe der Kolmogorov-Komplexität $ K (\ Omega) < N_ \ Omega $ span>. Es folgt ein weiteres "Schluck" -System $ \ Sigma $ span>, das wir sehr sorgfältig untersuchen, bis wir eine vollständige Beschreibung von $ \ Sigma $ span>, das ist $ N_ \ Sigma $ span> Bits lang. Wieder glauben wir, dass $ N_ \ Sigma $ span> in der Nähe der Kolmogorov-Komplexität $ \ Sigma $ span> liegt class = "math-container"> $ K (\ Sigma) < N_ \ Sigma $ span> Der Schlucker $ \ Sigma $ span> absorbiert das System $ \ Omega $ span> - Die beiden Systeme werden also nach einem physischen Prozess zusammengeführt. Jetzt studieren wir unser zusammengeführtes System sehr sorgfältig und stellen fest, dass wir irgendwie eine vollständige Beschreibung erhalten können, deren Länge $ N _ {\ Omega \ cup \ Sigma} $ span> viel kürzer ist als $ N_ \ Omega + N_ \ Sigma $ span> Bits lang. Können wir sagen, dass der Zusammenführungsprozess irreversibel war, in dem Sinne, dass, wenn wir die Zeit rückwärts liefen, die ursprünglichen, getrennten $ \ Omega $ span> und $ \ Sigma $ span> würde nicht wieder auftauchen? Der Punkt ist, dass wir es nicht können, selbst wenn $ N _ {\ Omega \ cup \ Sigma} \ ll N_ \ Omega + N_ \ Sigma $ span>. Warum? Weil wir nie sicher sein können, dass wir wirklich die kürzestmöglichen Beschreibungen von $ \ Omega $ span> und $ \ Sigma $ . Es gibt keine Möglichkeit zu sagen, ob $ K (\ Omega) = N_ \ Omega, K (\ Sigma) = N_ \ Sigma $ span>.

Letztendlich geht es hier um die Frage, ob Zeitentwicklungen in der Physik Eins-zu-Eins-Funktionen sind, d. h. wenn ein Endzustand für ein System gegeben ist, impliziert dies immer eindeutig einen eindeutigen Anfangszustand? Unser großes zentrales Problem hierbei ist, dass wir nicht wissen, wie die Natur die Zustände ihrer Systeme codiert. Im übertragenen Sinne sind das Codierungsschema und das Codebuch das, was Physiker für ihr Geschäft tun. Kolmogorov-Komplexität oder verwandte Konzepte werden hier als relevant angenommen, da angenommen wird, dass man, wenn man wirklich weiß, wie die Natur funktioniert, weiß, was der maximal komprimierte (im informationstheoretischen Sinne) Konfigurationsraum für ein gegebenes System ist und somit der Die kürzestmögliche Beschreibung des Systemzustands ist eine Zahl, die angibt, an welchen Punkten im Konfigurationsbereich sich ein bestimmtes System befindet. Wenn die Anzahl der möglichen Punkte im Endkonfigurationsraum - die Endkomplexität von Kolmogorov (Modulo eine additive Konstante) - geringer ist als die Anzahl der möglichen Punkte im Anfangsraum, können wir im Allgemeinen sagen, dass der Prozess Informationen zerstört, weil zwei oder mehr Anfangszustände werden einem Endzustand zugeordnet. Das Finden einer verborgenen Reihenfolge in scheinbar zufälligem Verhalten ist ein schwieriges Problem: Diese Tatsache lässt die Kryptographie funktionieren. Scheinbar zufällige Sequenzen können aus exquisit einfachen Gesetzen erzeugt werden: Zeuge Blum Blum Shub oder Mersenne Twisters. Wir könnten eine scheinbar zufällige oder auf andere Weise feine Struktur in etwas beobachten und annehmen, dass wir eine äußerst komplizierte Theorie haben müssen, um sie zu beschreiben, während die Natur die ganze Zeit über einen metaphorischen Mersenne-Twister verwenden und die exquisite Struktur in ein paar Bits in ihrem Codebuch zusammenfassen könnte!

Versuchen wir nun Folgendes zu behandeln:

Ich konnte den Zusammenhang zwischen thermodynamischer Entropie und Kolmogorov-Komplexität nicht verstehen. Bitte können Sie dies kommentieren.

Eine Interpretation der thermodynamischen Entropie ist, dass es sich um eine Annäherung an den "Informationsgehalt" des Systems oder an die Anzahl der Bits handelt, die erforderlich sind, um ein System aufgrund seiner makroskopischen Eigenschaften vollständig zu spezifizieren. Eigentlich ist Ihr Kommentar "Ich konnte den Zusammenhang zwischen thermodynamischer Entropie und Kolmogorov-Komplexität nicht verstehen" eine sehr gute Antwort auf diese ganze Frage! - Wir kennen die Verbindung zwischen beiden im Allgemeinen nicht und das vereitelt die Bemühungen, zu wissen, wie viele Informationen wirklich erforderlich sind, um den Status eines Systems eindeutig zu kodieren.

In einigen Fällen sind die Konzepte jedoch miteinander verknüpft. Das klassische Beispiel hierfür ist die Boltzmann $ H $ span> -Entropie für ein Gas aus statistisch unabhängigen Partikeln:

$ H = - \ sum_i p_i \ log_2 p_i $ span>

wobei $ p_i $ span> ist die Wahrscheinlichkeit, dass sich ein Partikel im Status Nummer $ i $ span> befindet. Der obige Ausdruck ist in Bits pro Partikel angegeben (hier habe ich gerade Einheiten neu skaliert, sodass die Boltzmann-Konstante $ k_B = \ log_e 2 $ span>).

Wenn die Besetzung der Zustände durch die Partikel tatsächlich zufällig und statistisch unabhängig ist, kann durch den Shannon Noiseless Coding Theorem gezeigt werden, dass die Anzahl der Bits zum Codieren der Zustände eines großen Zustands erforderlich ist Die Anzahl $ N $ span> von ihnen ist genau $ H $ span> Bits pro Partikel. Dies ist die minimale Anzahl von Bits in dem Sinne, dass, wenn man versucht, einen Code zu konstruieren, der $ H- \ epsilon $ span> Bits pro Partikel als $ N \ rightarrow \ infty $ span> Die Wahrscheinlichkeit eines Codierungsfehlers nähert sich der Einheit für jeden $ \ epsilon > 0 $ span>. Wenn wir dagegen bereit sind, $ H + \ epsilon $ span> zuzuweisen, gibt es immer einen Code, bei dem sich die Wahrscheinlichkeit einer vollständig eindeutigen Codierung der Einheit als $ N \ rightarrow \ infty $ span> für jeden $ \ epsilon > 0 $ span>. In diesem speziellen Fall entspricht die Boltzmann-Entropie der Kolmogorov-Komplexität als $ N \ rightarrow \ infty $ span>: Wir müssen $ H + \ epsilon $ span> Bits pro Partikel sowie ein konstanter Overhead, um zu beschreiben, wie die Codierung in der Sprache funktioniert, mit der wir arbeiten. Dieser über alle Partikel verteilte Overhead nähert sich null Bits pro Partikel als $ N \ rightarrow \ infty $ span>.

Wenn sich ein thermodynamisches System im Gleichgewicht befindet "und die statistisch unabhängigen Partikelzustandsberufe können wir die Boltzmann-Wahrscheinlichkeitsverteilung

$ p_i = \ mathcal {Z} ^ {- 1} e ^ {- \ beta E_i} $ span>

in den $ H $ span> und zeigen, dass es dasselbe gibt wie die Clausius-Entropie $ S_ {exp} $ span> abgeleitet von experimentellen Makrostaten.

Wenn es eine Korrelation zwischen Partikelbesetzungen gibt, gelten im Prinzip ähnliche Kommentare für die Gibbs-Entropie, wenn die Wahrscheinlichkeitsverteilungen des Gelenkzustands für alle Partikel bekannt sind. Die gemeinsamen Wahrscheinlichkeitsverteilungen sind jedoch im Allgemeinen zumindest aus makroskopischen Messungen nicht zu finden. Siehe das Papier Gibbs vs Boltzmann Entropy von E. T. Jaynes sowie viele andere Werke von ihm zu diesem Thema. Darüber hinaus hat Benutzer Nathaniel von Physics Stack Exchange eine ausgezeichnete Doktorarbeit sowie mehrere Artikel, die von Interesse sein könnten. Die Schwierigkeit, die Gibbs'sche Entropie zu messen, ist eine weitere Schwierigkeit bei diesem ganzen Problem. Ich habe auch eine andere Antwort gegeben, die dieses Problem zusammenfasst.

Ein letzter Weg, um KC mit anderen Entropiekonzepten zu verknüpfen: Wenn Sie möchten, können Sie den Begriff KC verwenden, um zu definieren, was wir unter "zufällig" und "statistisch unabhängig" verstehen. Motiviert durch den Satz von Shannon Noiseless Coding können wir damit sogar Wahrscheinlichkeiten definieren. Eine Folge von Variablen ist zufällig, wenn es kein Modell (keine Beschreibung) gibt, mit dem ihre Werte beschrieben werden können, außer um ihre Werte zu benennen. Der Grad der "Zufälligkeit" in einer Zufallsvariablen kann so gedacht werden: Sie können ein Modell finden, das die Reihenfolge der Variablen etwas beschreibt - aber es ist nur ungefähr. Eine kürzere Beschreibung einer Zufallssequenz besteht darin, ein Modell und seine Randbedingungen zu definieren und dann dieses Modell und die Bedingungen sowie die Diskrepanzen zwischen den beobachteten Variablen und dem Modell zu codieren. Wenn das Modell besser ist als zu raten, ist dies eine aussagekräftigere Beschreibung, als nur die Werte vollständig zu benennen. Variablen sind "statistisch unabhängig", wenn es selbst im Prinzip keine Beschreibung gibt, die modellieren kann, wie sich der Wert einiger Variablen auf die anderen auswirkt, und daher besteht die markanteste Beschreibung der Sequenz darin, alle einzelnen Variablen vollständig zu benennen. Dies ist, was Korrelationsfunktionen zwischen rvs tun, zum Beispiel: Die Kenntnis des Wertes von X kann verwendet werden, um die Varianz einer zweiten korrelierten Variablen Y durch ein lineares Modell zu reduzieren, das den Korrelationskoeffizienten beinhaltet (ich meine, reduzieren Sie die Varianz in der bedingte Wahrscheinlichkeitsverteilung ). Schließlich können wir das Shannon Noiseless Coding Theorem auf den Kopf stellen und es verwenden, um Wahrscheinlichkeiten durch das KC zu definieren: die Wahrscheinlichkeit, dass diskrete rv $ X $ span> entspricht $ x $ span> ist $ p $ span>, wenn Folgendes gilt. Nehmen Sie eine Folge von rvs und notieren Sie für jeden die Folge von Wahrheitswerten $ X = x $ span> "oder $ X \ neq x $ span> und "finde die markigste Beschreibung" (wir werden wegen der Unberechnbarkeit von KK ein "Orakel" brauchen) dieser Wahrheitswertsequenz und ihrer Länge in Bits und Bits pro Sequenzmitglied. Die Wahrscheinlichkeit "p" ist dann die Zahl, so dass $ - p \ log_2 p - (1-p) \ log_2 (1-p) $ span> diesen Bits pro Sequenzmitglied als Sequenz entspricht Länge $ \ rightarrow \ infty $ span> (die Begrenzung verbessert sowohl die statistischen Schätzungen als auch verteilt den Overhead der festen Länge bei der Beschreibung des Codierungsschemas auf viele Sequenzmitglieder, so dass dieser Overhead nicht zu den Bits pro Sequenzmitglied beiträgt). Dieser Ansatz umgeht einige der philosophischen Minenfelder, die bei der Definition von Zufälligkeit und Wahrscheinlichkeit entstehen - siehe das Stanford Dictionary of Philosophy Eintrag "Chance versus Zufälligkeit für einen Vorgeschmack darauf.

Zuletzt :

Wenn Sie den genauen Zustand des Systems kennen, ist die Entropie in der Physik Null

Hier Unsere Probleme sind die subtilen Unterscheidungen (1) zwischen einer Instanz eines Ensembles von Systemen, von denen angenommen wird, dass sie Mitglieder desselben zufälligen Prozesses oder derselben "Population" sind, und dem Ensemble selbst, (2) Informations- und thermodynamischen Entropien und (3) bedingungslosen und bedingte informationstheoretische Entropien.

Als ich sagte, dass "die wahre Entropie eines Dings vor einem Beobachter verborgen ist, obwohl das Ding und eine perfekte Beschreibung davon für sie vollständig beobachtbar sind", konditionierte natürlich die informationstheoretische Shannon-Entropie über die volle Kenntnis des Beobachters des Systems ist nichts. Im Gegensatz dazu ist die thermodynamische Entropie für alle gleich. In einem weiteren Gegensatz dazu ist die informationstheoretische Entropie für einen anderen Beobachter, der nicht über das volle Wissen verfügt, ungleich Null. Was ich in diesem Fall gefahren bin, ist die Kolmogorov-Komplexität oder die Anzahl der Ja / Nein-Fragen, die erforderlich sind, um ein System aus derselben zugrunde liegenden statistischen Population zu spezifizieren, da diese Größe, wenn sie vor und nach einem physikalischen Prozess berechnet werden kann, ist Was kann man verwenden, um festzustellen, ob der Prozess reversibel war (im Sinne einer Eins-zu-Eins-Funktion der Systemkonfiguration)?

Ich hoffe, dass diese Reflexionen Ihnen Prathyush bei Ihrem Streben nach Verständnis helfen die Unzerstörbarkeit oder auf andere Weise von Informationen in der Physik.

Wie viele Leute hier gesagt haben, spricht er wahrscheinlich von Einheitlichkeit. Susskind gibt die allgemeine Ansicht unter Physikern wieder. Ich denke, wir haben (noch) keinen konkreten Weg, um das Prinzip genau zu formulieren, geschweige denn irgendeinen Beweis. Aber basierend auf der Einheitlichkeit in der Quantenmechanik und (was es wert ist) der physikalischen Intuition über die Schwerkraft scheint es sinnvoll, Informationeninhalte zu erhalten.

Eine einfache Ein Beispiel für dieses Prinzip wäre der No-Cloning-Satz. So wie ich es sehe, heißt es, dass Sie die Informationen im Register (das Qubit in , in das Sie einige Informationen nicht kopieren können) nicht auf eine Weise zerstören können, die mit übereinstimmt einheitliche Evolution. Wenn Sie es geschafft haben, sollten Sie in der Lage sein, die einheitliche Entwicklung umzukehren und die Informationen aus dem Register zu generieren, das Sie zerstört haben sollen.

Betrachten Sie verborgene Informationen als solche vorübergehend ausgeblendet. Wenn sich einige Informationen im Schwarzen Loch befinden, können Sie nicht auf diese Informationen zugreifen, und das Schwarze Loch hat eine entsprechende Entropie. Wenn das Schwarze Loch verdunstet ist, gibt es nichts mehr, was die Entropie enthalten könnte. Die Informationen müssen also irgendwie ausgesendet worden sein und sind jetzt nicht mehr verborgen (oder so wird es ab heute angenommen). Auch hier glaube ich nicht, dass es eine konkrete Berechnung gibt, um dies endgültig festzustellen - hauptsächlich, weil wir die Quantengravitation nicht gut im Griff haben.

tl; dr - Die Unzerstörbarkeit von Informationen ist eher ein ideales Ziel für Wissenschaftler als ein Naturgesetz. Es ist das Ideal, weil physikalische Transformationen bestenfalls zwischen so vielen Zuständen vor und nach der Transformation unterscheiden können; Alles andere ist unmöglich, während weniger weniger als Verbesserungsmöglichkeit erscheint.

Trivialerweise wissen wir, dass wir ohne Messung / Beobachtung keine Informationen erhalten können. Das Beste, was ein physikalisches Modell jemals tun kann, ist, Informationen zu speichern.

Wenn beispielsweise 10 Informationsbits über ein physikalisches System bekannt sind und keine weiteren Informationen gewonnen werden (z. B. durch Messung), ist es unter jeder hypothetischen Art von Physik absolut unmöglich, jemals mehr als 10 Informationsbits zu haben das physikalische System nach jeder Transformation, z nach zeitlicher Vorwärts- oder Rückwärtsbewegung.

Im Gegensatz dazu ist es leicht, Informationen zu verlieren. Wenn jemand einfach vergisst, was er über Physik weiß, verlieren selbst ideale Newtonsche Systeme 100% der Informationen, da keine Vorhersage ihrer Entwicklung getroffen werden kann. (Erwähnenswert ist, dass Informationen eine Eigenschaft eines Modells und nicht des Universums selbst sind, sodass unterschiedliche Beobachter unterschiedliche Informationslecks wahrnehmen können.)

Die perfekte Informationserhaltung des Ideals. Wenn wir Informationen nicht aufbewahren, können wir nicht sicher sein, ob unsere Modelle vollständig sind. Dann ist die Behauptung, dass Informationen unzerstörbar sind, im Grunde die idealistische Forderung, dass die Gesetze der Physik diese theoretische Optimalität erreichen.

Als Ideal ist anzumerken, dass es nicht unbedingt eine praktische Wahrheit ist. Wir können hypothetische Gesetze der Physik konstruieren, die Informationen praktisch nicht bewahren würden; Wenn einer dieser Fälle der Fall ist, wird die Behauptung, dass Informationen unzerstörbar sind, weiterhin nicht verwirklicht.

Unabhängig davon sind Systeme, die Informationen zu verlieren scheinen, aus zwei wichtigen Gründen ein eklatantes Ziel für Wissenschaftler:

1. Jede -Vorhersage, die auf der Grundlage der Informationen " verloren " getroffen werden kann, stellt eine neuartige Entdeckung dar.

2. Die meisten aktuellen Gesetze der Physik zielen darauf ab, Informationen zu erhalten, sodass sie bereit sind, das verlustbehaftete System mit anzugreifen.

ol>

Das Schwarze Loch ist ein Beispiel für den zweiten Punkt.Wenn Schwarze Löcher Informationen zu verlieren scheinen, während aktuelle Theorien dies nicht tun, scheint dies eine hervorragende Gelegenheit zu sein, Schwarzlochmodelle mit anderen Theorien anzugreifen und zu sehen, was daraus herausfällt.

Eine Menge Leute antworteten, aber mit sehr komplizierten Dingen. Also werde ich mit weitaus verständlicheren und lustigeren Dingen antworten ...

Erstens glaubt Susskind, wie viele Menschen, dass physikalische Gesetze umkehrbar sind, und daher liegt es nahe, dass Informationen nicht verloren gehen können, sonst könnten Sie die Dinge nicht umkehren.

Und wenn er sagt, dass Informationen nicht verloren gehen, meint er theoretisch, das gesamte Universum mit einem gottähnlichen Wissensstand zu betrachten, nicht für eine bestimmte Person.

Dann stellt sich die Frage, was genau Sie unter Entropie verstehen. Entropie ist eine Information im System, die Sie nicht kennen. Zum Beispiel können in einer Badewanne mit Wasser herkömmliche Beobachtungen die Temperatur, den Druck und das Volumen umfassen, aber es gibt unzählige Informationen, die in den Zuständen aller Wassermoleküle, ihren Bewegungen und Schwingungsmoden codiert sind. Dies sind unbekannte Informationen und vieles ist in der Praxis nicht einmal zu beobachten. Wir wissen nur etwas über die Energieverteilung. Die Anzahl der Entropiebits entspricht der Anzahl der zusätzlichen Informationsbits über dem, was Sie bereits wissen und die Sie mühsam katalogisieren müssten, um das System zu einem bestimmten Zeitpunkt vollständig zu beschreiben.

Betrachten wir einen Modus des Informationsverlusts: das Löschen von Computerdaten. Immer wenn ein Bit in einem Computerspeicher umgedreht wird, werden diese Informationen überschrieben, und herkömmlicherweise betrachten wir sie als verloren.

Das physikalische Umdrehen dieser Bits erzeugt jedoch Wärme in der Schaltung, und diese Kaskade von Ereignissen auf atomarer Ebene beinhaltet die Ableitung dieses Informationsbits in thermische Schwingungsmodi. Tatsächlich ist $ E = kTln2 $ die maximale Energiemenge, die freigesetzt wird, wenn bei Temperatur T ein wenig gespiegelt wird

Sie fragen sich also, ob diese Informationen aus der Umgebung wiederhergestellt werden können, damit wir den Wert des Bits kennen? Die Antwort lautet in diesem speziellen Fall "Nein", da die Wärme des Bits nahezu unendlich viele Dimensionen hat, in die sie abgeführt werden kann. Daher gibt es keinen wirklichen praktischen Weg, dies wieder zusammenzuführen, aber dies bedeutet nicht, dass die Informationen zerstört werden, sondern nur, dass sie zerstört werden ist für uns nicht mehr zugänglich und wird daher zu unbekannten Informationen, von denen wir wissen, dass sie vorhanden und quantifizierbar sind, und deshalb nennen wir sie Entropie.

Lassen Sie mich Ihnen nun zeigen, wie die Entropie tatsächlich reduziert werden kann. Angenommen, Sie haben eine Box, in die Sie Computerkabel wie USB-Kabel oder Netzkabel werfen. Vielleicht legen Sie sie zunächst in geordneter Weise übereinander. Aber dann, ein Jahr später, kommst du zu dieser Kiste und alle Schnüre sind in einem großen Haarball verwickelt. Der anfänglich geordnete Zustand hat eine niedrige Entropie. Sie legen die Kabel in einer bestimmten Reihenfolge übereinander, daher sollten Sie angeblich einige Informationen über die Anordnung des Inhalts der Box kennen, auch wenn Sie nicht alle Einzelheiten kennen. Mit der Zeit stöbern die Leute möglicherweise in der Schachtel herum und suchen nach dem einen oder anderen Kabel, um den Inhalt herumzurühren, Dinge beiseite zu schieben und den Inhalt auf verschiedene Weise zu vibrieren. Dies sind ungeordnete unbekannte Umgebungsinformationen, die dem Inhalt der Box hinzugefügt werden. Es ist eine zufällige Ansammlung von Kräften auf verschiedene Kabel im Laufe der Zeit, und Sie notieren diese Informationen nicht. Die Entropie des Systems (verborgene Informationen aus den externen zufälligen Störungen) wird also erhöht.

Am Ende haben Sie eine ganze Reihe von Kabeln, die auf verschiedene Weise miteinander verbunden sind, anstatt unabhängig und einfach organisiert zu sein. Die Informationen, die in all diesen Knoten und Verwicklungen codiert sind, stammen aus den zufälligen Umgebungsinformationen, die hinzugefügt wurden. Dies ist die Zunahme der Entropie.

Wenn Sie mit dieser Situation nicht zufrieden sind, entscheiden Sie sich, sie zu organisieren. In der Praxis bedeutet dies jedoch, dass Sie alle Knoten lösen müssen, indem Sie jedem Kabel durch das System folgen und die hinzugefügten Informationen erkennen, um alle Verwicklungen zu lösen und sie wieder zu trennen. Dieser Sortierprozess verringert also die Entropie des Systems, da Sie genau katalogisieren (und schnell vergessen), wie die verborgenen Informationen in den Kabelverwicklungen codiert wurden. Beachten Sie aber auch, dass dieser Prozess Energie und Zeit von Ihrer Seite erfordert. Und die Informationen, die in den Kabelsalat verschlüsselt waren, gingen in Ihr Gehirn und wurden dann vergessen und als Wärmeenergie abgeführt.

Aber das Seltsame ist, dass Entropie mit Ihrem Wissensstand zusammenhängt. Das bedeutet, dass Sie und ich möglicherweise demselben System unterschiedliche Entropie zuschreiben können, je nachdem, was wir im Voraus wissen.

Wenn ich zum Beispiel eine Million Informationsbits erhalte, kann ich die Häufigkeit der Einsen und Nullen und anderer Statistiken berechnen, und das gibt mir einige Informationen, aber den Rest halte ich für verborgen und kann daher eine setzen große Entropiezahl darauf. Aber jemand anderes könnte eine bestimmte Menge an Informationen über die Tatsache haben, dass die Bits eine codierte Nachricht sind, so dass für sie die Entropie geringer ist, weil die zusätzlichen Informationen das Bitmuster auf einen strukturierten Raum beschränken, der kleiner als $ 2 ^ N $ ist. P. >

Wenn jemand auf irgendeine Weise bemerkt hätte, wie sich jede Interaktion mit der Kabelbox im Laufe der Zeit auf sie ausgewirkt hat, wäre die Entropie am Ende aus Sicht dieser Person gering, obwohl sich die Kabel immer noch verheddern würden.Es ist nur so, dass diese Person, die beobachtet hat, wie sie sich verheddert hat, nicht zuließ, dass die Informationen verborgen wurden, und theoretisch die Kabel am Ende nicht analysieren muss, um sie zu verstehen. Sie könnte sie mechanisch wie einen Roboter entwirrenmit null oder niedrigen Wahrnehmungsniveaus.

Mein Verständnis war immer, dass dies ein Ergebnis der zeitentwicklungserhaltenden Maßnahme im Zustandsraum war. Wir haben also einen Raum von Zuständen $ \ mathcal {P} $ mit dem Maß $ \ mu $ und es gibt ein Ensemble von Zuständen in $ \ mathcal {P} $, die nach einem anderen Maß $ \ nu $ verteilt sind. Wir haben auch ein dynamisches System, das die Zeitentwicklung $ f: \ mathcal {P} \ times \ mathbb {R} \ bis \ mathcal {P} $ beschreibt, wobei $ f (p, t) $ der Zustand ist, in dem sich ein Teilchen anfänglich im Zustand befindet $ p $ endet nach einer Zeit von $ t $. Die entscheidende Eigenschaft von $ f $ ist, dass das Maß in dem Sinne erhalten bleibt, dass ein kleiner Bereich des Phasenraums, wenn er ein bestimmtes Phasenraumvolumen $ V $ hat, zu jedem späteren Zeitpunkt dasselbe Phasenraumvolumen $ V $ hat.

$ \ DeclareMathOperator {\ Tr} {Tr} $ Betrachten wir nun die klassische Mechanik von $ N $ -Partikeln in $ d $ -Dimensionen. Das Maß $ \ mu $ ist gegeben durch $ d \ mu = d ^ {dN} xd ^ {dN} p $. Die Funktion $ f (p, t) $ wird durch Hamilton-Gleichungen bestimmt. Wir haben ein Ensemble von Staaten, die nach einem bestimmten Maß $ \ nu $ verteilt sind. Normalerweise sprechen wir über die Phasenraumdichte $ \ rho $, die durch $ d \ nu = \ rho d \ mu $ gegeben ist. Dann wird die Entropie durch $ S = - \ rho (p) \ log \ rho (p) d \ mu $ definiert.

Betrachten wir nun die zeitliche Entwicklung der Entropie. Wir haben $ S (t) = - \ int \ rho (p, t) \ log \ rho (p, t) d \ mu $. Wir müssen also die zeitliche Entwicklung von $ \ rho $ finden. Wir haben $ \ rho (p, t) = \ frac {\ rho (f ^ {- 1} (p), 0)} {\ det \ partielle_p f (p, t)} $. Aber Louivilles Theorem besagt, dass die Determinante im Nenner eins sein muss, also $ \ rho (p, t) = \ rho (f ^ {- 1} (p), 0) $. Jetzt ist $ S (t) = - \ int \ rho (f ^ {- 1} (p), 0) \ log \ rho (f ^ {- 1} (p), 0) d \ mu $. Nach Louvilles Theorem können wir nun die Variablen $ f ^ {- 1} (p) \ in p $ ändern, um $ S (t) = - \ int \ rho (p, 0) \ log \ rho (p) zu erhalten , 0) d \ mu = S (0) $, daher muss die Entropie eine Konstante sein.

Ein weiterer zu betrachtender Fall ist die Quantenmechanik. Hier ist der Phasenraum $ \ mathcal {P} $ der Raum der Wellenfunktionen und $ \ mu $ das Maß für diesen Raum (es ist komplizierter für unendlich dimensionale Hilbert-Räume). Die Funktion $ f $ ist gegeben durch $ | \ psi (0) \ rangle \ bis U (t, 0) | \ psi (0) \ rangle $, wobei $ U $ der (einheitliche) Zeitentwicklungsoperator ist. Wir haben eine Verteilung von Zuständen, die durch $ \ nu $ gegeben ist, und die Dichtematrix, die diese Sammlung von Zuständen beschreibt, ist gegeben durch $ \ rho = \ int | \ psi \ rangle \ langle \ psi | d \ nu $. Die Entropie wird dann definiert als $ S = - \ Tr (\ rho \ log \ rho). $

Betrachten wir nun die zeitliche Entwicklung der Entropie. Wir haben $ S (t) = - \ Tr (\ rho (t) \ log \ rho (t)) $. Wir müssen also die zeitliche Entwicklung von $ \ rho $ finden. Wir haben $ \ rho (t) = \ int | \ psi \ rangle \ langle \ psi | d \ nu_t $, wobei der Index $ t $ angibt, dass es sich um die Verteilung zum Zeitpunkt $ t $ handelt. Da $ \ nu_t $ der Pushforward von $ \ nu_0 $ unter $ f (\ cdot, t) $ ist, haben wir $ \ rho (t) = \ int U (t, 0) | \ psi \ rangle \ langle \ psi | U ^ \ Dolch (t, 0) d \ nu_0 = U (t, 0) \ int | \ psi \ rangle \ langle \ psi | d \ nu_0 U ^ \ Dolch (t, 0) = U (t, 0) \ rho (0) U ^ \ Dolch (t, 0) $. Nun, da $ \ log (U (t, 0) \ rho (0) U ^ \ Dolch (t, 0)) = U (t, 0) \ log (\ rho (0)) U ^ \ Dolch (t, 0) $, und durch die Zyklizität der Spur haben wir $ S (t) = - \ Tr (\ rho (t) \ log \ rho (t)) = - \ Tr (\ rho (0) \ log \ rho ( 0)) = S (0) $, daher ist die Entropie konstant.

Beachten Sie hier, dass es nicht ausreichte, dass die Dynamik reversibel war. Der gedämpfte harmonische Oszillator ist reversibel, aber seine Entropie nimmt ab (er gibt seiner Umgebung Entropie, vorausgesetzt, seine Anfangsenergie ist viel größer als $ kT $). Die Dynamik muss wirklich das Volumen im Zustandsraum erhalten.

Dies ist eine philosophische Antwort, die jedoch nützlich ist:

Die Logik ist eigentlich recht einfach:

Es gibt keine Diskontinuität. Es gibt Ursache und Wirkung.

JEDER aktuelle Stand der Dinge ist ein "Effekt", der aus einer unendlichen Anzahl von Ursachen resultiert. Und es ist auch eine Ursache für nachfolgende Effekte.

Kurz gesagt, genau wie Materie wandeln sich Informationen durch Ursache-Wirkungs-Mechanik in verschiedene Zustände um.

Also, was wir "Chaos" oder "Entropie" oder einen anderen scheinbar unverständlichen und nicht nachvollziehbaren Zustand der Existenz zu nennen, ist auch ein Zustand, der aus einer unendlichen Anzahl von Ursachen resultiert, die zu Effekten führen.

Dass wir nicht in der Lage sind, zu verfolgen , solche Existenzzustände zu unterscheiden, zu berechnen, zu verstehen, zu erklären bedeutet nicht, dass sie außerhalb der Ursache-Wirkungs-Mechanik und anderer Mechanismen liegen, die Existenz machen.

Jeder Zustand in einem chaotischen, entropischen Zustand sollte also theoretisch sein Rückverfolgbar auf frühere Zustände, sollte tatsächlich auf eine Ursache-Wirkungs-Mechanik zurückzuführen sein, die beobachtet, berechnet werden kann, wenn Sie die Mittel dazu haben, und natürlich auch mit einem früheren Informationszustand verknüpft sein sollte - einschließlich des Zustands, in dem die Entropie, Chaos oder "zerstörte Informationen" sind noch nicht entstanden, und die frühere Informationen, die wir beobachteten, waren dort, wie sie waren.

Aufbewahrung von Informationen, wenn Sie so wollen. Informationen unterliegen auch der Ursache-Wirkungs-Mechanik, die überall unantastbar ist. (Dass einige Fälle - wie einige quantenphysikalische Experimente - die Ursache-Wirkungs-Beziehungen zu „verletzen“ scheinen, bedeutet nicht, dass sie die Mechanik in Bezug auf die allgemeine Existenz selbst verletzen, lassen Sie das Universum beiseite.)

Wenn Sie schauen würden Bei Schwarzen Löchern und Erklärungen, die Susskind und andere gebracht haben, gibt es keine Ausnahme - Informationen werden auf diese oder jene Weise geschützt und konserviert und verknüpft.

Daher ist es unzerstörbar: Sie sollten in der Lage sein, alle Informationen zu rekonstruieren, die zum AKTUELLEN Informationszustand geführt haben, indem Sie den aktuellen Informationszustand analysieren und dekonstruieren. Was beinhaltet, dass alles in ein Schwarzes Loch fällt und in Singularität verschmilzt.