Eines der ältesten Werkzeuge in der Computerphysik – eine 200 Jahre alte mathematische Technik, die als Fourier-Analyse bekannt ist – kann entscheidende Informationen darüber liefern, wie eine Form künstlicher Intelligenz, die als Deep Neural Network bezeichnet wird, lernt, Aufgaben auszuführen, die komplexe Physik wie Klima und Turbulenzmodellierung, laut einer neuen Studie.
Die Entdeckung von Maschinenbauforschern an der Rice University wird in einer Open-Access-Studie beschrieben, die in veröffentlicht wurde PNAS-Nexus, eine Schwesterveröffentlichung der Proceedings of the National Academy of Sciences.
„Dies ist der erste rigorose Rahmen, der die Verwendung tiefer neuronaler Netze für komplexe dynamische Systeme wie das Klima erklärt und anleitet“, sagte der entsprechende Autor der Studie, Pedram Hassanzadeh. „Es könnte den Einsatz von wissenschaftlichem Deep Learning in der Klimawissenschaft erheblich beschleunigen und zu viel zuverlässigeren Prognosen zum Klimawandel führen.“
In der Abhandlung beschreiben Hassanzadeh, Adam Subel und Ashesh Chattopadhyay, beide ehemalige Studenten, und Yifei Guan, ein Postdoktorand, ihre Verwendung der Fourier-Analyse zur Untersuchung eines neuronalen Deep-Learning-Netzwerks, das darauf trainiert wurde, komplexe Luftströmungen in der Atmosphäre zu erkennen oder Wasser im Ozean und um vorherzusagen, wie sich diese Strömungen im Laufe der Zeit ändern würden. Ihre Analyse enthüllte „nicht nur, was das neuronale Netzwerk gelernt hatte, sondern ermöglichte es uns auch, das, was das Netzwerk gelernt hatte, direkt mit der Physik des komplexen Systems zu verbinden, das es modellierte“, sagte Hassanzadeh.
„Deep Neural Networks sind unglaublich schwer zu verstehen und werden oft als ‚Black Boxes‘ betrachtet“, sagte er. „Das ist eines der Hauptprobleme bei der Verwendung tiefer neuronaler Netze in wissenschaftlichen Anwendungen. Das andere ist die Verallgemeinerbarkeit: Diese Netze können nicht für ein System funktionieren, das sich von dem unterscheidet, für das sie trainiert wurden.“
Hassanzadeh sagte, der analytische Rahmen, den sein Team in dem Papier vorstellt, „öffnet die Black Box, lässt uns nach innen schauen, um zu verstehen, was die Netzwerke gelernt haben und warum, und lässt uns das auch mit der Physik des gelernten Systems verbinden.“
Subel, der Hauptautor der Studie, begann die Forschung als Rice-Student und ist jetzt Doktorand an der New York University. Er sagte, das Framework könne in Kombination mit Techniken zum Transferlernen verwendet werden, um „eine Verallgemeinerung zu ermöglichen und letztendlich die Vertrauenswürdigkeit von wissenschaftlichem Deep Learning zu erhöhen“.
Während viele frühere Studien versucht hatten aufzuzeigen, wie Deep-Learning-Netzwerke lernen, Vorhersagen zu treffen, sagte Hassanzadeh, dass er, Subel, Guan und Chattopadhyay sich dafür entschieden hätten, das Problem aus einer anderen Perspektive anzugehen.
„Die gängigen maschinellen Lernwerkzeuge zum Verständnis neuronaler Netze haben für natürliche und technische Systemanwendungen keinen großen Erfolg gezeigt, zumindest so, dass die Ergebnisse mit der Physik verbunden werden könnten“, sagte Hassanzadeh. „Unser Gedanke war: ‚Lasst uns etwas anderes machen. Lasst uns ein Werkzeug verwenden, das für das Studium der Physik üblich ist, und es auf die Untersuchung eines neuronalen Netzwerks anwenden, das gelernt hat, Physik zu betreiben.“
Er sagte, die Fourier-Analyse, die erstmals in den 1820er Jahren vorgeschlagen wurde, sei eine bevorzugte Technik von Physikern und Mathematikern zur Identifizierung von Frequenzmustern in Raum und Zeit.
„Leute, die sich mit Physik befassen, betrachten fast immer Daten im Fourier-Raum“, sagte er. „Es macht Physik und Mathematik einfacher.“
Wenn jemand beispielsweise über einen Zeitraum von einem Jahr minütlich Aufzeichnungen der Außentemperaturen hätte, wären die Informationen eine Folge von 525.600 Zahlen, eine Art Datensatz, den Physiker als Zeitreihen bezeichnen. Um die Zeitreihen im Fourier-Raum zu analysieren, würde ein Forscher jede Zahl in der Reihe trigonometrisch transformieren und einen weiteren Satz von 525.600 Zahlen erstellen, der Informationen aus dem ursprünglichen Satz enthalten würde, aber ganz anders aussehen würde.
„Anstatt jede Minute die Temperatur zu sehen, würde man nur ein paar Spitzen sehen“, sagte Subel. „Einer wäre der Kosinus von 24 Stunden, der der Tag-Nacht-Zyklus von Hochs und Tiefs wäre. Dieses Signal war die ganze Zeit in der Zeitreihe da, aber die Fourier-Analyse ermöglicht es Ihnen, diese Arten von Signalen sowohl in Zeit als auch leicht zu sehen Raum.“
Basierend auf dieser Methode haben Wissenschaftler andere Werkzeuge für die Zeit-Frequenz-Analyse entwickelt. Beispielsweise filtern Tiefpasstransformationen Hintergrundgeräusche heraus, und Hochpassfilter machen das Gegenteil, sodass man sich auf den Hintergrund konzentrieren kann.
Das Team von Hassanzadeh führte zuerst die Fourier-Transformation an der Gleichung seines vollständig trainierten Deep-Learning-Modells durch. Jeder der etwa 1 Million Parameter des Modells wirkt wie ein Multiplikator, der bei Modellberechnungen bestimmten Operationen in der Gleichung mehr oder weniger Gewicht beimisst. In einem untrainierten Modell haben Parameter zufällige Werte. Diese werden während des Trainings angepasst und verfeinert, während der Algorithmus allmählich lernt, zu Vorhersagen zu gelangen, die den bekannten Ergebnissen in Trainingsfällen immer näher kommen. Strukturell sind die Modellparameter in etwa 40.000 Fünf-mal-Fünf-Matrizen oder Kerneln gruppiert.
„Als wir die Fourier-Transformation der Gleichung nahmen, sagte uns das, dass wir uns die Fourier-Transformation dieser Matrizen ansehen sollten“, sagte Hassanzadeh. „Das wussten wir nicht. Niemand hat diesen Teil jemals zuvor gemacht, sich die Fourier-Transformationen dieser Matrizen angesehen und versucht, sie mit der Physik zu verbinden.
„Und als wir das taten, stellte sich heraus, dass das, was das neuronale Netzwerk lernt, eine Kombination aus Tiefpassfiltern, Hochpassfiltern und Gabor-Filtern ist“, sagte er.
„Das Schöne daran ist, dass das neuronale Netzwerk keine Magie vollbringt“, sagte Hassanzadeh. „Es macht nichts Verrücktes. Es macht tatsächlich das, was ein Physiker oder Mathematiker versucht haben könnte. Natürlich wussten wir ohne die Kraft neuronaler Netze nicht, wie man diese Filter richtig kombiniert. Aber wenn wir mit Physikern darüber sprechen.“ Arbeit, sie lieben es. Weil sie sagen: ‚Oh! Ich weiß, was diese Dinge sind. Das hat das neuronale Netzwerk gelernt. Ich verstehe.'“
Subel sagte, dass die Ergebnisse wichtige Auswirkungen auf das wissenschaftliche Deep Learning haben und sogar darauf hindeuten, dass einige Dinge, die Wissenschaftler aus dem Studium des maschinellen Lernens in anderen Kontexten gelernt haben, wie die Klassifizierung statischer Bilder, möglicherweise nicht auf das wissenschaftliche maschinelle Lernen zutreffen.
„Wir haben festgestellt, dass einige der Erkenntnisse und Schlussfolgerungen in der Literatur zum maschinellen Lernen, die beispielsweise aus der Arbeit an kommerziellen und medizinischen Anwendungen gewonnen wurden, nicht auf viele kritische Anwendungen in Wissenschaft und Technik zutreffen, wie z. B. die Modellierung des Klimawandels“, sagte Subel . „Dies allein ist eine wichtige Implikation.“
Chattopadhyay erhielt seinen Ph.D. im Jahr 2022 und ist jetzt wissenschaftlicher Mitarbeiter am Palo Alto Research Center.
Die Forschung wurde vom Office of Naval Research (N00014-20-1-2722), der National Science Foundation (2005123, 1748958) und dem Schmidt Futures-Programm unterstützt. Rechenressourcen wurden von der National Science Foundation (170020) und dem National Center for Atmospheric Research (URIC0004) bereitgestellt.