KI-Anwendungen wie ChatGPT basieren auf künstlichen neuronalen Netzen, die in vielerlei Hinsicht die Nervenzellen in unserem Gehirn imitieren. Sie werden mit riesigen Datenmengen auf Hochleistungsrechnern trainiert und verschlingen dabei Unmengen an Energie. Spiking-Neuronen, die viel weniger energieintensiv sind, könnten eine Lösung für dieses Problem sein. In der Vergangenheit funktionierten die üblichen Trainingstechniken jedoch nur mit erheblichen Einschränkungen. Eine aktuelle Studie der Universität Bonn hat nun eine mögliche neue Antwort auf dieses Dilemma vorgelegt und möglicherweise den Weg für neue KI-Methoden geebnet, die deutlich energieeffizienter sind. Die Ergebnisse wurden in veröffentlicht Briefe zur körperlichen Untersuchung.
Unser Gehirn ist ein außergewöhnliches Organ. Es verbraucht so viel Energie wie drei LED-Glühbirnen und wiegt weniger als ein Laptop. Und doch kann es Musikstücke komponieren, etwas so Komplexes wie die Quantentheorie ersinnen und über das Leben nach dem Tod philosophieren.
Auch wenn KI-Anwendungen wie ChatGPT erstaunlich leistungsstark sind, verschlingen sie bei der Lösung eines Problems enorme Energiemengen. Sie basieren wie das menschliche Gehirn auf einem neuronalen Netzwerk, in dem viele Milliarden „Nervenzellen“ Informationen austauschen. Herkömmliche künstliche Neuronen tun dies jedoch ohne Unterbrechungen – wie ein Maschendrahtzaun, durch den ständig Strom fließt.
„Biologische Neuronen machen Dinge anders“, erklärt Professor Raoul-Martin Memmesheimer vom Institut für Genetik der Universität Bonn. „Sie kommunizieren mit Hilfe kurzer Spannungsimpulse, sogenannte Aktionspotentiale oder Spikes.“ Diese kommen relativ selten vor, sodass die Netze mit deutlich weniger Energie auskommen.“ Die Entwicklung künstlicher neuronaler Netze, die auch auf diese Weise „spitzen“, ist daher ein wichtiges Feld der KI-Forschung.
Spiking-Netzwerke – effizient, aber schwer zu trainieren
Um bestimmte Aufgaben bewältigen zu können, müssen neuronale Netze trainiert werden. Stellen Sie sich vor, Sie haben eine KI und möchten, dass sie den Unterschied zwischen einem Stuhl und einem Tisch lernt. Sie zeigen ihm also Fotos von Möbeln und sehen, ob die Antwort richtig oder falsch ist. Je nach Ergebnis werden einige Verbindungen im neuronalen Netz gestärkt, andere geschwächt, sodass die Fehlerquote von Trainingsrunde zu Trainingsrunde abnimmt.
Nach jeder Runde verändert dieses Training, welche Neuronen welche anderen beeinflussen und in welchem Ausmaß. „In herkömmlichen neuronalen Netzen ändern sich die Ausgangssignale schrittweise“, sagt Memmesheimer, der auch Mitglied der Transdisziplinären Forschungszone Life and Health ist. „Zum Beispiel könnte das Ausgangssignal von 0,9 auf 0,8 fallen. Bei Spike-Neuronen ist es jedoch anders: Spikes sind entweder da oder nicht. Es kann keinen halben Spike geben.“
Man könnte vielleicht sagen, dass jede Verbindung in einem neuronalen Netzwerk über einen Controller verfügt, der es ermöglicht, das Ausgangssignal eines Neurons leicht nach oben oder unten zu drehen. Anschließend werden die Einstellungen aller Bedienelemente optimiert, bis das Netzwerk Stühle und Tische präzise unterscheiden kann. In Spiking-Netzwerken ist es den Drehreglern jedoch nicht möglich, die Stärke der Ausgangssignale schrittweise zu ändern. „Deshalb ist es auch nicht so einfach, die Gewichtungen der Zusammenhänge fein abzustimmen“, betont Dr. Christian Klos, Memmesheimers Kollege und Erstautor der Studie.
Während bisher davon ausgegangen wurde, dass sich die übliche Trainingsmethode (die Forscher nennen sie „Gradient Descent Learning“) für Spiking-Netzwerke als äußerst problematisch erweisen würde, hat die neueste Studie nun gezeigt, dass dies nicht der Fall ist. „Wir haben herausgefunden, dass die Spikes in einigen Standard-Neuronenmodellen nicht einfach so erscheinen oder verschwinden können. Stattdessen können sie im Wesentlichen nur zeitlich nach vorne oder hinten verschoben werden“, erklärt Klos. Die Zeitpunkte, zu denen die Spitzen auftreten, können dann – wie sich herausstellt – kontinuierlich über die Stärke der Verbindungen angepasst werden.
Feinabstimmung der Gewichtungen von Verbindungen in Spike-Netzwerken
Die unterschiedlichen zeitlichen Muster der Spikes beeinflussen das Antwortverhalten der Neuronen, auf die sie gerichtet sind. Einfach ausgedrückt: Je „gleichzeitiger“ ein biologisches oder künstliches Spike-Neuron Signale von mehreren anderen Neuronen empfängt, desto größer ist die Wahrscheinlichkeit, dass es selbst einen Spike erzeugt. Mit anderen Worten: Der Einfluss, den ein Neuron auf ein anderes ausübt, kann sowohl über die Stärke der Verbindungen als auch über den Zeitpunkt der Spikes angepasst werden. „Und wir können für beides die gleiche hocheffiziente, konventionelle Trainingsmethode in den von uns untersuchten Spike-Neuronalen Netzen verwenden“, sagt Klos.
Die Forscher konnten bereits zeigen, dass ihre Technik in der Praxis funktioniert, indem sie ein neuronales Spike-Netzwerk erfolgreich darauf trainierten, handgeschriebene Zahlen präzise voneinander zu unterscheiden. Im nächsten Schritt wollen sie ihm eine viel komplexere Aufgabe geben, nämlich das Verstehen von Sprache, sagt Memmesheimer: „Obwohl wir noch nicht wissen, welche Rolle unsere Methode in Zukunft beim Training von Spike-Netzwerken spielen wird, gehen wir davon aus, dass sie eine Rolle spielt.“ großes Potenzial, einfach weil es genau ist und genau die Methode widerspiegelt, die mit nicht spikenden neuronalen Netzen hervorragend funktioniert.
Finanzierung:
Die Studie wurde vom Bundesministerium für Bildung und Forschung (BMBF) über den Bernstein Award 2014 gefördert.
