Start IT/Tech Neue Methode prognostiziert Berechnung, Energiekosten für nachhaltige KI-Modelle

Neue Methode prognostiziert Berechnung, Energiekosten für nachhaltige KI-Modelle

9
0
Leicht, flexibel und strahlungsbeständig: Organische Solarzellen für den Weltraum

Der Prozess der Aktualisierung von Deep-Learning-/KI-Modellen, wenn diese vor neuen Aufgaben stehen oder Änderungen in den Daten berücksichtigen müssen, kann erhebliche Kosten in Bezug auf Rechenressourcen und Energieverbrauch verursachen. Forscher haben eine neuartige Methode entwickelt, die diese Kosten vorhersagt und es Benutzern ermöglicht, fundierte Entscheidungen darüber zu treffen, wann KI-Modelle aktualisiert werden müssen, um die KI-Nachhaltigkeit zu verbessern.

„Es gab Studien, die sich darauf konzentrierten, das Training von Deep-Learning-Modellen effizienter zu gestalten“, sagt Jung-Eun Kim, korrespondierender Autor einer Arbeit zu dieser Arbeit und Assistenzprofessor für Informatik an der North Carolina State University. „Im Laufe des Lebenszyklus eines Modells muss es jedoch wahrscheinlich viele Male aktualisiert werden. Ein Grund dafür ist, dass, wie unsere Arbeit hier zeigt, die Neuschulung eines vorhandenen Modells viel kosteneffektiver ist als die Schulung eines neuen Modells von Grund auf.“

„Wenn wir Nachhaltigkeitsprobleme im Zusammenhang mit Deep-Learning-KI angehen wollen, müssen wir die Rechen- und Energiekosten über den gesamten Lebenszyklus eines Modells hinweg betrachten – einschließlich der mit Aktualisierungen verbundenen Kosten. Wenn Sie die Kosten nicht im Voraus vorhersagen können, Es ist unmöglich, sich auf die Art der Planung einzulassen, die Nachhaltigkeitsbemühungen ermöglicht. Das macht unsere Arbeit hier besonders wertvoll.“

Das Training eines Deep-Learning-Modells ist ein rechenintensiver Prozess, und Benutzer möchten so lange wie möglich ohne Aktualisierung der KI auskommen. Allerdings kann es zu zwei Arten von Verschiebungen kommen, die diese Aktualisierungen unvermeidlich machen. Erstens muss möglicherweise die Aufgabe, die die KI ausführt, geändert werden. Wenn ein Modell beispielsweise ursprünglich nur mit der Klassifizierung von Ziffern und Verkehrssymbolen beauftragt war, müssen Sie die Aufgabe möglicherweise so ändern, dass auch Fahrzeuge und Menschen identifiziert werden. Dies wird als Aufgabenverschiebung bezeichnet.

Zweitens können sich die Daten, die Benutzer dem Modell bereitstellen, ändern. Beispielsweise müssen Sie möglicherweise eine neue Art von Daten verwenden, oder die Daten, mit denen Sie arbeiten, werden auf andere Weise codiert. In jedem Fall muss die KI aktualisiert werden, um der Änderung Rechnung zu tragen. Dies wird als Verteilungsverschiebung bezeichnet.

„Unabhängig davon, was die Notwendigkeit eines Updates auslöst, ist es für KI-Praktiker äußerst nützlich, eine realistische Schätzung des Rechenaufwands zu haben, der für das Update erforderlich sein wird“, sagt Kim. „Dies kann ihnen helfen, fundierte Entscheidungen darüber zu treffen, wann das Update durchgeführt werden soll und wie viel Rechenaufwand sie für das Update einplanen müssen.“

Um vorherzusagen, wie hoch die Rechen- und Energiekosten sein werden, entwickelten die Forscher eine neue Technik, die sie REpresentation Shift QUantifying Estimator (RESQUE) nennen.

Im Wesentlichen ermöglicht RESQUE Benutzern den Vergleich des Datensatzes, auf dem ein Deep-Learning-Modell ursprünglich trainiert wurde, mit dem neuen Datensatz, der zum Aktualisieren des Modells verwendet wird. Dieser Vergleich erfolgt so, dass die mit der Durchführung der Aktualisierung verbundenen Rechen- und Energiekosten geschätzt werden.

Diese Kosten werden als einzelner Indexwert dargestellt, der dann mit fünf Metriken verglichen werden kann: Epochen, Parameteränderung, Gradientennorm, Kohlenstoff und Energie. Epochen, Parameteränderungen und Gradientennormen sind allesamt Methoden zur Messung des Rechenaufwands, der zum erneuten Trainieren des Modells erforderlich ist.

„Um jedoch einen Einblick zu geben, was dies in einem breiteren Nachhaltigkeitskontext bedeutet, teilen wir den Benutzern auch mit, wie viel Energie in Kilowattstunden benötigt wird, um das Modell neu zu trainieren“, sagt Kim. „Und wir sagen voraus, wie viel Kohlenstoff in Kilogramm in die Atmosphäre freigesetzt wird, um diese Energie bereitzustellen.“

Die Forscher führten umfangreiche Experimente mit mehreren Datensätzen, vielen verschiedenen Verteilungsverschiebungen und vielen verschiedenen Aufgabenverschiebungen durch, um die Leistung von RESQUE zu validieren.

„Wir haben festgestellt, dass die RESQUE-Vorhersagen sehr gut mit den realen Kosten für die Durchführung von Deep-Learning-Modellaktualisierungen übereinstimmen“, sagt Kim. „Außerdem zeigen uns alle unsere experimentellen Ergebnisse, wie ich bereits erwähnt habe, dass das Training eines neuen Modells von Grund auf weitaus mehr Rechenleistung und Energie erfordert als das erneute Training eines vorhandenen Modells.“

Kurzfristig ist RESQUE eine nützliche Methodik für alle, die ein Deep-Learning-Modell aktualisieren müssen.

„RESQUE kann verwendet werden, um Benutzern dabei zu helfen, Rechenressourcen für Updates einzuplanen, ihnen zu ermöglichen, vorherzusagen, wie lange das Update dauern wird, und so weiter“, sagt Kim.

„Im Großen und Ganzen bietet diese Arbeit ein tieferes Verständnis der Kosten, die mit Deep-Learning-Modellen über ihren gesamten Lebenszyklus verbunden sind, was uns dabei helfen kann, fundierte Entscheidungen in Bezug auf die Nachhaltigkeit der Modelle und deren Verwendung zu treffen. Denn wenn wir wollen.“ Damit KI realisierbar und nützlich ist, müssen diese Modelle nicht nur dynamisch, sondern auch nachhaltig sein.“

Quelle link

Kommentieren Sie den Artikel

Bitte geben Sie Ihren Kommentar ein!
Bitte geben Sie hier Ihren Namen ein