Forschende des Embedded Machine Learning CD-Labs am ICT stellen eine Pruning-Methode für State-Space-Modelle vor. Sie zielt speziell darauf ab, die Effizienz von S-Edge Modelen mithilfe von Model Order Reduction Techniken aus der linearen Regelungstheorie zu verbessern.

Link zum Preprint:
https://jantsch.se/AxelJantsch/papers/2025/MatthiasBittner-Eusipco.pdf, öffnet eine externe URL in einem neuen Fenster

Link zur Konferenz:
https://eusipco2025.org/, öffnet eine externe URL in einem neuen Fenster

Auf der kommenden European Signal Processing Conference (EUSIPCO) werden Forschende des Christian-Doppler-Labors für Embedded Machine Learning an der TU Wien eine Pruning-Methode zur Effizienzsteigerung von State-Space-Modellen (SSMs) vorstellen.

SSMs haben bereits gute Leistungen bei Klassifikationsaufgaben mit langen Sequenzen, wie der Audio-Klassifikation, gezeigt. Für Edge-Geräte ist es entscheidend, ihre Inferenz-Effizienz weiter zu verbessern. Pruning-Techniken sind jedoch für SSMs bisher kaum erforscht.

Wir schlagen eine layerspezifische Model Order Reduction (MOR) Technik vor, die auf balanced truncation basiert und mit einem iterativen Pruning-Algorithmus kombiniert wird, um die Effizienz bereits trainierter SSM-Modelle zu erhöhen, ohne dass ein erneutes Training erforderlich ist. Besonders konzentrieren wir uns auf S-Edge-Modelle, eine Klasse hardwarefreundlicher SSMs.

Evaluierungen auf dem Google Speech Commands Datensatz zeigen, dass wir Modelle mit 141k–8k Parametern und 94,9 %–90,0 % Testgenauigkeit prunen können. Unter einer Genauigkeitsverlust-Beschränkung von 0,5 Prozentpunkten konnten wir Modelle identifizieren, die die Parameter um 36,1 % beim größten Modell und 5,8 % beim kleinsten Modell reduzieren.