Analog Neural Networks based on State Space Models

Modeling Diagonal State Space Models as Electric Circuits for Analog Neural Network Inference at the 3rd workshop on "Deep Learning meets Neuromorphic Hardware”

Die vorgeschlagene AnalogSSM Layer wird als diagonale und reellwertiges SSM modelliert. Nach dem Parametertuning in PyTorch werden die Modellparameter zur Synthese der elektrischen Schaltungen verwendet, wobei die tatsächliche zeitkontinuierliche Übertragungsfunktionsdarstellung der gelernten SSM-Parameter berücksichtigt wird. Die Verifizierung der synthetisierten Schaltungen zum Vergleich von diskret (PyTorch) und kontinuierlich (LTspice) erfolgt durch Schaltungssimulation.

© Matthias Bittner

Die vorgestellte AnalogSSM Methode

Forschende des Embedded Machine Learning CD-Labs am ICT stellen eine Technik zur Synthese elektrischer Schaltungen vor, die für die analoge Inferenz von neuronalen Netzwerken genutzt werden kann. Mit der vorgeschlagenen Methode ist es möglich, Audiodaten mit der Geschwindigkeit des elektrischen Stroms zu klassifizieren.

Link zum Preprint:
https://jantsch.se/AxelJantsch/papers/2025/MatthiasBittner-AnalogSSM.pdf, öffnet eine externe URL in einem neuen Fenster

Link zum Workshop:
https://sites.google.com/view/dl-meets-nh-25, öffnet eine externe URL in einem neuen Fenster

Auf dem dritten internationalen Workshop „Deep Learning meets Neuromorphic Hardware“, der im Rahmen von ECMLPKDD’25 stattfindet, werden Forschende des Christian-Doppler-Labors für Embedded Machine Learning an der TU Wien AnalogSSM vorstellen – eine auf State-Space-Modellen (SSMs) basierender Neuronale-Netzwerk-Layer, der in eine elektrische Schaltung für analoge Neural-Network-Inferenz umgewandelt werden kann.

Neuronale Netzwerke, die auf SSMs basieren, haben bereits gute Leistungen bei der Modellierung langer Sequenzen, wie der Audio-Klassifikation, gezeigt. Bisher wurde ihre zeitkontinuierliche Darstellung der Parameter jedoch nicht für analoge Berechnungen genutzt. Wir schlagen vor, elektrische Schaltungen zu synthetisieren, die das Ein- und Ausgangsverhalten der kontinuierlichen Transferfunktion der gelernten SSM-Parameter nachbilden. Das vorgestellte AnalogSSM ist als diagonale, reellwertige SSM-Architektur modelliert, die in eine rein analoge elektrische Schaltungsdarstellung umgewandelt werden kann. Diese besteht aus Adder/Subtractor, First-Order Low-Pass und Rectifier-Operationsverstärker-Schaltungen. Für die Hotword-Erkennung auf Basis des Google Speech Commands Datensatzes evaluieren wir drei Modellkonfigurationen mit 0,15k–1,3k Parametern. In diskreten PyTorch-Modellen erreichen wir über zehn einzelne Hotwords hinweg eine Genauigkeit von 84,5 %–90,8 %. Die synthetisierten elektrischen Schaltungen werden mit LTspice simuliert und evaluiert. Im Durchschnitt beobachten wir einen Genauigkeitsverlust von 2,9 Prozentpunkten bei den kontinuierlichen Analogschaltungen, die nur 70–238 Operationsverstärker enthalten.