flaggschiff · ML-systeme
Sieh einem neuronalen Netz beim Schreibenlernen zu
Ein kleiner Transformer (ein Sprachmodell, dieselbe Form wie die grossen) trainiert in Echtzeit auf deiner GPU. Das Autograd und jeder WGSL-Compute-Kernel sind von Grund auf handgeschrieben (kein transformers.js, kein Modell-Download). Drück auf Trainieren und sieh zu, wie der Loss fällt und sein Geschreibe von Rauschen über Wörter zu Shakespeare-artiger Kadenz wird. Einmal geladen, braucht es kein Netz: schalt dein WLAN aus und es lernt weiter.
wärmt sich auf. Die ersten Proben sind reines Rauschen, dann tauchen Leerzeichen auf, dann Wörter, dann eine Shakespeare-artige Kadenz…
auf welche früheren Zeichen jede Position schaut, um das nächste vorherzusagen. Heller heisst mehr Gewicht. Nur das untere Dreieck existiert: ein Token sieht sich selbst und die Vergangenheit, nie die Zukunft.