Abbildungen

Grün zeigt die Vorwärtsrichtung, violett die Rückwärtsrichtung, blau die Zielwerte. Eine Tafel je Kapitel, vierzehn insgesamt.

• Abb. 1.1 — Ein Neuron von Hand

  Export

  Die Rechnung

  Bewertung7,00Gewicht Bewertung0,80Länge2,50 hGewicht Länge-0,30Fortsetzungja — 1Gewicht Fortsetzung-1,50Bias0,50

  Bewertung7 · 0,8 = +5,60

  Länge2,5 · -0,3 = −0,75

  Fortsetzung1 · -1,5 = −1,50

  Bias+0,50

  Summe z3,85

  z ist positiv — das Neuron feuert.

  Die Trennlinie

  Gewicht w₁0,80Gewicht w₂-0,30Bias b-0,20

  Abstand vom Ursprung |b| / ‖w‖ = 0,234Punkte löschen

  Der Gewichtsvektor steht senkrecht auf der Trennlinie. Der Bias verschiebt sie parallel.

• Abb. 2.1 — Warum eine Gerade nicht reicht

  Export
  A — XOR mit einer GeradeB — zwei lineare SchichtenC — mit Nichtlinearität

  Richtig getrennt: 3 von 4

  Höchstens drei von vier. Es gibt keine Gerade, die alle vier richtig trennt.

• Abb. 3.1 — Verlustfunktionen im Vergleich

  Export

  Regression

  Huber · δ1,00

  Quadratisch bei 2

  4,0

  Absolut bei 2

  2,0

  Huber bei 2

  1,50

  Der quadratische Fehler bestraft große Abweichungen überproportional. Der Huber-Verlust wechselt bei δ von quadratisch zu linear.

  Klassifikation

  p der richtigen Klasse0,900

  p = 0,900 → Verlust0,105

• Abb. 4.1 — Die Fehlerlandschaft

  Export

  Punkt (w₁; w₂)

  (1,00; 1,00)

  Verlust L

  11,00

  Gradient (2w₁; 20w₂)

  (2,00; 20,00)

  Betrag ‖∇L‖

  20,10

  Konditionszahl κ

  10

  Eigenwerte der Hesse-Matrix

  2 und 20

  Am Punkt (1; 1) zeigt der Gradient fast ausschließlich in Richtung w₂, obwohl der Weg zum Minimum durch das langgestreckte Tal führt. Das ist der Grund, warum das Verfahren im nächsten Kapitel pendelt.

• Abb. 5.1 — Die Lernrate

  Export
  Lernrate η0,05

  η = 2/λ_max = 0,1

  Abstieg startenmit Momentum · β = 0,9Startpunkt (3; 1)

  Startpunkt

  (3,00; 1,00)

  Lernrate η

  0,050

  Schritte bis zur Konvergenz

  76

  Stabilitätsgrenze

  0,100

  Die Grenze bei 0,1 ist keine Faustregel, sondern folgt exakt aus dem größten Eigenwert der Hesse-Matrix.

• Abb. 6.1 — Die Kettenregel rückwärts

  Export
  1 — Vorwärtslauf2 — Fehler3 — Rückwärtslauf4 — Gradienten

  z₁

  -0,20

  a₁ = ReLU(z₁)

  0,00

  z₂

  1,70

  a₂ = ReLU(z₂)

  1,70

  Ausgabe

  -0,89

  Zielwert y

  1,00

  Lernrate η0,01w₁₁0,50w₁₂-0,40b₁0,10w₂₁0,30w₂₂0,80b₂-0,20v₁1,20v₂-0,70b₃0,30Voreinstellung

  Rückpropagierung

  1 Vorwärtslauf + 1 Rückwärtslauf

  Numerisch, ein Parameter nach dem anderen

  9 zusätzliche Vorwärtsläufe

  Dasselbe bei 10⁹ Parametern

  1,0 × 10⁹ zusätzliche Vorwärtsläufe

  Das inaktive Neuron erhält den Gradienten null — es lernt in diesem Schritt nichts. Genau daher stammt das Problem der absterbenden Neuronen aus Kapitel 7.

• Abb. 7.1 — Wie das Signal verschwindet

  Export
  logistische FunktionTangens hyperbolicusReLUmit Residualverbindungen

  Tiefe des Netzes20,00 Schichten

  Faktor je Schicht

  0,25

  Signal nach 20 Schichten

  9,1 × 10⁻¹³

  nach 5 Schichten

  9,8 × 10⁻⁴

  nach 20 Schichten

  9,1 × 10⁻¹³

  Ein Faktor kleiner als eins, zwanzigmal multipliziert. Mehr ist das Problem nicht — und es hat das Fach zwei Jahrzehnte aufgehalten.

• Abb. 8.1 — Der Bedeutungsraum

  Export

  Schematische Anordnung zur Veranschaulichung. Echte Einbettungen haben mehrere hundert Dimensionen und lassen sich nicht ohne Verlust in der Ebene darstellen.

  Fünf nächste Nachbarn von „König“

  Mutter

  0,999

  Tochter

  0,999

  Frau

  0,987

  Mann

  0,978

  Vater

  0,966

  Analogierechner

  HundKatzePferdKuhMausVogelFischLöweArztLehrerBäckerRichterIngenieurPilotSohnTochterVaterMutterMannFrauKönigKönigingrößergroßkleinerkleinschnellerschnellDeutschlandBerlinFrankreichParisItalienRomSpanienMadridJapanTokioRotBlauGrünGelbSchwarzminusHundKatzePferdKuhMausVogelFischLöweArztLehrerBäckerRichterIngenieurPilotSohnTochterVaterMutterMannFrauKönigKönigingrößergroßkleinerkleinschnellerschnellDeutschlandBerlinFrankreichParisItalienRomSpanienMadridJapanTokioRotBlauGrünGelbSchwarzplusHundKatzePferdKuhMausVogelFischLöweArztLehrerBäckerRichterIngenieurPilotSohnTochterVaterMutterMannFrauKönigKönigingrößergroßkleinerkleinschnellerschnellDeutschlandBerlinFrankreichParisItalienRomSpanienMadridJapanTokioRotBlauGrünGelbSchwarzergibtKönigin

  1. Königin

  1,000

  2. Löwe

  0,944

  3. Fisch

  0,990

  Die drei Eingabewörter sind von der Suche ausgeschlossen.

  König − Mann + Frau → KöniginParis − Frankreich + Italien → Romgroß − größer + klein → kleinerArzt − Mann + Frau → versagt

• Abb. 9.1 — Der Filterkern

  Export

  Die Faltung Schritt für Schritt

  Klick auf ein Feld ändert den Grauwert

  Fenster waagerecht0,00Fenster senkrecht0,00

  automatisch bewegensenkrechte Kantewaagerechte KanteUnschärfeSchärfung

  Freier Kern

  0,15 · 1,00	0,150
  0,15 · 0,00	0,000
  0,15 · -1,00	-0,150
  0,15 · 1,00	0,150
  0,15 · 0,00	0,000
  0,15 · -1,00	-0,150
  0,15 · 1,00	0,150
  0,15 · 0,00	0,000
  0,15 · -1,00	-0,150
  Summe	0,000

  Parameterzahl im Vergleich

  Bildgröße n1024

  1024 × 1024 Bildpunkte · 3 Farbkanäle

  voll verbunden, 1000 Neuronen

  3,1 × 10⁹ Gewichte

  Faltung, 32 Kerne der Größe 3

  896 Gewichte

  Verhältnis

  3,5 × 10⁶ : 1

  voll verbunden

  Faltung

  Die Parameterzahl einer Faltungsschicht hängt nicht von der Bildgröße ab. Das ist der ganze Gewinn.

• Abb. 10.1 — Die Aufmerksamkeitsmatrix

  Export
  … weil es zu müde war… weil sie zu breit war

  Das Tier überquerte die Straße nicht, weil es zu müde war

  Schematische Werte zur Veranschaulichung des beschriebenen Effekts.

  Kopf 1 — voriges WortKopf 2 — BezugswörterKopf 3 — SatzanfangKopf 4 — gleichmäßigkausale Maskierung

  Verteilung der Zeile „es“ · Summe 1,00

  Sequenzlänge n3,00

  Sequenzlänge n

  1,00 × 10³

  Vergleiche n²

  1,00 × 10⁶

  Jedes Wort wird mit jedem verglichen. Daher wachsen die Kosten mit dem Quadrat der Textlänge — und daher sind Kontextfenster nicht beliebig groß.

• Abb. 11.1 — Der Transformer-Block

  Export

  Aufbau eines Blocks · von unten nach oben · breiter Streifen: der Residualstrom

  Positionsweises Netz · 8d² Parameter

  Zwei Schichten, dazwischen die vierfache Weite. Jede Position wird einzeln verarbeitet.

  gestapelte Blöcke32,00

  32 Blöcke · derselbe Residualstrom läuft durchgehend hindurch

  Verteilung der Parameter

  Modelldimension d12,00

  d = 4096

  Aufmerksamkeit gesamt

  2,15 × 10⁹

  Positionsweises Netz gesamt

  4,29 × 10⁹

  Summe

  6,44 × 10⁹

  Anteil Zwischennetz

  67 %

  Zwei Drittel der Gewichte liegen nicht in der Aufmerksamkeit, sondern in den Zwischennetzen. Untersuchungen deuten darauf hin, dass dort das Faktenwissen sitzt.

• Abb. 12.1 — Auswendig oder verstanden

  Export

  Verlauf über die Trainingszeit

  — Trainingsfehler — Testfehler

  Modellgröße6,00Datenmenge3,00

  ohneGewichtsdämpfungDropout

  Kleinster Testfehler 0,598 bei Schritt 24 von 60

  Der doppelte Abstieg

  links: Klassischer Bereich — die Theorie beschreibt ihn richtig

  rechts: Moderner Bereich — hier verhält sich die Sache anders als vorhergesagt

  Der erneute Abfall wurde erst 2019 systematisch beschrieben. Eine befriedigende Erklärung dafür gibt es bis heute nicht.

• Abb. 13.1 — Das Skalierungsgesetz

  Export
  Parameterzahl N9,00Trainingstokens D10,30Sockel des Verlusts1,90

  Parameterzahl N

  1,0 × 10⁹

  Trainingstokens D

  2,0 × 10¹⁰

  Aufwand C ≈ 6ND

  1,20 × 10²⁰

  Verhältnis D/N

  2,00 × 10¹

  Abstand zum Optimum 20

  1,00 ×

  Geschätzter Verlust

  2,296

  stetiges MaßAlles oder nichts

  Dieselben Modelle, dasselbe Training. Ob eine Fähigkeit sprunghaft auftaucht, hängt auch davon ab, wie gemessen wird.

• Abb. 14.1 — Von der Parameterzahl zum Aufwand

  Export
  Parameterzahl N9,85Trainingstokens D12,00Kontextlänge n4,00aktive Parameter %100,00

  Parameterzahl N

  7,00 × 10⁹

  aktive Parameter

  7,00 × 10⁹

  Trainingsaufwand C ≈ 6ND

  4,20 × 10²²

  Aufwand je Token ≈ 2N

  1,40 × 10¹⁰

  Gewichte bei 16 Bit

  14,0 GB

  Zwischenspeicher M

  5,6 GB

  abgeleitet: Schichten L

  33

  abgeleitet: Dimension d

  4224

  erzeugte Token gesamt12,00

  erzeugte Token

  1,00 × 10¹²

  Nutzung gesamt

  1,40 × 10²²

  Tokenisierung zum Ausprobieren

  englischdeutschumlautezahl

  DerschnellebrauneFuchsspringtüberdenfaulenHund.

  Tokens

  16

  Zeichen je Token

  2,94

  Vereinfachte Zerlegung zur Veranschaulichung. Echte Tokenizer verwenden gelernte Vokabulare mit zehntausenden Einträgen.

  Ein Modell sieht keine Buchstaben, sondern diese Stücke. Deshalb fallen ihm Aufgaben schwer, die auf einzelne Zeichen zielen.