Der Aufmerksamkeitsmechanismus in Transformatoren verbessert die Codeerzeugung grundlegend, indem er es dem Modell ermöglicht, sich selektiv auf verschiedene Teile der Eingabesequenz zu konzentrieren, während jedes Ausgabe -Token erzeugt wird. Dies führt zu einer kontextbewussteren und kohärenten Codegenerierung. Der Aufmerksamkeitsmechanismus hilft, langfristige Abhängigkeiten, strukturelle Muster und semantische Nuancen im Quellcode zu erfassen, die für die Erzeugung syntaktisch korrekter und logisch konsistenter Programme von entscheidender Bedeutung sind. Seine facettenreichen Fähigkeiten bieten erhebliche Vorteile gegenüber herkömmlichen Sequenz-zu-Sequenz-Modellen, die sich auf Kontextdarstellungen mit fester Länge beruhen.
grundlegendes Konzept der Aufmerksamkeit in Transformatoren
Bei Transformatoren ist die Aufmerksamkeit eine Technik, die einen Satz von Ausgangsvektoren als gewichtete Summen von Eingangswertvektoren berechnet. Die Gewichte werden dynamisch basierend auf den Kompatibilitätswerten zwischen einer Abfrage (die die aktuelle Position darstellen, für die ein Ausgang erzeugt wird) und einer Reihe von Schlüsselvektoren (die alle Positionen in der Eingangssequenz darstellt) berechnet. Auf diese Weise kann das Modell "teilnehmen" oder sich auf relevante Teile der Eingabe konzentrieren, wenn jedes Token generiert wird, anstatt die gesamte Sequenz einheitlich zu verarbeiten oder es in einen Vektor mit fester Größe zu komprimieren.
Die Kernformel für skalierte Aufmerksamkeit der DOT-Produkte ist:
$$
\ text {Achtung} (q, k, v) = \ text {softmax} \ links (\ frac {qk^t} {\ sqrt {d_k> \ rechts) v
$$
wobei $$ q $$, $$ k $$ und $$ v $$ Matrizen von Abfragen, Schlüssel bzw. Werten sind, und $$ d_k $$ ist die Dimension der für die Skalierung verwendeten Schlüssel. Die Softmax -Funktion verwandelt die Punktproduktbewertungen zwischen Abfragen und Tasten in eine Wahrscheinlichkeitsverteilung, die dann zum Gewicht der Werte verwendet wird.
Kontext und Abhängigkeiten im Code erfassen
Der Programmiercode ist von Natur aus mit Langstreckenabhängigkeiten strukturiert. Variablen, die zu Beginn einer Funktion deklariert sind, können an vielen Stellen weit später verwendet werden. Traditionelle Modelle wie RNNs oder CNNs hatten aufgrund ihrer sequentiellen oder lokalen Empfängnisbefugnis Probleme, so lange kontextbezogene Beziehungen aufrechtzuerhalten. Im Gegensatz dazu kann der Selbstbekämpfungsmechanismus in Transformatoren jeden Token direkt mit jedem anderen Token beziehen, unabhängig von ihrem Abstand in der Sequenz.
Die Selbstbekämpfung ermöglicht es jeder Token-Position, Informationen aus allen anderen Positionen in der Eingabesequenz gleichzeitig zu sammeln. Beispielsweise kann das Modell beim Generieren einer Schließklammer sich um seine entsprechende Eröffnungsklasse kümmern, die möglicherweise mehrere Zeilen zuvor sein kann. Mit dieser vollständigen Konnektivität kann das Modell syntaktische und semantische Struktur effektiver codieren, was für die Erzeugung fehlerfreier Code essentiell ist.
Multi-Head-Aufmerksamkeit für verschiedene Kontexte
Transformatoren verwenden Multi-Head-Aufmerksamkeit, bei denen mehrere parallele Aufmerksamkeitsoperationen (Köpfe) an verschiedenen linearen Projektionen der Eingangsempfindungen durchgeführt werden. Jeder Kopf lernt, sich auf verschiedene Aspekte der Eingabe zu konzentrieren, wie z. B. Variablennamen, Steuerflusskonstrukte oder Funktionsgrenzen. Dieses Multi-Head-Setup bietet mehrere Vorteile:
- Es ermöglicht das Modell gemeinsam, Informationen aus verschiedenen Darstellungsunterlagen zu betrachten.
- Es kombiniert mehrere Perspektiven auf die Eingabesequenz und erweitert den Umfang dessen, was das Modell lernen kann.
- Es verbessert die Robustheit, indem es sich nicht auf eine einzelne Aufmerksamkeitsdarstellung stützt.
Die Ausgänge dieser mehreren Köpfe werden verkettet und linear transformiert, um die endgültige Darstellung zu bilden, die zur Erzeugung von Ausgangs -Token verwendet wird.
Encoder-Decoder-Aufmerksamkeit für die Ausrichtung der Quellzielziele
In der Codegenerierung verwenden Transformatoren typischerweise eine Encoder-Decoder-Architektur, bei der der Encoder die Eingabebeschreibung (z. B. natürliche Sprachproblemspezifikation) in eine kontextbezogene Darstellung verarbeitet, und der Decoder generiert die entsprechende Codesequenz. Der Decoder verwendet die Aufmerksamkeit des Encoder-Decoders (Kreuzeinhaltung), um sich bei jedem Dekodierungsschritt selektiv auf relevante Teile der codierten Eingabe zu konzentrieren. Diese Ausrichtung zwischen Eingabe und Ausgabe hilft dem Modell, relevante und präzise Code -Snippets zu generieren, die genau mit der in der Eingabeaufforderung ausgedrückten Absicht übereinstimmen.