Transformer dėmesio mechanizmas ir jo modeliavimo tikslas
Tyrimų kontekstas
postgraduate concept · established · Patikros data 2026-10-10
Skaliarinės sandaugos dėmesio mechanizmas su mastelio korekcija apskaičiuoja softmax(QK-transpose/sqrt(d-k))V, todėl teksto vienetų reprezentacijos gali apjungti kontekstą per išmoktas užklausų, raktų ir reikšmių projekcijas.
Esminės žinios
Skaliarinės sandaugos dėmesio mechanizmas su mastelio korekcija apskaičiuoja softmax(QK-transpose/sqrt(d-k))V, todėl teksto vienetų reprezentacijos gali apjungti kontekstą per išmoktas užklausų, raktų ir reikšmių projekcijas. Pradiniame Vaswani ir kolegų Transformer naudojamas daugelio galvų dėmesio mechanizmas ir padėties informacija seką į seką verčiančiame vertimo modelyje. Geri kalbos prognozavimo rezultatai savaime neįrodo priežastinio supratimo, faktų patikros, privatumo ar patikimo veikimo pakitus įvestims.
Vertės ir lygtys
Attention(Q,K,V)=softmax(QK^T/sqrt(d_k))V
- Q,K,V
- užklausų, raktų ir reikšmių matricos
- d_k
- kiekvieno užklausos ar rakto vektoriaus dimensija
- softmax
- pagal eilutes normuota eksponentinė funkcija, apimanti leidžiamas pozicijas
Sąlygos ir taikymo ribos
- Nurodykite kaukes, padėties informaciją, skaidymą į teksto vienetus, užduoties nuostolio funkciją ir mokymo bei vertinimo populiaciją.
- 2017 m. straipsnis yra reikšmingas originalios architektūros tyrimas; jis nėra kiekvieno dabartinio didžiojo kalbos modelio palyginamasis bandymas.
Šaltiniai · 1
Šaltiniai
Šaltiniai išlaiko savo taikymo ribas. Vien nuoroda nepatvirtina kiekvieno teiginio patikrinimo.
Pagrindimas ir peržiūra
Autorius patikrino šį anglišką teiginį, pateiktą lygtį, jei tokia yra, ir nurodytas prielaidas pagal šias šaltinio vietas: §3.2 — masteliu koreguotas skaliarinės sandaugos dėmesio mechanizmas, koduotuvas / dekoduotuvas ir vertimo eksperimentai. Patikra apsiriboja užfiksuotais teiginiais; neteigiama, kad atlikta išsami įrodymo rekonstrukcija, programinis įrodymo pakartojimas ar visapusiška literatūros aprėptis.
2026-10-10 · Autoriaus atlikta šaltinio pagrindinio teksto, teiginio, lygties ir taikymo srities patikra; grafo sąsajų aprėptis nustatyta kiekvienai atskirai. Prieš užbaigiant šaką būtina atskira nepriklausoma turinio, šaltinių ir inventoriaus peržiūra.
Įrašo informacija
Nuolatinė nuoroda į šį įrašą ↗- Įrašo identifikatorius
- research-info-transformer-attention
- Versija
- research.1
- Struktūruotas žinyno įrašas
- Podiplominis ir tyrimų žinynas