Regresija, parametrų įvertinimas ir modelio parinkimas

Apibrėžti dydžius ir modelių šeimą

Regresijos modelis susieja pateiktas įvesties reikšmes su skaitine išvesties reikšme. Šioje pamokoje x yra padėties koordinatė metrais išilgai nurodytos fiksuotos ašies, o y – įtampa fiksuoto elektrinio atskaitos potencialo atžvilgiu. Pradiniai mokomieji duomenys yra tikslūs užduoti skaičiai, o ne įvertintos matavimo priemonės rodmenys. Pirmiausia pasirenkame ryšį kandidatą ŷ(x) = a + b x intervale 0 ≤ x ≤ 3 m, kur a matavimo vienetas yra V, o b – V/m.

Parametrai yra reguliuojamos pasirinkto ryšio konstantos. Tiesei reikia dviejų parametrų – a ir b. Ryšio ŷ(x) = a + b x + c x² grafikas yra kreivė x atžvilgiu, tačiau ryšys išlieka tiesinis nežinomų parametrų a, b ir c atžvilgiu; c matavimo vienetas yra V/m². Įvesties reikšmės kėlimas kvadratu skiriasi nuo nežinomų parametrų dauginimo ar kitokio netiesinio jų transformavimo.

Modelių šeimos ir pritaikymo kriterijaus pasirinkimas yra užduoties dalis. Pritaikytas ryšys gali apibendrinti duomenis arba prognozuoti išvesties reikšmę pagal nurodytą paskirtį, tačiau vien pritaikymas neatskleidžia mechanizmo, neparodo intervencijos rezultato ir neįrodo, kad ryšys galioja už nagrinėtų sąlygų ribų. Kartu su modeliu išsaugoti informaciją apie duomenų dydžius, jų apibrėžimo sritis ir kilmę.

Apibrėžkite liekanas ir pritaikymo kriterijų

Turėdami n duotų porų (x_i, y_i), apibrėžkite liekaną su ženklu r_i = y_i − ŷ(x_i): tai stebėta atsako vertė minus pritaikyto modelio prognozė. Jos matavimo vienetas yra V. Įprastasis mažiausiųjų kvadratų metodas, arba OLS, parenka parametrus taip, kad būtų minimizuota Q = Σ r_i² – suma, apimanti visus modeliui pritaikyti naudotus stebėjimus.

Tam pačiam fiksuotam duomenų rinkiniui minimizuojant Q ir Q/n gaunami tie patys parametrai, nes n yra teigiama konstanta. Tiek Q, tiek mokymo imties vidutinės kvadratinės paklaidos Q/n matavimo vienetai yra V². Nė vienas iš šių dydžių nėra nei įtampa, nei parametro neapibrėžtis, nei požymis, kad liekanos pasiskirsčiusios pagal normalųjį skirstinį. Liekana yra skirtumas tarp stebėtos vertės ir pritaikyto modelio prognozės; ji nebūtinai lygi nežinomai matavimo prietaiso paklaidai ar nestebimai atsitiktinei modelio paklaidai.

Pritaikytos tiesės parametrus pažymėkime a_fit ir b_fit. Kai S_xx = Σ(x_i − x̄)² yra teigiamas, tiesės parametrų formulės yra b_fit = S_xy/S_xx ir a_fit = ȳ − b_fit x̄, kur S_xy = Σ(x_i − x̄)(y_i − ȳ). S_xx matavimo vienetai yra m², o S_xy – m·V, todėl nuolydžio matavimo vienetai yra V/m. Teigiamumo sąlyga svarbi: formulė su nuliniu vardikliu neleidžia nustatyti nuolydžio.

Pritaikykite tiesę pradiniams keturiems taškams

Pateikite tik šias keturias mokymo duomenų poras: (0 m, 1 V), (1 m, 2 V), (2 m, 2 V) ir (3 m, 5 V). Kiekvienos liekanos kvadratui suteikite vienodą svorį. Vidurkiai yra x̄ = 1.5 m ir ȳ = 2.5 V; centruotos sumos yra S_xx = 5 m² ir S_xy = 6 m·V. Todėl b_fit = 1.2 V/m ir a_fit = 0.7 V.

Pritaikyto modelio prognozės yra 0.7 V, 1.9 V, 3.1 V ir 4.3 V. Atėmę jas iš duotų išvesties verčių, gauname liekanas +0.3 V, +0.1 V, −1.1 V ir +0.7 V. Jų suma lygi nuliui, o Σ x_i r_i = 0 m·V. Jų kvadratų suma yra Q = 1.8 V², todėl mokymo imties vidutinė kvadratinė paklaida yra 0.45 V².

Šios patikros susijusios su tiksliu OLS uždaviniu. Jos nereiškia, kad liekanos yra nepriklausomos atsitiktinės paklaidos ar kad nuolydis yra išmatuota fizikinė konstanta. Išspręstame pavyzdyje taip pat patikrinamas globalusis minimumas, o ne remiamasi vien stacionariojo taško apskaičiavimu. Norint rasti šį determinuotąjį minimumo tašką, normaliojo skirstinio prielaidos nereikia.

Patikrinkite parametrų identifikuojamumą

Identifikuojamumas nusako, ar pateiktos įvesties vertės leidžia atskirti skirtingus parametrų rinkinius pasirinktoje modelių šeimoje. Tiesės laisvąjį narį ir nuolydį galima atskirti turint bent dvi skirtingas įvesties vertes: jei δa + δb x lygu nuliui ties abiem vertėmis, atėmus lygybes gaunama δb = 0, o tada δa = 0. Matricų kalba tai reiškia, kad atitinkamų modelio stulpelių rangas lygus stulpelių skaičiui.

Atskirame originaliame pavyzdyje visus stebėjimus atlikite ties x = 2 m ir pateikite y = 3 V, 4 V ir 5 V. Tuomet kiekviena prognozė priklauso tik nuo c = a + (2 m)b. Mažiausiųjų kvadratų metodu parenkama c = 4 V, liekanos yra −1 V, 0 V ir +1 V, o Q = 2 V². Duomenys neleidžia atskirti a = 4 V, b = 0 V/m nuo a = 0 V, b = 2 V/m ar bet kurios kitos poros, duodančios tą pačią c vertę.

Daugiau pakartotinių stebėjimų tame pačiame taške gali suteikti informacijos apie bendrą atsaką jame, bet negali suteikti trūkstamos galimybės atskirti a ir b. Čia S_xx = 0 m². Kitame taške neatskiriamos parametrų poros gali duoti skirtingas prognozes; vienos poros parinkimas taikant papildomą apribojimą yra papildomas modeliavimo pasirinkimas. Pilnas rangas užtikrina šio parametrų nustatymo mažiausiųjų kvadratų metodu uždavinio sprendinio vienatinumą, o ne fizikinio modelio teisingumą.

Palyginkite užfiksuotus modelius pagal pritaikymui nenaudotus taškus

Pritaikant modelį mokymo duomenims naudojami stebėjimai, pagal kuriuos nustatomi parametrai. Lyginant pagal pritaikymui nenaudotus duomenis, užfiksuotos prognozės vertinamos pagal stebėjimus, kurie nebuvo naudoti tiems parametrams nustatyti. Šiam pateiktam palyginimui prieš lygindami vertinimo rodiklius užfiksuokite dvi kandidatines modelių šeimas, jų mokymo taisyklę ir validavimo taškus; iš naujo nepritaikykite nė vieno kandidatinio modelio pagal validavimo išvesties vertes.

Pirmasis užfiksuotas kandidatinis modelis yra pritaikyta tiesė. Antrasis – kubinis daugianaris, interpoliuojantis tas pačias keturias mokymo duomenų poras: užrašykite z = x/(1 m), tuomet ŷ_C(x) = (1 V)[1 + (17/6)z − (5/2)z² + (2/3)z³]. Normuotasis z yra bedimensis, o visi keturi koeficientai nusako įtampos dedamąsias. Kubinio daugianario liekanos mokymo duomenims lygios nuliui. Abu modelius palyginkite pagal nustatytas validavimo poras (0.5 m, 1.5 V) ir (2.5 m, 3.5 V), kurios yra mokymo įvesties verčių intervalo viduje.

Tiesė prognozuoja 1.3 V ir 3.7 V, todėl vidutinė kvadratinė paklaida validavimo duomenims yra 0.04 V². Trečiojo laipsnio polinomas prognozuoja 15/8 V ir 23/8 V, todėl ši paklaida yra 17/64 V² = 0.265625 V². Taigi šiame konkrečiame dviejų modelių palyginime pagal validavimo duomenis laimi tiesė, nors jos paklaida mokymo duomenims yra didesnė. Šis rezultatas nustato įvertinimo reikšmes šiuose dviejuose taškuose, bet ne bendrą modelių veiksmingumą ateityje. Kai pagal šių duomenų rezultatus pasirenkamas modelis, tai yra validavimo duomenys, o ne nepaliesti galutinio testavimo duomenys.

Atskirkite liekanų sklaidą nuo neapibrėžties

Statistinei interpretacijai vien minimizavimo nepakanka. Vienas modelis, kurio pakanka įprastam liekanų dispersijos įverčiui pagrįsti, remiasi prielaidomis, kad įvesties dydžiai yra fiksuoti ir be paklaidų, vidurkio tiesinis modelis yra teisingai apibrėžtas, o atsako paklaidos yra nepriklausomos, jų vidurkis lygus nuliui ir jos turi tą pačią baigtinę dispersiją σ². Kai stulpelių rangas pilnas, priderinama p parametrų ir n > p, s² = Q/(n − p) yra tos bendros dispersijos įvertis. Pačiam OLS minimumui rasti jokio tikimybinio skirstinio nereikia.

Pradinei tiesei apskaičiuojame s² = (1.8 V²)/(4 − 2) = 0.9 V² ir s = √(0.9 V²) ≈ 0.948683 V. Pateikta lentelė nepatvirtina jokio tikro stochastinio paklaidų proceso, todėl vien iš šių skaičių negalima nustatyti jo populiacijos dispersijos, parametro standartinės neapibrėžties ar pasikliautinojo intervalo. Nuolydžio neapibrėžties vienetai būtų V/m, ir ji priklausytų tiek nuo įvesties dydžių geometrinio išsidėstymo, tiek nuo paklaidų modelio. Teiginiams apie intervalus, grindžiamiems konkrečiu skirstiniu, reikia papildomų pagrįstų prielaidų.

Interpoliuojančiam trečiojo laipsnio polinomui n = p = 4. Nulinės mokymo duomenų liekanos nerodo, kad stebėjimų triukšmas ar parametrų neapibrėžtis yra nuliniai; šiuo atveju Q/(n − p) neapibrėžta. Modelių šeimoje, kurios rangas nepilnas, taip pat nepakanka vien suskaičiuoti parametrų pavadinimus: reikia nustatyti nepriklausomai priderinamų krypčių skaičių. Atskirkite aprašomuosius priderinimo rodiklius, nuo prielaidų priklausančius statistinius skaičiavimus ir tikrąją matavimo neapibrėžtį.

Nurodykite svorius ir įvesties paklaidų ribotumus

Pradiniuose priderinimuose vienodi svoriai yra nustatyto kriterijaus dalis. Taikant svertinį kriterijų, minimizuojama Q_w = Σ w_i r_i² su pateiktais teigiamais bedimensiais santykiniais svoriais w_i. Kai atsako paklaidų modelis pagrindžia nevienodas dispersijas, santykinius svorius galima pasirinkti proporcingus σ_ref²/σ_i², kur σ_ref yra bendras atskaitos mastelis. Tokiam pasirinkimui reikia duomenų, pagrindžiančių tas dispersijas; NIST taip pat aptaria įvertintų svorių ribotumus.

Trumpai atskirai svertinio priderinimo užduočiai naudokite išvesties reikšmes 1 V ir 3 V ir priderinkite konstantą c su tiksliais svoriais 4 ir 1. Kriterijus yra 4(1 V − c)² + (3 V − c)². Jį minimizuojanti reikšmė yra c = 1.4 V, o ne nesvertinis vidurkis 2 V. Šie svoriai yra nustatyti pasirinkimai, o ne išmatuotos standartinės neapibrėžtys. Abu svorius padauginus iš to paties teigiamo daugiklio, kriterijaus mastelis pasikeičia, bet jį minimizuojanti reikšmė lieka nepakitusi.

Pagrindiniame pavyzdyje padėtys laikomos tiksliais įvesties dydžiais. Jei išmatuotų padėčių paklaidos yra reikšmingos, tikrojo fizikinio ryšio įvertinimo užduotis pasikeičia; atsako liekanų svėrimas paprastai neišsprendžia įvesties paklaidų problemos. Taip pat vien svėrimas neužtikrina nepriklausomumo, nepašalina nežinomo dreifo ir nepaverčia klaidingo modelio teisingu. Nustatykite numatytam naudojimui tinkamus įvesties ir atsako paklaidų modelius.

Išsaugokite atrankos ir fizikinio taikymo ribas

Užfiksuokite duomenų skaidymą, dydžius ir vienetus, modelių kandidatų šeimas, priderintus parametrus, transformacijas, priderinimo kriterijų ir pritaikymui nenaudotų duomenų vertinimo taisyklę. Mastelio keitimas ar kitos iš duomenų nustatytos transformacijos turi būti priderinimo procedūros dalis. Jei validavimo išvesties reikšmės pakartotinai naudojamos kandidatams keisti, galutiniam teiginiui apie modelio veikimą reikia atskiro vertinimo, o ne tų pačių išvesties reikšmių pervadinimo nepaliestais testavimo duomenimis.

Teigiamas priderintos tiesės nuolydis apibūdina pasirinktą ryšį pateiktuose duomenyse. Jis neparodo, kad tikslingai pakeitus padėtį įvyktų toks įtampos pokytis ar kad priderintas polinomas yra fizikos dėsnis. Tokioms išvadoms reikia žinoti klausimui svarbų mechanizmą, eksperimento planą ir sąlygas. Ankstesnės pamokos kontrolės priemonės ir eksperimento planas išlieka atskirais pagrindžiančiais duomenimis; prognozavimo kokybės rodikliai negali jų pakeisti.

Trys atvejai su tiksliais duomenimis moko modelių priderinimo, identifikuojamumo ir ribotos apimties modelių palyginimo. Jie nepatvirtina jokio tikro jutiklio kalibravimo, Gauso paklaidų dėsnio ar universalios tiesių ir trečiojo laipsnio polinomų pranašumo tvarkos. Kita tema „Laboratorijos sauga, atkuriamumas ir tyrimų pakartojimas“ susieja eksperimentinį darbą su jo sąlygomis ir pakartojamumu; išsamios modeliavimo dokumentacijos išsaugojimas padeda kitiems patikrinti ir atkurti analizę.

Išnagrinėti pavyzdžiai

Pabandykite patys

1. Pradines keturias padėtis išreikškite kaip 0, 100, 200 ir 300 cm, palikdami tas pačias išvesties reikšmes. Pateikite įvertintą laisvąjį narį ir nuolydį. Nuolydį išreikškite V/cm vienetais ir prognozuokite išvesties reikšmę ties 50 cm. Ar pritaikyto modelio įtampos ir liekanos turėtų pasikeisti vien dėl to, kad pasikeitė padėties matavimo vienetas?

   Rodyti atsakymą ir paaiškinimą

   Laisvasis narys yra 0.7 V, o nuolydis – 0.012 V/cm. Ties 50 cm prognozuojama 1.3 V. Fizinės prognozės ir įtampos liekanos lieka tokios pačios.

   Vienas metras yra 100 cm, todėl 1.2 V/m yra 0.012 V/cm. Padauginus šį nuolydį iš 50 cm, gaunama 0.6 V daugiau už laisvąjį narį. Įvesties matavimo vienetai keičia skaitinę nuolydžio išraišką, bet ne pritaikyto modelio fizinį ryšį.

2. Pradinei tiesei naudokite Q = 1.8 V², n = 4 ir p = 2. Apskaičiuokite Q/n, Q/(n − p) ir √[Q/(n − p)], nurodydami vienetus. Ar aritmetiniai skaičiavimai su šia pateikta lentele patvirtina Gauso paklaidų skirstinį arba nustato nuolydžio pasikliautinąjį intervalą?

   Rodyti atsakymą ir paaiškinimą

   Q/n = 0.45 V², Q/(n − p) = 0.9 V², o kvadratinė šaknis yra apytiksliai 0.948683 V. Vien šios reikšmės nei patvirtina Gauso paklaidų skirstinį, nei nustato nuolydžio pasikliautinąjį intervalą.

   Pirmasis vardiklis apibrėžia mokymo duomenų vidutinės kvadratinės paklaidos rodiklį; antrasis atitinka įprastą liekanų sklaidos vertinimą pagal pilno rango statistinį modelį, kai liekanų laisvės laipsnių skaičius yra teigiamas. Pastarojo dydžio statistinei interpretacijai ir nuolydžio neapibrėžties vertinimui reikia pagrįstų prielaidų apie paklaidas ir įvesties reikšmių geometrijos. Nuolydžio neapibrėžties vienetai būtų V/m.

3. Palikite poras su pasikartojančia padėtimi (2 m, 3 V), (2 m, 4 V), (2 m, 5 V) ir pridėkite (0 m, 1 V). Tiesinių modelių šeimai taikykite įprastą mažiausių kvadratų metodą (OLS) su vienodais svoriais. Raskite įvertintą laisvąjį narį, nuolydį ir Q. Ar nauja įvesties reikšmė leidžia atskirai nustatyti abu parametrus?

   Rodyti atsakymą ir paaiškinimą

   Įvertintas laisvasis narys yra 1 V, nuolydis – 1.5 V/m, o Q = 2 V². Skirtinga įvesties reikšmė dabar leidžia pagal šį kriterijų vienareikšmiškai nustatyti laisvąjį narį ir nuolydį.

   Užrašykite c = a + (2 m)b. Kriterijaus išraiška tampa (1 V − a)² + 2 V² + 3(c − 4 V)² ir įgyja mažiausią reikšmę, kai a = 1 V ir c = 4 V. Taigi b = (4 V − 1 V)/(2 m). Dvi skirtingos įvesties padėtys atkuria pilną tiesinio modelio matricos stulpelių rangą; jos neįrodo fizikinio dėsnio.

4. Atskiram nurodytam palyginimui pagal validavimo duomenis palikite abu pradinius pritaikytus modelius nekeisdami jų koeficientų ir abi pradines validavimo poras, tada pridėkite (1.5 m, 2.5 V). Kiekvienam modeliui apskaičiuokite naują validavimo vidutinę kvadratinę paklaidą pagal tris taškus. Visus įvertintus koeficientus palikite nepakeistus.

   Rodyti atsakymą ir paaiškinimą

   Naujoji tiesės modelio rodiklio vertė yra 2/75 V². Trečiojo laipsnio polinomo modelio – 59/192 V². Šiame nurodytame trijų taškų duomenų rinkinyje tiesės modelio rodiklio vertė vis dar mažesnė.

   Kai padėtis yra 1.5 m, tiesės modelis prognozuoja 2.5 V, todėl prie pradinės 0.08 V² sumos pridedamas nulinis liekanos kvadratas. Trečiojo laipsnio polinomo modelis prognozuoja 15/8 V, todėl prie pradinės 17/32 V² sumos pridedama (5/8 V)² = 25/64 V². Kiekvieną bendrą sumą padalykite iš trijų; modeliai kandidatai vertinami, o ne pritaikomi iš naujo.

5. Pritaikykite konstantą c išėjimo vertėms 1 V ir 3 V, naudodami teigiamus bedimensius svorius 4 ir 1. Raskite kriterijų minimizuojančią vertę ir Q_w toje vietoje. Kaip pasikeičia kriterijų minimizuojanti vertė, jei abu svoriai padauginami iš devynių? Svoriams neapibrėžties modelis nepateiktas.

   Rodyti atsakymą ir paaiškinimą

   c_fit = 7/5 V = 1.4 V ir Q_w,min = 16/5 V² = 3.2 V². Padauginus abu svorius iš devynių, c_fit nepasikeičia, o mažiausia kriterijaus vertė padidėja devynis kartus.

   Iš išvestinės sąlygos gauname c = (4 × 1 V + 1 × 3 V)/5. Liekanos yra −0.4 V ir +1.6 V, todėl Q_w = 4(0.16 V²) + 2.56 V². Bendras teigiamas daugiklis nekeičia to, kuri c vertė minimizuoja kriterijų; nurodyti svoriai nenustato jokių išmatuotų neapibrėžčių.

6. Analitikas pakeičia modelių kandidatų formules, peržiūrėjęs dvi pradines išėjimo vertes, kurios nebuvo naudotos modeliams pritaikyti, o tada pateikia pagerėjusį rodiklį, apskaičiuotą pagal tas pačias vertes, kaip modeliui parinkti nenaudotą galutinį testą. Ar toks aiškinimas pagrįstas? Ar vien mažesnė prognozavimo rodiklio vertė leistų nustatyti, kad padėties keitimas sukelia įtampos pokytį?

   Rodyti atsakymą ir paaiškinimą

   Nė vienas aiškinimas nepagrįstas. Pakartotinai panaudotos išėjimo vertės turėjo įtakos modelio parinkimui, todėl pagal jas apskaičiuotas rodiklis nėra modeliui parinkti nenaudotas galutinis testas; vien mažesnė prognozavimo paklaida neleidžia nustatyti priežastinio poveikio.

   Atliekant nepriklausomą galutinį vertinimą, būtina atsižvelgti į modelio parinkimui naudotus duomenis ir sąlygas, kuriomis bus prognozuojama. Pritaikytas prognozavimo sąryšis nesuteikia nei intervencijos įrodymų, nei fizikinio mechanizmo, reikalingo teiginiui apie priežastinį ryšį. Abu apribojimai galioja net ir tada, kai pateikti modelio pritaikymo skaičiavimai yra teisingi.

Ką verta įsidėmėti

• Regresijai reikia nurodytos modelių šeimos, dydžių ir vienetų, pritaikymo kriterijaus ir numatytos paskirties.
• Pradinio tiesės modelio, pritaikyto naudojant vienodus svorius, laisvasis narys yra 0.7 V, nuolydis – 1.2 V/m, o liekanų kvadratų suma – 1.8 V²; liekanos apskaičiuojamos iš stebėtų įtampų atimant prognozuotas.
• Pilnas stulpelių rangas leidžia atskirti įvertinamus parametrus. Pakartotiniai stebėjimai ties x = 2 m leidžia nustatyti tik a + (2 m)b, o ne a ir b atskirai.
• Pradinis trečiojo laipsnio polinomo modelis tiksliai atitinka mokymo duomenis, o tiesės modelio paklaida dviejuose nurodytuose validavimo taškuose yra mažesnė; šis palyginimas galioja tik nurodytam duomenų rinkiniui.
• Q/n yra mokymo duomenų kriterijaus reikšmė. Norint pagal Q/(n − p) įvertinti bendrą paklaidų dispersiją, reikia pilno rango statistinės interpretacijos, kai n > p; ši išraiška savaime nesuteikia nei neapibrėžties įverčio, nei pagrindo Gauso skirstiniu grindžiamoms statistinėms išvadoms.
• Svoriams ir triukšmo paveiktiems prediktoriams reikia aiškiai apibrėžtų modelių. Išlaikykite atskiras atrankos ir vertinimo paskirtis, o prognozių atitiktį duomenims atskirkite nuo priežastingumo įrodymų.