Chemija · Pamoka
Chemometrija, daugiamačiai signalai ir validavimas
Taikykite skaidrius daugiamačius skaičiavimus, kad atskirtumėte informaciją, modelio liekanas, atvaizduotą dispersiją ir tikrinimui atidėtų duomenų prognozavimo paklaidas. Išsaugokite vienetus ir ribą tarp modelio sudarymo bei nepriklausomo validavimo.
Grįžti į chemijos planąBaigę pamoką, galėsite
- Pritaikyti nedidelį perteklinį atsako modelį ir interpretuoti jo liekanas.
- Apskaičiuoti centruotų duomenų pagrindinių komponenčių modelį ir paaiškinti mastelio keitimo poveikį.
- Palyginti vidutinę paklaidą, absoliučiąją paklaidą ir prognozavimo vidutinę kvadratinę paklaidą.
- Iš duomenų nustatomą pirminį apdorojimą atlikti tik mokymo duomenų ribose.
Daug signalų savaime nesuteikia daug nepriklausomų cheminių faktų
Chemometrija taiko matematinius ir statistinius metodus cheminiams stebiniams. Spektras gali turėti daug kanalų, o prietaisų rinkinys gali teikti vienas kitą papildančius signalus. Prieš pritaikydami modelį apibrėžkite, ką reiškia kiekviena koordinatė, jos vienetus ir visas transformacijas, taip pat kaip eilutės susijusios su ėminių ėmimo vienetais.
Kanale gali būti naudingos informacijos apie analitę, fono, dreifo, triukšmo arba trukdančios medžiagos atsako. Glaudžiai susiję kanalai gali teikti tą pačią informaciją. Modelio koeficientas, komponentės koordinatė ar prognozė turėtų būti susieta su cheminiu dydžiu kalibravimu ir nepriklausomais įrodymais; cheminės tapatybės negalima priskirti vien todėl, kad gautas skaitinis modelio atitikimas.
Toliau pateikti maži duomenų rinkiniai yra išgalvoti, kad būtų aiškiai matomi skaičiavimai ir informacijos ribos. Juose nėra išmatuotų spektrų, išmokyto gamyboje naudojamo modelio ar įrodyto tikslumo realiomis sąlygomis.
Mažiausiųjų kvadratų sprendinys gali atskleisti nesuderinamą atsaką
Naudokite nurodytą tiesinį modelį y=Mx, kurio bedimensės matricos eilutės yra (1,0), (0,1) ir (1,1). Du koeficientai x₁ ir x₂ yra atsako dedamosios, išreikštos U, o ne patvirtinti analičių kiekiai. Duotas atsako vektorius y=(2.10, 2.90, 5.10) U. Trečiasis stebinys būtų lygus pirmųjų dviejų sumai, jei visi trys tiksliai atitiktų šį modelį.
Vienodų svorių mažiausiųjų kvadratų pritaikymas minimizuoja liekanų kvadratų sumą. Kai stulpelių rangas pilnas, jo normaliosios lygtys yra (MᵀM)x=Mᵀy, kur Mᵀ žymi transponuotą matricą. Čia MᵀM eilutės yra (2,1) ir (1,2), o Mᵀy=(7.20,8.00) U. Išsprendus gaunama x₁=2.133333 ir x₂=2.933333 U.
Modeliu apskaičiuoti atsakai yra 2.133333, 2.933333 ir 5.066667 U. Liekaną apibrėžkite kaip stebėtą vertę atėmus modelio vertę; liekanos yra −0.0333333, −0.0333333 ir +0.0333333 U. Liekanų kvadratų suma yra 0.00333333 U². Abi normaliosiose lygtyse naudojamos liekanų projekcijos lygios nuliui, kaip ir turi būti taip pritaikant modelį.
Mažos liekanos rodo atitiktį pasirinktam modeliui ir pritaikymo kriterijui; jos nepatvirtina vienareikšmės cheminės tapatybės, koeficientų galiojimo už kalibravimo intervalo ribų ar vienodų tikrųjų matavimo neapibrėžčių. Jei koeficientų stulpeliai tampa proporcingi, nenulinė nulinės erdvės kryptis gali išlaikyti prognozes keičiant koeficientus. Maža liekana negali atkurti prarastos nepriklausomos informacijos.
PCA nustato atvaizduotą dispersiją pasirinktoje koordinačių sistemoje
Pagrindinių komponenčių analizė, sutrumpintai PCA, nustato ortogonalias dispersijos kryptis centruotuose duomenyse. Požymių mastelio keitimas pakeičia koordinačių sistemą ir gali pakeisti šias kryptis. Centruojant atimamas iš duomenų nustatytas vidurkis; tai skiriasi nuo požymių dalijimo iš mastelio koeficiento. Duomenis centruojanti programinė procedūra nebūtinai automatiškai standartizuoja požymių dispersijas.
Duoti trys išgalvoti stebiniai su dviem požymiais, kuriems taikomas bendras atsako vienetas U: (1,2), (2,4) ir (3,6). Stulpelių vidurkiai yra (2,4), o centruotos eilutės yra (−1,−2), (0,0) ir (1,2). Imties kovariacijai naudojant vardiklį n−1=2, gaunama kovariacijų matrica, kurios eilutės yra (1,2) ir (2,4), išreikšta U².
Jos tikrinės vertės yra 5 ir 0 U². Viena normuota pirmoji ašis yra (1/√5,2/√5), o komponentės koordinatės yra −√5, 0 ir +√5 U. Šiame išgalvotame duomenų rinkinyje antrasis požymis yra tiksliai du kartus didesnis už pirmąjį, todėl viena komponentė atkuria visas centruotas koordinates ir atvaizduoja 100% šio rinkinio dispersijos. Ašies ženklas yra sutartinis; jį apvertus pasikeičia komponenčių koordinačių ženklai, tačiau atkūrimas išlieka toks pats.
Prieš centruodami padalykite antrąjį požymį iš dviejų. Naujos kovariacijų matricos eilutės yra (1,1) ir (1,1), tikrinės vertės yra 2 ir 0 U², o pirmoji ašis yra (1/√2,1/√2). Tie patys trys stebiniai vis dar yra tobulai tiesiškai susiję, tačiau keičiant mastelį pasikeičia skaitinė jų ašies išraiška. Jei požymiai turi skirtingus fizikinius vienetus, mastelio keitimą ir gautą interpretaciją reikia pagrįsti ypač aiškiai.
Atvaizduota dispersija nėra cheminė tapatybė, priežastinė svarba, klasių atskyrimas ar veiksmingumas su nauja medžiaga. Didelė dispersija gali atsirasti dėl nesvarbių poveikių. PCA komponenčių koordinačių grafikas gali padėti tyrinėti stebinius, tačiau jo interpretavimui ir taikymui reikia įrodymų, neapsiribojančių dispersijos skaičiavimu.
| Stebinys | Požymis 1 / U | Požymis 2 / U | Centruota pora / U | Pirmosios komponentės koordinatė / U |
|---|---|---|---|---|
| 1 | 1.00 | 2.00 | (−1, −2) | −2.236068 |
| 2 | 2.00 | 4.00 | (0, 0) | 0 |
| 3 | 3.00 | 6.00 | (1, 2) | +2.236068 |
Išgalvoti dviejų požymių stebiniai pagal bendro vieneto U susitarimą. Atimami vidurkiai (2,4); kovariacijai naudojama n−1=2. Pirmoji ašis yra (1/√5,2/√5), o komponenčių koordinatės yra projekcijos į ją. Visi centruoti stebiniai yra šioje vienoje tiesėje. Rodomos komponenčių koordinatės suapvalintos; pamokos formulėse išsaugotos tikslios √5 vertės. Čia neatvaizduojami išmatuoti spektrai, cheminė klasė ar prognozavimo veiksmingumas.
Priešingų ženklų paklaidos gali panaikinti vidutinį poslinkį
Tikrinimui atidėtų duomenų prognozavimo paklaidą apibrėžkite kaip prognozę atėmus pateiktą etaloninę vertę. Keturiems hipotetiniams nepriklausomiems vienetams duotos etaloninės vertės 1.20, 1.80, 3.40 ir 3.60 mg L⁻¹ bei prognozės 1.00, 2.00, 3.00 ir 4.00 mg L⁻¹. Paklaidos yra −0.200, +0.200, −0.400 ir +0.400 mg L⁻¹.
Vidutinė paklaida, čia naudojama kaip vidutinio poslinkio su ženklu rodiklis, lygi nuliui. Vidutinė absoliučioji paklaida MAE yra (0.2+0.2+0.4+0.4)/4=0.300 mg L⁻¹. Prognozavimo vidutinė kvadratinė paklaida RMSEP yra √[(0.04+0.04+0.16+0.16)/4]=0.31622777 mg L⁻¹. Taigi nulinė vidutinė paklaida nereiškia, kad kiekviena prognozė teisinga.
Šių rodiklių vardiklis yra keturi, nes jais apibendrinamos keturios pateiktos prognozavimo paklaidos. Jie nėra pasikliautinojo intervalo įvertis ar visa matavimo neapibrėžtis, nustatyta iš šio mažo išgalvoto rinkinio. Tikrame vertinime būtų svarbi etaloninių verčių neapibrėžtis, ėminių ėmimo planas ir numatyta matricos bei koncentracijų sritis.
Jei kiekviena pateikta etaloninė vertė padidinama 0.500 mg L⁻¹, o prognozės nekinta, visos paklaidos pasislenka per −0.500. Vidutinė paklaida tampa −0.500 mg L⁻¹, o vidutinė paklaidų kvadratų vertė tampa 0.100+0.250=0.350 (mg L⁻¹)², todėl RMSEP=0.59160798 mg L⁻¹. Sistemingo poslinkio ir išsisklaidžiusių paklaidų skirtumas matomas nelaikant nė vieno duomenų rinkinio tikru validavimu.
Transformacijas nustatykite naudodami tik mokymo informaciją
Tarkime, mokymo požymio vertės yra 1.00 ir 3.00 U iš vienetų U1 ir U2, o tikrinimui atidėtos vertės yra 9.00 ir 11.0 U iš naujų vienetų U3 ir U4. Mokymo duomenų vidurkis yra 2.00 U. Mokymo duomenimis nustatyta centravimo transformacija duoda tikrinimui atidėtų duomenų centruotas vertes 7.00 ir 9.00 U.
Naudojant visas keturias vertes vidurkiui nustatyti gaunamas bendras vidurkis 6.00 U ir tikrinimui atidėtų duomenų centruotos vertės 3.00 ir 5.00 U. Taip tikrinimui atidėtų duomenų informacija įtraukiama į modelio paruošimą. Net jei vienetų identifikatoriai nesutampa, iš tikrinimo duomenų nustatytas pirminis apdorojimas peržengia validavimo ribą.
Pakeitus tikrinimui atidėtas vertes į 99.0 ir 101 U, mokymo duomenų vidurkis turėtų likti 2.00 U. Tinkamai transformuotos tikrinimui atidėtos vertės tampa 97.0 ir 99.0 U, o informaciją nutekinantis bendras vidurkis taptų 51.0 U. Tai algebrinis informacijos nutekėjimo pavyzdys, o ne išgalvotas veiksmingumo įvertis.
Kai tiriamas taikymas naujiems vienetams, visus susijusius vieno vieneto kartotinius matavimus laikykite kartu, o iš duomenų nustatomą mastelio keitimą, požymių atranką ir derinimą atlikite atitinkamų mokymo duomenų ribose. Vien grupių atskyrimas negali atmesti bendrų partijų, priklausomybės nuo laiko ar taikymo už numatytos srities ribų. Validavimas turi atitikti numatytą naudojimą.
Susiekite modelio sėkmės kriterijų su cheminiu sprendimu
Naudingas daugiamatis rezultatas nurodo įvesties signalus, transformacijas, pritaikymo kriterijų, kalibravimo sritį ir nepriklausomus patikrinimus. Pritaikyto modelio atitiktis, dispersijos atvaizdavimas ir tikrinimui atidėtų duomenų paklaida yra skirtingi įrodymai. Modelis gali gerai veikti vienoje matricoje ar pagal vieną ėminių ėmimo planą ir neveikti kitoje.
Išsaugokite išmatuotus stebinius ir apdorojimo istoriją, įskaitant sprendimus dėl fono, pašalintų eilučių ir požymių atrankos. Kiekybinėms prognozėms reikia tinkamo pagrindo ir neapibrėžties; teiginiams apie sandarą ar mechanizmą reikia papildomų įrodymų. Patrauklus komponenčių koordinačių grafikas, maža mokymo liekana ar nulinė vidutinė paklaida patys savaime negali šių reikalavimų patenkinti.
Instrumentinė analizė tampa patikima, kai signalo susidarymas, kalibravimas, nepriklausoma informacija ir validavimas atitinka numatytą cheminį dydį. Originalūs šio skyriaus pavyzdžiai parodo šiuos ryšius esant nurodytoms prielaidoms ir išsaugo kiekvienos išvados ribas.
Išnagrinėti pavyzdžiai
Pritaikykite tris atsakus dviem atsako dedamosioms
Naudokite M eilutes (1,0), (0,1), (1,1) ir y=(2.10,2.90,5.10) U.
- Normaliųjų lygčių eilutės yra (2,1) ir (1,2), o dešinioji pusė yra (7.20,8.00) U.
- Išspręskite ir gaukite x=(2.133333,2.933333) U.
- Liekanos, apskaičiuotos kaip stebėta−modelio vertė, yra (−0.0333333,−0.0333333,+0.0333333) U; kvadratų suma yra 0.00333333 U².
Vienodų svorių pritaikymo rezultatas pateiktam modeliui, o ne patvirtinti analičių kiekiai.
Apskaičiuokite centruotą vienetinio rango atvaizdavimą
Naudokite eilutes (1,2), (2,4), (3,6) pagal bendrą vienetų susitarimą.
- Atimkite stulpelių vidurkius (2,4), kad gautumėte centruotas eilutes (−1,−2), (0,0), (1,2).
- Imties kovariacijų matrica yra [[1,2],[2,4]] U², jos tikrinės vertės yra 5 ir 0 U².
- Pirmoji ašis (1,2)/√5 duoda komponenčių koordinates −√5, 0, +√5 U ir atkuria visas centruotas eilutes.
Viena komponentė apima šio nurodyto duomenų rinkinio dispersiją, tačiau neįrodo cheminio atskyrimo.
Palyginkite panaikinimą su paklaidų dydžiu
Naudokite tikrinimui atidėtų duomenų paklaidas (−0.200,+0.200,−0.400,+0.400) mg L⁻¹.
- Jų vidurkis yra nulis.
- Vidutinė absoliučioji paklaida yra 0.300 mg L⁻¹.
- Vidutinė kvadratinė paklaida yra √0.100=0.31622777 mg L⁻¹.
Nulinis vidutinis poslinkis gali pasitaikyti kartu su nenulinėmis atskirų prognozių paklaidomis.
Išsaugokite tik mokymo duomenimis nustatytą transformaciją
Naudokite mokymo vertes 1.00/3.00 U ir tikrinimui atidėtas vertes 9.00/11.0 U iš nesutampančių vienetų.
- Mokymo duomenų vidurkis yra 2.00 U.
- Nepakeistą jį taikykite tikrinimo vertėms: centruotos vertės yra 7.00/9.00 U.
- Vietoj jo naudojant bendrą vidurkį 6.00 U būtų įtraukta tikrinimui atidėtų duomenų informacija.
Transformacijos nustatymo riba svarbi net tada, kai ėminių ėmimo vienetai skiriasi.
Pabandykite patys
Jei du atsako modelio stulpeliai tampa proporcingi, ar maža liekana gali patvirtinti vienareikšmes abiejų koeficientų vertes?
Rodyti atsakymą ir paaiškinimą
Ne.
Nenulinė nulinės erdvės kryptis gali pakeisti koeficientus nepakeisdama modeliu apskaičiuotų atsakų. Rangas ir nepriklausoma informacija yra atskiri dalykai nuo liekanos dydžio.
Trijų eilučių pavyzdyje prieš PCA padalykite požymį 2 iš dviejų. Pateikite imties kovariacijų matricą ir vieną pirmąją ašį.
Rodyti atsakymą ir paaiškinimą
Kovariacijų matrica [[1,1],[1,1]] U²; pirmoji ašis (1,1)/√2, tikrinės vertės 2 ir 0 U².
Centruotos koordinatės tampa (−1,−1), (0,0), (1,1). Perskaičiavus jų sandaugas pasikeičia skaitinė ašies išraiška.
Padidinkite kiekvieną tikrinimui atidėtą etaloninę vertę 0.500 mg L⁻¹, o prognozių nekeiskite. Raskite vidutinę paklaidą ir RMSEP.
Rodyti atsakymą ir paaiškinimą
Vidutinė paklaida −0.500 mg L⁻¹; RMSEP 0.59160798 mg L⁻¹.
Pradinės nulinio vidurkio paklaidos dedamosios kvadratų vidurkis yra 0.100; bendras poslinkis prideda 0.250, taigi bendras kvadratų vidurkis yra 0.350.
Pakeiskite tikrinimui atidėtas požymio vertes į 99.0 ir 101 U, o mokymo vertes 1.00 ir 3.00 U palikite tas pačias. Ar turėtų pasikeisti nustatytas mokymo duomenų vidurkis? Pateikite teisingas centruotas tikrinimo vertes.
Rodyti atsakymą ir paaiškinimą
Ne; mokymo duomenų vidurkis lieka 2.00 U, o centruotos tikrinimo vertės yra 97.0 ir 99.0 U.
Tikrinimui atidėti stebiniai neturėtų pakeisti transformacijos, nustatytos iš mokymo duomenų. Bendras vidurkis 51.0 U rodytų informacijos nutekėjimą.
Ką verta įsidėmėti
- Apibrėžkite signalus, vienetus, transformacijas ir ėminių ėmimo vienetus.
- Pritaikyto modelio liekana skiriasi nuo nepriklausomos informacijos ir cheminio identifikavimo.
- PCA priklauso nuo centravimo ir mastelio keitimo bei aprašo atvaizduotą dispersiją.
- Pateikite paklaidų dydį ir vidutinę paklaidą su ženklu.
- Pirminį apdorojimą ir derinimą atlikite tik mokymo duomenų ribose.
Šaltiniai
Mokomoji medžiaga ir žinynai, kuriais remiasi pamokos paaiškinimai ir pavyzdžiai.
- Analytical Chemistry 2.1: 10.2 Spectroscopy Based on AbsorptionDavid T. Harvey, DePauw University USAŽinynas
- NIST/SEMATECH e-Handbook: How can I tell if a model fits my data?NIST/SEMATECH e-Handbook authors; individual page byline not givenŽinynas
- The Fitness for Purpose of Analytical MethodsH. Cantwell, editor; Eurachem Method Validation Working GroupŽinynas · PDF