GLOBAL KNOWLEDGE ARK

Chemija · Pamoka

Nuo molekulinių mechanizmų iki patvirtintų taikymų

Naudokite pagal atskaitą sąlygotus skaičius, bazinius dažnius ir eksperimentinių vienetų statistiką, kad apibrėžtumėte, ką iš tikrųjų pagrindžia validavimo duomenys.

Grįžti į chemijos planą

Baigę pamoką, galėsite

  • Atskirti sąlyginį klasifikatoriaus veikimą nuo prognostinės vertės.
  • Išmatuoti sutapimą su netobulu palyginimo metodu, neišgalvojant etaloninės tikrosios būklės.
  • Interpretuoti sąlyginę įrodymų atrankos seką kaip modelį, o ne klinikinę sėkmę.
  • Atskirti nepriklausomus ruošinius nuo pakartotinių stebimųjų rodmenų.
01

Mechanizmui ir taikymui reikia skirtingų įrodymų

Molekulė gali sąveikauti su taikiniu, pakeisti kelią ir pakeisti išmatuotą baigtį. Kiekvienas etapas pagrindžia skirtingą teiginį. Vien biologinis žymuo ar mechanistinis paaiškinimas nepatvirtina naudos numatytam taikymui ar pacientų populiacijai.

Validavimas susijęs su nurodytu teiginiu, metodu, kontekstu ir intervalu. Sėkmingas palyginimas vienoje aplinkoje nepadaro metodo ar intervencijos visuotinai tinkamų. Plečiantis teiginiui reikia nepriklausomų duomenų ir konkuruojančių paaiškinimų tikrinimo.

02

Pagal tikrąją būklę sąlygotas tikslumas ir sutapimas su palyginimo metodu yra skirtingos apskaitos

Pasirinkite sintetinį dvejetainį taikinio buvimo klasifikatorių su nustatytomis etaloninėmis žymomis: du šimtai buvimo atvejų ir šeši šimtai nebuvimo atvejų. Priskirkite jautrumą 0.910 ir specifiškumą 0.940 kaip tikslius modelio dažnius. Skaičiai yra 182 tikrieji teigiami, 18 klaidingai neigiamų, 564 tikrieji neigiami ir 36 klaidingai teigiami. Tai nesusiję su pacientu ar tikru diagnostiniu tyrimu.

Teigiama prognostinė vertė yra 182/(182+36)=0.834862385; neigiama prognostinė vertė yra 564/(564+18)=0.969072165. Tikslumas yra (182+564)/800=0.9325. Kiekvienas vardiklis atsako į skirtingą klausimą: jautrumui ir specifiškumui – tikroji būklė, prognostinėms vertėms – pateiktas sprendinys, o tikslumui – visi atvejai.

Perkelkite tuos pačius priskirtus sąlyginius dažnius į penkiasdešimties tūkstančių atvejų modelinę populiaciją su žinomu išankstiniu taikinio paplitimu 0.0200. Tikėtini buvimo ir nebuvimo atvejų skaičiai yra 1,000/49,000; tikėtini tikrieji teigiami – 910, o klaidingai teigiami – 2,940. Teigiama prognostinė vertė sumažėja iki 910/(910+2,940)=0.236363636, nors jautrumas ir specifiškumas nepasikeitė. Tai priskirti modelio dažniai, o ne neapibrėžti klinikinio veikimo įverčiai.

Atskiroje dviejų metodų lentelėje be etaloninės tikrosios būklės priskirkite 84 abu teigiamus, 9 naujo metodo teigiamus ir palyginimo metodo neigiamus, 15 naujo metodo neigiamų ir palyginimo metodo teigiamų bei 92 abu neigiamus atvejus. Bendras sutapimas yra 176/200=0.880. Sąlygojant pagal teigiamus palyginimo metodo rezultatus, teigiamas sutapimas yra 84/99=0.848484848; sąlygojant pagal jo neigiamus rezultatus, neigiamas sutapimas yra 92/101=0.910891089.

Sukeiskite, kuris metodas yra palyginimo metodas: teigiamas ir neigiamas sutapimai tampa 84/93=0.903225806 ir 92/107=0.859813084. Bendras sutapimas išlieka 0.880. Pakeitus vardiklį neatsiranda etaloninė tikroji būklė, jautrumas ar specifiškumas; metodai gali sutapti, nors abu klysta.

Žinomos atskaitos lentelė aiškiai parodo kiekvieną sąlyginį vardiklį
Žinoma etaloninė būklėTeigiamas klasifikatoriaus rezultatasNeigiamas klasifikatoriaus rezultatasEilutės suma
Yra18218200
Nėra36564600
Stulpelio suma218582800

Originali išgalvota 800 atvejų populiacija su priskirta etalonine tikrąja būkle, jautrumu 0.910 ir specifiškumu 0.940. Eilutės apibrėžia etaloninę būklę; stulpeliai apibrėžia klasifikatoriaus sprendinius. Prognostinės vertės sąlygojamos pagal pateiktus sprendinius, o ne pagal etaloninę eilutę. Atskirame netobulo palyginimo metodo pavyzdyje tikroji būklė nežinoma, todėl jį būtina interpretuoti kaip sutapimą.

03

Klasifikavimui reikia apibrėžtos atskaitos ir populiacijos

Dvejetainio klasifikatoriaus jautrumas yra teigiamų sprendinių dalis tarp iš tikrųjų teigiamų atvejų pagal pasirinktą atskaitą; specifiškumas yra neigiamų sprendinių dalis tarp iš tikrųjų neigiamų atvejų. Abiem reikia apibrėžto etalono ir numatytos populiacijos.

Teigiamų sprendinių dalis, kuri iš tikrųjų teigiama, taip pat priklauso nuo bazinio dažnio. Jei palyginimo metodas nenustato tikrosios būklės, lentelė matuoja sutapimą su tuo metodu. Tuomet panaši aritmetika turi kitą reikšmę, o sutapimas gali priklausyti nuo to, kuris metodas pateikia vardiklį.

04

Atrankos dalys ir pakartotiniai rodmenys nesukuria trūkstamų įrodymų

Nepriklausomai išgalvotai įrodymų atrankos sekai pradėkite nuo 360 kandidatinių objektų. Nurodykite nuoseklias sąlygines atrankos dalis 0.600, 0.450, 0.400, 0.750 apibrėžtiems afiniteto įrodymams, sąveikai su taikiniu pasirinktame ląsteliniame modelyje, atitinkamam modeliniam fenotipui su kontrolėmis ir nepriklausomam patvirtinimui kitu modeliu ar rodmeniu. Kiekviena dalis taikoma ankstesnį etapą praėjusiam rinkiniui.

Tikėtini etapų skaičiai yra 360→216→97.2→38.88→29.16, o bendra atrankos tikimybė 0.0810. Nesveikieji skaičiai yra tikėtinos vertės, o ne realizuoti daliniai kandidatai. Padidinus tik ląstelinės sąveikos dalį iš 0.450 į 0.750 gaunamas tikėtinas galutinis skaičius 48.6. Šie aritmetiniai filtrai nesuteikia jokių nestebėtų klinikinių baigčių, saugumo ar gydymo poveikio įrodymų.

Atskiram tyrimo vienetų modeliui nurodykite keturis nepriklausomai priskirtus ir paveiktus ruošinius, kurių kiekvienas pateikia tris stebimuosius rodmenis AU vienetais: (7, 9, 8), (11, 13, 12), (15, 17, 16), (19, 21, 20). Nurodytam klausimui apie vidutinį ruošinį eksperimentinis vienetas yra ruošinys. Jų vidurkiai yra 8, 12, 16, 20 AU, bendras vidurkis 14 AU, o nepriklausomų vienetų skaičius N=4; stebimųjų rodmenų yra dvylika.

Ruošinių vidurkių imties standartinis nuokrypis yra s=√[Σ(x_i−14)²/(N−1)]=√(80/3)=5.16397779 AU. Ruošinių vidurkio standartinė paklaida yra SE=s/√N=2.58198890 AU pagal šį nepriklausomų vienetų modelį. Vietoje to visus dvylika stebėjimų laikant nepriklausomais gaunama netinkama mažesnė SE 1.37068883 AU.

Nukopijavus kiekvieną rodmenį jo ruošinyje gaunamos dvidešimt keturios stebimosios vertės, išlaikant lygiai tuos pačius ruošinių vidurkius, N=4 ir ruošinių lygmens SE 2.58198890 AU. Naujas nepriklausomas vienetas nesukuriamas. Tikram tyrimo planui reikia faktinių priskyrimo ir priklausomumo duomenų; šis modelis nepatvirtina klinikinio poveikio, pasikliautinojo intervalo aprėpties ar universalios taisyklės kiekvienai kultūrai, šulinėliui ar mėginiui.

05

Pakartotiniai rodmenys ir nepriklausomi vienetai yra skirtingi dalykai

Rodmenys gali sudaryti grupes pagal ruošinį ar kitą nepriklausomai priskirtą eksperimentinį vienetą. Matavimo kartojimas gali apibūdinti rodmenų kintamumą, nesukurdamas papildomų nepriklausomai priskirtų vienetų. Nurodykite, kuris lygmuo pagrindžia siūlomą palyginimą.

Atsitiktinis priskyrimas, aklinimas, iš anksto apibrėžtos baigtys, tinkamos kontrolės ir neapibrėžties pateikimas padeda nagrinėti skirtingus sisteminio nuokrypio šaltinius. Didesnis pakartotinių stebėjimų skaičius automatiškai nepašalina sisteminio nuokrypio ir nepatvirtina, kad poveikis persikels į naują kontekstą.

06

Pateikite, ką duomenys iš tikrųjų patvirtina

Įrodymų filtrų seka gali iliustruoti, kaip siaurėja kandidatų rinkinys, jei kiekviena dalis apibrėžta sąlygiškai ankstesnio rinkinio atžvilgiu. Šių dalių dauginimas yra apskaitinis modelis, kai galioja jo prielaidos. Tai nėra klinikinės sėkmės prognozė vien iš mechanizmo.

Naudingoje ataskaitoje įvardijami medžiaga, baigtis, populiacija ar modelis, palyginimo metodas, eksperimentiniai vienetai, neapibrėžtis ir neišspręstos alternatyvos. Atskirkite išmatuotus rezultatus nuo modelio prielaidų ir prognozių. Toks aiškumas palengvina cheminių duomenų naudojimą, neišplečiant teiginio už patikrintos aplinkos ribų.

Išnagrinėti pavyzdžiai

Naudokite klausimą atitinkantį vardiklį

Naudokite priskirtus 200 tikrojo buvimo / 600 tikrojo nebuvimo atvejų bei jautrumą 0.910 / specifiškumą 0.940.

  1. Skaičiai yra TP 182/FN 18/TN 564/FP 36.
  2. Teigiama prognostinė vertė=182/218=0.834862385.
  3. Neigiama prognostinė vertė=564/582=0.969072165; tikslumas=746/800=0.9325.

Priskirtas pagal tikrąją būklę sąlygotas veikimas ir prognostinės vertės atsako į skirtingus klausimus.

Sutapimą sąlygokite pagal nurodytą palyginimo metodą

Naudokite 84 abu teigiamus / 9 tik naujo metodo teigiamus / 15 tik palyginimo metodo teigiamų / 92 abu neigiamus atvejus.

  1. Teigiamas sutapimas su palyginimo metodu=84/99=0.848484848.
  2. Neigiamas sutapimas su palyginimo metodu=92/101=0.910891089.
  3. Bendras sutapimas=176/200=0.880.

Etaloninė tikroji būklė, jautrumas ar specifiškumas nenustatyti.

Atrankos dalis taikykite nuosekliai

Naudokite 360 kandidatų ir sąlygines dalis 0.600/0.450/0.400/0.750.

  1. Tikėtini rinkiniai siaurėja iki 216/97.2/38.88/29.16.
  2. Bendra tikimybė yra 0.0810.
  3. Galutinis 29.16 yra tikėtinas modelinių įrodymų skaičius, o ne klinikinės naudos rezultatas.

Sąlyginė aritmetika nesukuria trūkstamų baigties įrodymų.

Apskaičiuokite nepriklausomai priskirtų ruošinių vidurkius

Naudokite keturias nurodytas grupes po tris stebimuosius rodmenis.

  1. Ruošinių vidurkiai yra 8/12/16/20 AU; vidurkis 14 AU.
  2. Jų imties s=5.16397779 AU.
  3. Kai nepriklausomų vienetų N=4, SE=2.58198890 AU.

Dvylika stebimųjų rodmenų nėra dvylika nepriklausomai priskirtų ruošinių.

Pabandykite patys

  1. Naudokite tą patį nurodytą jautrumą ir specifiškumą penkiasdešimčiai tūkstančių atvejų su žinomu išankstiniu taikinio paplitimu 2.00%. Raskite tikėtinus tikruosius bei klaidingai teigiamus atvejus ir teigiamą prognostinę vertę.

    Rodyti atsakymą ir paaiškinimą

    Tikėtini TP 910 ir FP 2,940; teigiama prognostinė vertė 0.236363636.

    Yra 1,000 buvimo ir 49,000 nebuvimo atvejų. Kitoks bazinis dažnis pakeičia prognostinę vertę, nepakeisdamas priskirtų sąlyginių dažnių.

  2. Netobulos atskaitos lentelėje sukeiskite palyginimo metodą. Raskite teigiamą, neigiamą ir bendrą sutapimą bei nustatykite, ar tikroji būklė nustatyta.

    Rodyti atsakymą ir paaiškinimą

    Teigiamas 0.903225806; neigiamas 0.859813084; bendras 0.880. Tikroji būklė lieka nenustatyta.

    Sąlygokite pagal kito metodo teigiamų 93 ir neigiamų 107 rezultatų sumas; simetriškas bendras sutapimas išlieka 176/200.

  3. Padidinkite tik atrankos sekos ląstelinės sąveikos sąlyginę dalį iš 0.450 į 0.750. Raskite galutinį tikėtiną skaičių ir nustatykite, ar iš to seka klinikinė nauda.

    Rodyti atsakymą ir paaiškinimą

    Tikėtinas galutinis skaičius 48.6; klinikinė nauda iš to neseka.

    360×0.600×0.750×0.400×0.750=48.6, o klinikinės baigtys lieka nestebėtos.

  4. Kiekvieną stebimąją vertę kiekviename ruošinyje dubliuokite. Raskite stebėjimų skaičių, nepriklausomą N ir ruošinių lygmens SE.

    Rodyti atsakymą ir paaiškinimą

    Dvidešimt keturi rodmenys; N=4 nepriklausomi ruošiniai; SE=2.58198890 AU nepakitusi.

    Dubliavimas ruošinio viduje išsaugo visus ruošinių vidurkius ir nesukuria naujo nepriklausomai priskirto vieneto.

Ką verta įsidėmėti

  • Jautrumui ir specifiškumui reikia tinkamos žinomos atskaitos apibrėžties.
  • Prognostinės vertės priklauso nuo populiacijos bazinio dažnio.
  • Sutapimas su netobulu palyginimo metodu nepatvirtina etaloninės tikrosios būklės.
  • Papildomi stebėjimai ruošinio viduje nebūtinai sukuria nepriklausomus eksperimentinius vienetus.

Šaltiniai

Mokomoji medžiaga ir žinynai, kuriais remiasi pamokos paaiškinimai ir pavyzdžiai.

  1. Chemical Tools: SGC Chemical ProbesStructural Genomics Consortium and collaborators; actual site lists Toronto,UNC,Karolinska,Frankfurt,UCL,Unicamp nodes, an international collaborationŽinynasthesgc.orgSkaityti šaltinį
  2. Chemical Probes Portal FAQ: orthogonal probes, controls and target engagementChemical Probes Portal scientific team; original related SGC/ICR research resource, individual page author not listedŽinynaschemicalprobes.orgSkaityti šaltinį
  3. M12 Drug Interaction Studies, final FDA implementationInternational Council for Harmonisation; FDA CDER/CBER final implementation, not an independent extra US sourceŽinynasfda.govSkaityti šaltinį
  4. M10 Bioanalytical Method Validation and Study Sample AnalysisInternational Council for Harmonisation; FDA CDER/CBER implementationŽinynasfda.govSkaityti šaltinį
  5. Guidance Document on Good In Vitro Method Practices, Second EditionOECD original international guidance; expert authors not individually extractedŽinynas · PDFoecd.orgSkaityti šaltinį
  6. WHO Human Health Risk Assessment Toolkit: Chemical Hazards, second editionWHO/IPCS international project; original publication via WHO and IPCS INCHEM distributionŽinynas · PDFinchem.orgSkaityti šaltinį
  7. Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic TestsFDA CDRH Diagnostic Devices Branch, Division of Biostatistics; current original guidanceŽinynasfda.govSkaityti šaltinį
  8. BEST Resource: Validated Surrogate EndpointFDA–NIH Biomarker Working Group USAŽinynasncbi.nlm.nih.govSkaityti šaltinį
  9. What exactly is N in cell culture and animal experiments?Stanley E. Lazic, AstraZeneca Cambridge UK; Charlie J. Clarke-Williams, University of Bristol UK; Marcus R. Munafò, MRC/University of Bristol UKŽinynasjournals.plos.orgSkaityti šaltinį
  10. Key elements of a well-designed experimentNC3Rs original methods guidance, UK; page individual author/date not listedŽinynasnc3rs.org.ukSkaityti šaltinį