Perfformiad Algorithmau Dysgu Peiriannau Ar Gyfer Rhagweld Dilyniant I Dementia Mewn Cleifion Clinig Cof

Am fwy o wybodaeth:ali.ma@wecistanche.com

Haniaethol

PWYSIGRWYDD

Gellid defnyddio algorithmau dysgu peirianyddol fel sail ar gyfer cymhorthion gwneud penderfyniadau clinigol i wella ymarfer clinigol.

AMCAN

Asesu gallu algorithmau dysgu peirianyddol i ragfynegi mynychder dementia o fewn 2 flynedd o gymharu â modelau presennol a phennu'r dull dadansoddol gorau posibl a nifer y newidynnau sydd eu hangen.

DYLUNIO, GOSOD, A CHYFRANOGWYR

Defnyddiodd yr astudiaeth brognostig hon ddata gan ddarpar garfan o 15 307 o gyfranogwyr heb ddementia ar y llinell sylfaen i gynnal dadansoddiad eilaidd o ffactorau y gellid eu defnyddio i ragfynegi nifer yr achosion o ddementia. Mynychodd y cyfranogwyr Ganolfan Genedlaethol Cydlynu Alzheimercofclinigau ar draws yr Unol Daleithiau rhwng 2005 a 2015. Cynhaliwyd dadansoddiadau o fis Mawrth i fis Mai 2021. AMGYLCHIADAU 258 o newidynnau yn rhychwantu parthau mesurau clinigol a ffactorau risg yn ymwneud â dementia.

PRIF GANLYNIADAU A MESURAU

Y prif ganlyniad oedd diagnosis o ddementia pob achos o ddigwyddiad o fewn 2 flynedd i asesiad sylfaenol.

Charlotte James, Ph.D.; Janice M. Ranson, Ph.D.; Richard Everson, Ph.D.; David J. Llewellyn, PhD

CANLYNIADAU

Mewn sampl o {{0}} o gyfranogwyr (oedran cymedrig [SD], 72.3 [9.8] oed; 9129 [6{{20}} y cant ] o fenywod a 6178 [4{{24] }} y cant ] o ddynion) heb ddementia ar y llinell sylfaen, cafodd 1568 (10 y cant) ddiagnosis o ddementia o fewn 2 flynedd i'w hasesiad cychwynnol. O'i gymharu â 2 fodel presennol ar gyfer rhagfynegi risg dementia (hy, Ffactorau Risg Cardiofasgwlaidd, Heneiddio, a Sgôr Risg Amlder Dementia, a'r Dangosydd Sgrinio Dementia Cryno), roedd algorithmau dysgu peiriant yn well o ran rhagweld achosion o ddementia pob achos o fewn 2 flynedd. Roedd gan yr algorithm coed wedi'i hybu graddiant gywirdeb cyffredinol cymedrig (SD) o 92 y cant (1 y cant ), sensitifrwydd 0.45 (0.05), penodolrwydd o 0.97 (0.01), a arwynebedd o dan y gromlin o 0.92 (0.01) gan ddefnyddio pob un o'r 258 newidyn. Dangosodd dadansoddiad o bwysigrwydd amrywiol mai dim ond 6 newidyn oedd eu hangen ar gyfer algorithmau dysgu peiriant i gyflawni cywirdeb o 91 y cant ac arwynebedd o dan y gromlin o 0.89 o leiaf. Nododd algorithmau dysgu peiriant hefyd hyd at 84 y cant o gyfranogwyr a gafodd ddiagnosis cychwynnol o ddementia a gafodd ei wrthdroi wedyn i nam gwybyddol ysgafn neu ddiffyg gwybyddol, gan awgrymu camddiagnosis posibl.

CASGLIADAU A PHERTHYNAS

Mae'r canfyddiadau hyn yn awgrymu y gallai algorithmau dysgu peiriant ragweld yn gywir achosion o ddementia o fewn 2 flynedd mewn cleifion sy'n derbyn gofal yncofclinigau yn defnyddio dim ond 6 newidyn. Gellid defnyddio’r canfyddiadau hyn i lywio’r gwaith o ddatblygu a dilysu cymhorthion gwneud penderfyniadau yncofclinigau.

Cliciwch i cistanche DHT er cof

Rhagymadrodd

Mae llawer o gleifion yn cael eu hasesu mewn lleoliadau arbenigol, megiscofclinigau, nad oes ganddynt ddementia pan fyddant yn mynychu am y tro cyntaf.1 Mae'n bwysig gwahaniaethu rhwng cleifion sy'n mynd ymlaen i ddatblygu dementia o fewn amserlen glinigol berthnasol a'r rhai sy'n parhau i fod yn rhydd o ddementia, gan y gellir defnyddio'r mewnwelediad hwnnw i flaenoriaethu cleifion ar gyfer ymchwiliadau dilynol ac ymyriadau. Mae nodi cleifion sydd â risg uchel o ddatblygu dementia yn heriol i glinigwyr. Un dull yw canolbwyntio ar y rhai sydd â nam gwybyddol ysgafn (MCI) pan gânt eu hasesu i ddechrau a gwahodd y cleifion hyn am apwyntiad dilynol. Fodd bynnag, gall hyn arwain at gamddosbarthu sylweddol ar gyfer cleifion nad ydynt wedi’u targedu ar gyfer apwyntiad dilynol ond sy’n datblygu dementia a chleifion sy’n cael eu targedu ar gyfer ymchwiliadau pellach ond nad ydynt yn datblygu dementia. Nid yw'r rhan fwyaf o gleifion clinig cof â MCI yn symud ymlaen i ddementia hyd yn oed ar ôl 10 mlynedd, gyda chyfradd trosi flynyddol o 9.6 y cant .2

Gall cymhorthion gwneud penderfyniadau clinigol wella gallu clinigwyr i amcangyfrif dechreuad dementia. Mae cymhorthion gwneud penderfyniadau clinigol presennol ar gael i amcangyfrif mynychder tymor canolig a hirdymor o ddementia mewn gwahanol boblogaethau. Er enghraifft, cynlluniwyd Sgôr Risg Ffactorau Risg Cardiofasgwlaidd, Heneiddio, a Mynychder Dementia (CAIDE)3 i ragfynegi risg ar gyfer datblygu dementia mewn 20 mlynedd ar gyfer pobl ganol oed, a nod y Dangosydd Sgrinio Dementia Cryno (BDSI)4 yw nodi'r henoed. cleifion i dargedu ar gyfer sgrinio gwybyddol drwy bennu eu risg o ddatblygu dementia ymhen 6 blynedd. Fodd bynnag, hyd y gwyddom, nid oes unrhyw gymorth gwneud penderfyniadau clinigol wedi’i ddatblygu i ragweld mynychder dementia mewn clinigau cof dros gyfnod byrrach sy’n glinigol berthnasol.

Mae dysgu peirianyddol (ML) yn caniatáu trosoledd gwybodaeth o setiau data mawr a chymhleth. Yn ddiweddar, fe'i cymhwyswyd i ddiagnosis dementia a rhagfynegi risg.5-9 Fodd bynnag, mae'r modelau hyn yn aml yn ymgorffori gwybodaeth nad yw ar gael yn nodweddiadol mewn ymarfer clinigol arferol, megis niwroddelweddu uwch, profion genetig, a biomarcwyr hylif serebro-sbinol, gan gyfyngu ar gymhwysiad clinigol i lleoliadau arbenigol neu ymchwil.

Fe wnaethom ymchwilio i weld a ellir defnyddio technegau ML i ragfynegi nifer yr achosion o ddementia dros gyfnod o 2-flwyddyn gan ddefnyddio data clinig cof o US National.AlzheimerCanolfan Gydgysylltu (NACC). Gwnaethom hefyd archwilio'r set ofynnol o newidynnau sy'n ofynnol er mwyn i fodelau ML gyrraedd perfformiad diagnostig llawn.

Dulliau

Derbyniodd astudiaeth NACC gymeradwyaeth foesegol gan fwrdd adolygu sefydliadol pob safle cyn y gallai gyfrannu data, ac roedd yr holl gyfranogwyr wedi rhoi caniatâd ysgrifenedig gwybodus. Ystyriwyd bod yr astudiaeth brognostig hon wedi'i heithrio rhag cymeradwyaeth foesegol sefydliadol oherwydd i ni ddefnyddio data dad-adnabyddedig a gasglwyd yn flaenorol. Mae'r data a ddefnyddiwyd yn yr astudiaeth hon ar gael ar gais data i'r NACC. Adroddir ar yr astudiaeth hon yn unol â chanllaw adrodd Adroddiad Tryloyw o Fodel Rhagfynegiad Aml-newidiol ar gyfer Prognosis neu Ddiagnosis Unigol (TRIPOD). Dadansoddwyd data o fis Mawrth i fis Mai 2021.

Sampl Astudio

Fe wnaethom ddefnyddio data a gasglwyd yn flaenorol o Set Ddata Unffurf (UDS) NACC.10 Mae'r UDS yn cynnwys data carfan arfaethedig gan Sefydliad Cenedlaethol yr UD ar HeneiddioAlzheimerClefydRhaglen y ganolfan ar gyfer ymchwil cydweithredol aml-ganolfan arAlzheimerclefydac anhwylderau niwroddirywiol eraill.11 Mae ein set ddata yn cynnwys data clinig cof a gasglwyd rhwng Medi 2005 a Chwefror 2015 o 30AlzheimerClefydCanolfannau a leolir yn yr Unol Daleithiau. Mae'r set ddata yn cynnwys nodweddion cymdeithasol-ddemograffig cyfranogol a chydgyfranogwr, hanes teulu, statws swyddogaethol, 12 o symptomau ymddygiadol (a aseswyd gyda chanlyniadau Holiadur Rhestr Niwroseiciatrig13), batri prawf niwroseicolegol,14 a diagnosis dementia clinigol NACC, a neilltuwyd gan bob un.AlzheimerClefydCanolfan yn defnyddio meini prawf diagnostig clinigol cyhoeddedig yn seiliedig ar werthusiad clinigol safonol UDS. Mae manylion y meini prawf diagnostig a fabwysiadwyd gan y protocol UDS a'r canllawiau cysylltiedig wedi'u cyhoeddi eisoes.15

Fe ddefnyddion ni fersiynau 1 a 2 UDS, sy'n cynnwys 32 573 mynychwyr clinig cof gydag asesiad gwaelodlin. Er bod ein modelau wedi’u cynllunio i ragfynegi nifer yr achosion o ddementia o fewn 2 flynedd, i gyfrif am yr amrywiad yn yr amser rhwng apwyntiadau dilynol, gwnaethom gynnwys apwyntiad dilynol a ddigwyddodd o fewn 29 mis i’r ymweliad cychwynnol i sicrhau mai’r ymweliad cyntaf neu’r ymweliad cyntaf oedd yr ymweliad. ail apwyntiad dilynol.

Canlyniad Amrywiol

Y newidyn canlyniad oedd diagnosis dementia pob achos o fewn 29 mis (tua 2 flynedd) o asesiad sylfaenol. Mae hyn yn cynnwys isdeipiau dementia, fel dementia Alzheimer, dementia gyda chyrff Lewy, dementia fasgwlaidd, ac isdeipiau prinnach eraill. Cafodd dementia Alzheimer ei ddiagnosio yn unol â meini prawf NINCSD-ADRDA, 16 diagnosis fasgwlaidd yn unol â meini prawf NINDS-AIREN, 17 Cafwyd diagnosis o ddementia corff Lewy (LBD) yn ôl trydydd adroddiad meini prawf Consortiwm Dementia â Chyrff Lewy,18 a dementia frontotemporal diagnosis yn unol â meini prawf Neary a chydweithwyr ym 1998.19

Rhagfynegwyr Ymgeisiol

Fe wnaethom gynnwys yr holl newidynnau clinigol berthnasol a gasglwyd yn ystod yr ymweliad cychwynnol yn fersiynau 1 a 2 o'r UDS (eTabl 1 yn yr Atodiad). Fe wnaethom eithrio newidynnau gyda gwerthoedd testun rhydd, megis enwau meddyginiaethau, a newidynnau a oedd yn gyson ar draws yr holl gyfranogwyr, megis rhif ymweliad. Cynhyrchwyd pedwar newidyn synthetig i helpu i werthuso pwysigrwydd newidiol (dylai'r newidynnau hyn gael eu graddio'n isel); Roedd 3 o'r newidynnau hyn yn amnewidiadau o newidynnau presennol (1 deuaidd, 1 categorïaidd, ac 1 newidyn rhifiadol), a chynhyrchwyd 1 newidyn ar hap o ddosbarthiad arferol. Arweiniodd hyn at gyfanswm o 258 o newidynnau.

Mae'r newidynnau o'r UDS sydd wedi'u hymgorffori yn ein modelau yn cynnwys nodweddion demograffig cyfranogwr (15 newidyn), nodweddion demograffig cydgyfranogol (7 newidyn), hanes teulu (3 newidyn), hanes meddygol (47 newidyn), meddyginiaethau (21 newidyn), corfforol (12 newidyn). ) a chanlyniadau arholiadau niwrolegol (4 newidyn), Graddfa Sgorio Clefyd Parkinson Unedig20 (UDPRS) (28 newidyn), graddfa Sgôr Dementia Clinigol (CDR)21 (8 newidyn), statws swyddogaethol (10 newidyn), batri prawf niwroseicolegol (50 newidyn) , Graddfa Iselder Geriatrig (17 newidyn), ac asesiad clinigol o symptomau (32 newidyn). O'r newidynnau hyn, roedd 239 (93 y cant) ar goll ar gyfer o leiaf 1 cyfranogwr, ac roedd gan yr holl gyfranogwyr o leiaf 1 newidyn ar goll.

Datblygu Model

Gweithredwyd 4 algorithm ML22: atchweliad logistaidd (LR), 23 peiriant fector cymorth (SVM), 24 coedwig ar hap (RF), 25,26 a choed wedi'u cynyddu â graddiant (XGB)27 (eMethods in the Supplement). Mae'r algorithmau hyn yn cyflawni tasg ddosbarthu: maent yn pennu a yw cyfranogwr yn perthyn i ddosbarth 0 (rhagwelir y bydd yn parhau i fod yn rhydd o ddementia 29 mis o'r gwaelodlin) neu ddosbarth 1 (rhagwelir y bydd yn profi digwyddiad dementia o fewn 29 mis i'r llinell sylfaen). Mae'r dosbarthiad yn seiliedig ar newidynnau a gofnodwyd yn eu hymweliad cyntaf â chlinig cof (llinell sylfaen). I roi'r algorithmau ML ar waith, fe ddefnyddiom ni lyfrgell sci-kit-lean Python (Python Software Foundation),28 gyda 5-croes-ddilysu plyg (eMethods in the Supplement). Roedd gwerthoedd coll yn cael eu priodoli drwy samplu a rhoi gwerthoedd newydd yn lle rhai nad oeddent ar goll. Gweithredwyd yr holl brosesu a dadansoddi data yn fersiwn Python 3.9, fersiwn NumPy 1.19.4, a fersiwn sci-kit-lean 0.24.0.

Dadansoddiad Ystadegol

Gwerthusiad Model

Gwerthuswyd perfformiad pob model gennym drwy gymharu eu cywirdeb cyffredinol, sensitifrwydd, a phenodoldeb ar gyfer trothwyon penderfyniadau a ragnodwyd yn y llenyddiaeth (modelau presennol) neu drothwy o 0.5 (modelau ML), sy'n pwysoli'r un modd ffug-bositif. a chamgymeriadau ffug-negyddol. Defnyddiwyd yr ardal o dan gromlin nodwedd weithredu'r derbynnydd (AUC)29 i grynhoi perfformiad y model dros yr holl drothwyon posibl ac felly pwysiadau gwallau camddosbarthu.30 Cafwyd mesurau perfformiad cymedrig a SDs trwy strapio cychwyn (eMethods in the Supplement).

Cymhariaeth â Modelau Presennol

Mae’r BDSI a CAIDE yn fodelau rhagfynegi risg dementia presennol sy’n rhoi sgôr i gleifion sy’n cynrychioli eu risg o ddatblygu dementia dros amserlenni hirach. Er mwyn cael y sgorau risg BDSI a CAIDE, dewiswyd newidynnau o'r UDS sy'n cyfateb agosaf i'r newidynnau a ddefnyddiwyd yn flaenorol (eTabl 2 yn yr Atodiad). Cymharwyd perfformiad ein modelau ML â pherfformiad y BDSI a CAIDE ar gyfer rhagweld 2-blwyddyn o achosion o ddementia.

Perfformiad Model ar draws Isdeipiau Dementia

Gall amrywiaeth o achosion achosi dementia, sy'n cyfateb i wahanol isdeipiau dementia. Er mwyn asesu gallu'r modelau ML i nodi gwahanol isdeipiau dementia, rhannwyd yr achosion o ddementia digwyddiad yn Alzheimer dementia, LBD, dementia fasgwlaidd, ac isdeipiau dementia eraill. Gan ddefnyddio'r 4 haeniad hyn, fe wnaethom gyfrifo canran y cyfranogwyr a ddosbarthwyd yn gywir (cyfradd wir-bositif) a chymharu'r cromliniau ROC ar gyfer pob model ML.

Ymchwiliad i Sefydlogrwydd Diagnostig

Mae’n hysbys bod y diagnosis clinigol o ddementia yn cynnwys cleifion sy’n cael camddiagnosis i ddechrau (gwallau ffug-bositif a ffug-negyddol i bob pwrpas).31 Rydym yn diffinio gwrthdroad fel pan fydd cyfranogwr a gafodd ddiagnosis o ddementia hyd at 2 flynedd ar ôl eu hymweliad cyntaf â chlinig cof. ac wedyn yn cael diagnosis o ddim dementia (naill ai MCI neu wybyddiaeth heb nam) o fewn 2 flynedd i'w diagnosis dementia. Gan resymu bod y rifersiynau hyn yn ddiagnosis ansefydlog ac yn debygol o fod o ganlyniad i gamddiagnosis dementia, gwnaethom ymchwilio i gywirdeb dosbarthiad modelau ML mewn sampl o gyfranogwyr â gwrthdroad (eMethods in the Supplement). Fe ddefnyddion ni’r swyddogaeth ddosbarthu gronnus (CDF) o allbwn sgoriau dosbarthu yn ôl pob model ML i gymharu cyfranogwyr â gwrthdroad â chleifion a oedd wedi datblygu dementia a chleifion a oedd yn parhau i fod yn rhydd o ddementia.

Canlyniadau

Ar ôl eithrio {{0}} mynychwyr â diagnosis o ddementia yn y llinell sylfaen, 4557 o fynychwyr nad oedd ganddynt unrhyw ddata dilynol, a 573 o fynychwyr a gafodd eu apwyntiad dilynol cyntaf fwy na 29 mis ar ôl eu hymweliad cyntaf , roedd y sampl ddadansoddol olaf yn cynnwys 15 307 o gyfranogwyr (oedran cymedrig [SD], 72.3 [9.8] oed; 9129 [60 y cant] o fenywod a 6178 [40 y cant] o ddynion). Dangosir nodweddion enghreifftiol yn Nhabl 1. O fewn 2 flynedd i'r llinell sylfaen, derbyniodd 1568 o gyfranogwyr (10 y cant) ddiagnosis o ddementia. O'r 1568 o gyfranogwyr a gafodd ddiagnosis o ddementia, cafodd 273 (17 y cant) ddiagnosis gan un clinigwr, a chafodd 1216 (78 y cant) ddiagnosis gan banel consensws; ar gyfer 79 o gyfranogwyr (5 y cant ) , nid yw ffynhonnell y diagnosis ei nodi. Rhoddir mesurau perfformiad allweddol sy'n asesu pŵer rhagfynegol pob model yn Nhabl 2. O'u cymharu â modelau presennol, roedd modelau ML yn well yn eu gallu i ragweld a fyddai unigolyn yn datblygu dementia o fewn 2 flynedd, ac fe wnaethant berfformio'n well na'r modelau presennol ar bob mesur. Perfformiodd pob model ML yr un mor dda, gyda XGB â'r pŵer mwyaf o'i fesur yn ôl cywirdeb cyffredinol (92 y cant ) ac AUC (cymedr [SD], 0.92 [0.01]). Mae cromlin nodwedd weithredu'r derbynnydd ar gyfer pob model yn dangos y tebygrwydd rhwng y modelau ML a'u rhagoriaeth o'u cymharu â'r 2 fodel risg presennol (Ffigur 1).

Perfformiad Model ar draws Isdeipiau Dementia

Er mwyn asesu perfformiad model ML mewn gwahanol isdeipiau dementia, rhannwyd y boblogaeth yn 4 isdeip dementia: dementia Alzheimer (1285 o gyfranogwyr), LBD (82 o gyfranogwyr), dementia fasgwlaidd (21 o gyfranogwyr), ac isdeipiau dementia eraill (180 o gyfranogwyr). Y model LR oedd orau am nodi dementia Alzheimer ac isdeipiau eraill, gan ddosbarthu 589 o gyfranogwyr (46 y cant) yn gywir â dementia Alzheimer a 99 o gyfranogwyr (55 y cant) ag isdeipiau eraill. Perfformiodd y model SVM orau ar gyfranogwyr â LBD, gan ddosbarthu 40 o gyfranogwyr yn gywir (49 y cant ). Dosbarthodd pob model yn gywir 7 o gyfranogwyr (33 y cant) â dementia fasgwlaidd. Mae cromliniau nodweddion gweithredu derbynnydd yn dangos bod pob model wedi perfformio fwy neu lai yr un mor dda ar bob isdeip (eFfigur 1 yn yr Atodiad).

Ymchwilio i Isafswm Nifer y Newidynnau

Un anfantais bosibl o ddefnyddio dull ML yw'r nifer fawr o newidynnau dan sylw. Wrth i nifer y newidynnau sydd eu hangen ar fodel gynyddu, mae gweithredu mewn lleoliad clinigol yn dod yn llai ymarferol ac amharir ar ddehongliad y model. Er mwyn asesu faint o newidynnau yr oedd eu hangen ar bob model ML i gyflawni'r pŵer rhagfynegol cyfatebol i'r hyn a welsom gan ddefnyddio pob un o'r 258 o newidynnau (Tabl 2), gwnaethom werthuso sut roedd AUC yn amrywio gyda nifer y newidynnau a gynhwyswyd yn y modelau. Yn benodol, fe wnaethom raddio'r newidynnau ar gyfer pob model trwy eu didoli yn nhrefn eu pwysigrwydd ddisgynnol (hy, pŵer gwahaniaethol pob newidyn yn ôl yr algorithm; eMethods in the Supplement). Wedi hynny, fe wnaethom ailhyfforddi pob model gyda nifer cynyddol o newidynnau, gan ddechrau gyda'r rhai pwysicaf. Canfuom mai dim ond 22 o newidynnau yr oedd eu hangen ar bob model i gyflawni perfformiad diagnostig nad oedd modd gwahaniaethu rhyngddynt yn ystadegol â'u perfformiad cymedrig gorau posibl (Ffigur 2; eFfigur 2 yn yr Atodiad). Nid oedd y newidynnau synthetig a ychwanegwyd i sicrhau dilysrwydd asesiad pwysigrwydd newidiol yn y 22 newidyn uchaf ar gyfer unrhyw fodel, sy'n adlewyrchu'r ffaith nad oedd llawer o wybodaeth ar ôl cyrraedd y perfformiad diagnostig llawn i benderfynu'n gryf ar safle'r newidyn.

Nodi Ffactorau Risg Allweddol

O'r 22 o newidynnau pwysicaf ar gyfer pob model, dim ond 5 oedd yn gyffredin i bob model (hy, barn glinigol o ddirywiad yn y cof, galluoedd gwybyddol, ymddygiad, gallu i reoli materion, neu newidiadau echddygol a symudiad; amser i gwblhau Prawf Gwneud Llwybr Rhan B; CDR: nam cyfeiriadedd; CDR: nam cartref a hobïau; a lefel annibyniaeth). O'r newidynnau sy'n weddill, roedd 10 pâr a oedd â chydberthynas yn fwy na 0.7, sy'n nodi eu bod yn newidynnau tebyg (eTabl 3 yn yr Atodiad). Gan gyfrif am y gydberthynas hon trwy gyfnewid newidynnau a oedd yn gydberthynol iawn, canfuom fod 6 newidyn rhagfynegol iawn (dyfarniad clinigol o ddirywiad, amser i gwblhau Prawf Gwneud Llwybr Rhan B, 3 cydran o'r CDR [cyfeiriadedd, cof, a chartref a hobïau nam], a lefel annibyniaeth) a oedd yn gyffredin i bob model ML (eTabl 4 yn yr Atodiad). Gan hyfforddi pob model gan ddefnyddio'r newidynnau hyn yn unig, canfuom ar gyfer LR ac XGB, nad oedd unrhyw ostyngiad sylweddol mewn perfformiad diagnostig: gan ddefnyddio'r set graidd hon o 6 newidyn, roedd gan y modelau hyn gywirdeb cymedrig (SD) o 91 y cant (0 y cant ) ar gyfer LR a 91 y cant (1 y cant ) ar gyfer XGB a chymedrig (SD) AUC o 0.89 (0.{20}}1) ar gyfer LR a 0.89 (0.02) ar gyfer XGB (eTabl 5 yn yr Atodiad).

Sefydlogrwydd Diagnostig

O'r 1568 o gyfranogwyr a gafodd ddiagnosis o ddementia o fewn 2 flynedd, fe wnaethom nodi bod 130 (8 y cant ) yn profi gwrthdroad a oedd yn debygol o gael eu camddiagnosio i ddechrau ac felly wedi'u cam-labelu at ddibenion ML. Canfuom, er mai dim ond mewn 0.8 y cant o'r cyfranogwyr yr adroddwyd am rifersiynau, eu bod yn cyfrif am 92 i 109 o gyfranogwyr (7 y cant -8 y cant ) o gyfranogwyr camddosbarthedig, gydag ychydig bach o amrywiad rhwng modelau (Tabl 3). Roedd gan y model RF y sefydlogrwydd diagnostig uchaf, gan nodi'n gywir 109 o'r 130 o gyfranogwyr â gwrthdroad (84 y cant ) trwy eu dosbarthu fel y rhagfynegwyd i fod yn rhydd o ddementia ar ôl 2 flynedd. Er mwyn ymchwilio i sefydlogrwydd diagnostig modelau ML, fe wnaethom ddileu'r cyfranogwyr gyda dychweliad yn ystod hyfforddiant (eMethods in the Supplement). Ar ôl ailhyfforddi'r modelau heb rifersiynau, canfuom fod RF wedi nodi 106 o gyfranogwyr a brofodd rifersiynau (canolrif [IQR], 82 y cant [78 y cant -82 y cant ]), nododd SVM 93 o gyfranogwyr a brofodd rifersiynau (canolrif [IQR], Nododd 72 y cant [69 y cant -74 y cant ]), a LR a XGB 92 o gyfranogwyr a brofodd rifersiynau (canolrif [IQR], 71 y cant [68 y cant -75 y cant ]). Cafwyd IQRs trwy roi hwb i gyfranogwyr a brofodd rifersiwn.

Er mwyn deall y gwahaniaeth rhwng cyfranogwyr sydd wedi'u camddosbarthu, cyfranogwyr â gwrthdroad, a chyfranogwyr a ddatblygodd ddementia heb wrthdroi, dadansoddwyd y CDFs o sgoriau dosbarthu a gafwyd o bob model ML. Canfuom fod y sgorau o gyfranogwyr wedi'u camddosbarthu, a chyfranogwyr penodol â gwrthdroad, yn wahanol i gyfranogwyr a ddatblygodd ddementia a'r rhai nad oeddent wedi datblygu (eFfigur 3 yn yr Atodiad). Disgynnodd y CDF o sgoriau dosbarthu ar gyfer cyfranogwyr na ddatblygodd ddementia i ochr chwith pellaf pob plot, gan ddangos bod y modelau ML wedi rhoi tebygolrwydd isel i'r cyfranogwyr hyn o ddatblygu dementia. I'r gwrthwyneb, ar gyfer cyfranogwyr a ddatblygodd ddementia, disgynnodd y CDFs i'r dde o'r lleiniau: rhoddwyd tebygolrwydd uchel o ddatblygu dementia iddynt. Ar gyfer pob model, disgynnodd dosbarthiad y sgorau ar gyfer cyfranogwyr â gwrthdroad i'r chwith o'r rhai ar gyfer cyfranogwyr a ddatblygodd ddementia, sy'n golygu yr aseswyd bod cyfranogwyr â gwrthdroad yn llai tebygol o ddatblygu dementia yn ôl y modelau hyn.

Trafodaeth

Yn yr astudiaeth brognostig hon, roedd gan algorithmau ML gywirdeb prognostig uwch o gymharu â BDSI a CAIDE o ran rhagweld mynychder dementia o fewn 2 flynedd i asesiad clinig cof cyntaf claf. Aseswyd dau o'r algorithmau ML i gyflawni cywirdeb o 91 y cant ac AUC o 0.89 gyda dim ond 6 newidyn allweddol. Mae dadansoddiadau sensitifrwydd yn awgrymu y gallai modelau ML ddosbarthu'n gywir gyfran uchel o'r cyfranogwyr a brofodd rifersiwn a allai gael eu camddiagnosio o fewn 2 flynedd i'w hymweliad cychwynnol. Mae gan yr astudiaeth hon nifer o gryfderau, gan gynnwys y sampl fawr o gleifion sy'n deillio o glinigau cof lluosog ar draws yr Unol Daleithiau, yr ystod eang o dechnegau ML a ddefnyddir, y meincnodi yn erbyn modelau risg presennol, ac archwilio sefydlogrwydd diagnostig a chamddiagnosis tebygol.

Mae astudiaethau blaenorol i'r defnydd o ML ar gyfer rhagweld risg dementia wedi canolbwyntio ar drawsnewid o wybyddiaeth heb nam i Alzheimer dementia neu MCI,6,8 neu drosi o MCI i Alzheimer dementia.5 Mae'r dulliau hyn yn llai defnyddiol mewn lleoliad clinigol, gan eu bod yn eithrio mathau eraill o ddementia5,6,8 neu gleifion nad oes ganddynt nam gwybyddol i ddechrau.5 Roedd y data a ddefnyddiwyd yn yr astudiaethau hyn yn cynnwys sganiau tomograffi allyriadau positron,5,8 a biomarcwyr hylif serebro-sbinol,8 nad ydynt ar gael yn gyffredin mewn clinig cof. Llwyddodd astudiaeth gan Lin et al6 i oresgyn hyn trwy ddefnyddio data NACC i ddod o hyd i set o 15 o newidynnau clinigol anfewnwthiol i asesu'r risg o drawsnewid o wybyddiaeth heb nam i MCI mewn cyfnod o 4-flwyddyn. Fodd bynnag, mae lluniad MCI yn parhau i fod braidd yn ddadleuol,32, ac mae cyfraddau trosi rhwng MCI a dementia yn aml yn isel.32,33 Mae ein modelau ML yn ategu'r dadansoddiadau hyn ac mae ganddynt y fantais o ymgorffori dim ond 6 newidyn allweddol dros amserlen glinigol berthnasol a rhagfynegi'r canlyniad dementia pob achos.

O’r modelau presennol yr ymchwiliwyd iddynt yn ein hastudiaeth, model CAIDE oedd y lleiaf cywir o ran rhagweld risg dementia dros 2 flynedd, ac nid yw hynny’n syndod, o ystyried ei fod wedi’i ddatblygu i ragfynegi risg dementia hirdymor mewn oedolion canol oed dros gyfnod hwy o lawer. cyfnod dilynol o 20 mlynedd. Perfformiodd y BDSI yn well na'r CAIDE, gan adlewyrchu'n debygol ei fod wedi'i gynllunio i'w ddefnyddio mewn oedolion hŷn dros gyfnod dilynol mwy cymedrol o 6 blynedd. Fodd bynnag, perfformiodd pob model ML yn well na'r modelau presennol hyn. Gan ddefnyddio'r holl newidynnau, XGB oedd y dull ML mwyaf pwerus wrth ragweld cleifion a oedd yn debygol o gael diagnosis o ddementia o fewn 2 flynedd, gan awgrymu bod y ffordd y mae coed penderfyniadau newydd yn cael eu hyfforddi i gywiro gwallau'r tri olaf yn arwain at berfformiad ymylol. ennill. Fodd bynnag, roedd yn ymddangos mai XGB hefyd oedd y dull a oedd leiaf abl i nodi cyfranogwyr a brofodd wrthdroi, hy y rhai a gafodd ddiagnosis cychwynnol o ddementia o fewn 2 flynedd ac y cafodd y diagnosis hwnnw ei wrthdroi o fewn 2 flynedd i'r diagnosis cychwynnol.

Gall perfformiad modelau ML gael ei leihau'n sylweddol gan ddata hyfforddi wedi'i gamlabelu.34 Yn wrthreddfol, nid yw eithrio data hyfforddi sydd wedi'i gamlabelu bob amser yn gwella'r perfformiad.35 Wrth i lefel y sŵn yn y data hyfforddi gynyddu, mae gwerth eithrio neu leihau'r sŵn hwnnw'n lleihau os mae'r un sŵn yn bresennol yn y data dilysu.36 Felly, gall hidlo data hyfforddi hyd yn oed leihau data annilysu perfformiad, fel y canfuwyd yn yr astudiaeth hon. Fodd bynnag, pan fo lefel y camlabelu yn llai nag oddeutu 20 y cant i 40 y cant , gall dileu data sydd wedi'i gam-labelu wella cywirdeb data dilysu, hyd yn oed os yw hynny'n ymgorffori data wedi'i gam-labelu.35,37,38 Mae hyn yn dangos pwysigrwydd ymchwilio i sefydlogrwydd diagnostig yn yr hyfforddiant a data dilysu: hyd yn oed maen prawf data safonol yn ymgorffori gwallau.

Roedd y gyfradd ddychwelyd a arsylwyd (8 y cant) yn debyg i'r hyn a ganfuwyd mewn astudiaeth yn 2019 yn seiliedig ar boblogaeth wahanol yn yr UD.31 Yn ein hastudiaeth, canfuwyd bod canran y positifau ffug yn amrywio o 7 y cant i 19 y cant, yn dibynnu ar y gwybyddol asesiad a ddefnyddir. Hyd y gwyddom, dyma'r dadansoddiad cyntaf o gamddiagnosis posibl yn UDS NACC ac mae'n awgrymu bod gan ddefnyddio ML fel cymorth gwneud penderfyniadau clinigol y potensial i leihau camddiagnosis o bethau positif ffug hyd at 84 y cant. O ystyried bod cleifion sy’n profi dychweliad yn ymylol mewn ystyr ddiagnostig, o safbwynt clinigol, gall fod yn synhwyrol eu dilyn beth bynnag, o ystyried bod sail i bryder clinigol. Felly, efallai mai XGB yw'r model gorau ar gyfer cymorth gwneud penderfyniadau clinigol. Fel arall, gallai dull ensemble sy'n gwneud rhagfynegiadau eilaidd am sefydlogrwydd diagnostig tebygol a'r potensial ar gyfer camddosbarthu fod hyd yn oed yn fwy defnyddiol.

Cyfyngiadau

Mae gan yr astudiaeth hon nifer o gyfyngiadau. Yn gyntaf, datblygwyd CAIDE a BDSI gan ddefnyddio poblogaethau gwahanol i'r un a ddefnyddiwyd yn yr astudiaeth hon. Nid oedd gan bob newidyn a ddefnyddiwyd ar gyfer datblygu'r modelau hyn union gyfwerth yn yr UDS a allai fod wedi effeithio ar eu perfformiad yn y set ddata hon. Yn ail, gall y dull a ddefnyddir i briodoli'r data arwain at wall priodoli. Yn benodol, mae'r priodoliad yn disodli pob gwerth coll gyda gwerth rhifiadol, ond mae rhai gwerthoedd ar goll oherwydd eu perthynas â gwerth arall; felly, mae'r ffaith bod gwerth ar goll yn addysgiadol. Fodd bynnag, er bod gan gyfranogwyr gymedr o 14 y cant o ddata coll, roedd y 6 newidyn allweddol a nodwyd ar goll ar gyfer cymedr o 1 y cant o gyfranogwyr. Yn drydydd, er bod ein hastudiaeth wedi defnyddio sampl fawr o fynychwyr clinig cof yn yr Unol Daleithiau, gan wneud ein canlyniadau'n hynod berthnasol i'r lleoliad hwn, nid yw'n hysbys i ba raddau y bydd y canlyniadau hyn yn cyffredinoli i boblogaethau eraill.

Casgliadau

Canfu’r astudiaeth brognostig hon fod modelau ML wedi perfformio’n well na modelau rhagfynegi risg dementia presennol ac efallai fod ganddynt y potensial i wella rhagfynegiad o ddementia digwyddiad dros 2 flynedd mewn clinigau cof. Gallai chwe ffactor allweddol ar gyfer risg dementia a nodir yn yr astudiaeth hon fod â’r potensial i wella arfer clinigol mewn clinigau cof os cânt eu hymgorffori mewn cymhorthion gwneud penderfyniadau clinigol yn y dyfodol.

CYFEIRIADAU

1. Hejl A, Høgh P, Waldemar G. Cyflyrau a allai fod yn wrthdroadwy mewn 1000 o gleifion clinig cof olynol. J Seiciatreg Neurol Neurosurg.

2. Mitchell AJ, Shiri-Feshki M. Cyfradd dilyniant nam gwybyddol ysgafn i ddementia—meta-ddadansoddiad o 41 o astudiaethau carfan sefydlu cadarn. Sgand Seiciatr Acta. 2009; 119(4):252-265.

3. Barnes DE, Beiser AS, Lee A, et al. Datblygu a dilysu dangosydd sgrinio dementia byr ar gyfer gofal sylfaenol. Dement Alzheimer. 2014; 10(6):656-665.e1. doi: 10.1016/j.jalz.2013.11.006

4. Kivipelto M, Ngandu T, Laatikainen T, Winblad B, Soininen H, Tuomilehto J. Sgôr risg ar gyfer rhagfynegi risg dementia mewn 20 mlynedd ymhlith pobl ganol oed: astudiaeth hydredol, seiliedig ar boblogaeth. Lancet Neurol. 2006; 5(9):735-741. doi:10.1016/S1474-4422(06)70537-3

5. Cui Y, Liu B, Luo S, et al; Menter Niwroddelweddu Clefyd Alzheimer. Nodi trosi o nam gwybyddol ysgafn i glefyd Alzheimer gan ddefnyddio rhagfynegyddion aml-amrywedd. PLoS Un.

6. Lin M, Gong P, Yang T, Ye J, Albin RL, Dodge HH. Dulliau dadansoddi data mawr i set ddata NACC: cynorthwyo cyfoethogi treialon cyn-glinigol. Alzheimer Disord Assoc. 2018; 32(1):18-27.

7. Parc JH, Cho HE, Kim JH, et al. Rhagfynegiad dysgu peirianyddol o nifer yr achosion o glefyd Alzheimer gan ddefnyddio data iechyd gweinyddol ar raddfa fawr. NPJ Digid Med. 2020; 3(1):46.

8. Zhan Y, Chen K, Wu X, et al; Menter Niwroddelweddu Clefyd Alzheimer. Adnabod trosiad o wybyddiaeth henoed arferol i glefyd Alzheimer gan ddefnyddio peiriant fector cymorth amlfodd.J Alzheimers Dis. 2015; 47(4):1057-1067.

9. Burgos N, Colliot O. Dysgu peirianyddol ar gyfer dosbarthu a rhagfynegi clefydau'r ymennydd: datblygiadau diweddar a heriau sydd ar ddod. Curr Opin Neurol. 2020; 33(4):439-450.

10. Beekly DL, Ramos EM, Lee WW, et al; NIA Canolfannau Clefyd Alzheimer. Cronfa ddata Canolfan Gydgysylltu Genedlaethol Alzheimer (NACC): y Set Ddata Unffurf. Alzheimer Disord Assoc. 2007; 21(3):249-258.

11. Sefydliad Cenedlaethol ar Heneiddio. Canolfannau Ymchwil Clefyd Alzheimer. Cyrchwyd Mai 21, 2021.

12. Pfeffer RI, Kurosaki TT, Harrah CH Jr, Chance JM, Filos S. Mesur gweithgareddau swyddogaethol mewn oedolion hŷn yn y gymuned. J Gerontol. 1982; 37(3):323-329.

13. Kaufer DI, Cummings JL, Ketchel P, et al. Dilysu'r NPI-Q, ffurf glinigol gryno o'r Rhestr Niwroseiciatrig. J Niwroseiciatreg Clin Neurosci. 2000; 12(2):233-239.

14. Weintraub S, Eog D, Mercaldo N, et al. Set Ddata Unffurf (UDS) y Canolfannau Clefyd Alzheimer: y batri prawf niwroseicolegol. Alzheimer Disord Assoc. 2009; 23(2):91-101.

15. Morris JC, Weintraub S, Chui HC, et al. Y Set Ddata Unffurf (UDS): newidynnau clinigol a gwybyddol a data disgrifiadol o Ganolfannau Clefyd Alzheimer. Alzheimer Disord Assoc. 2006; 20(4):210-216.

16. McKhann G, Drachman D, Folstein M, Katzman R, Price D, Stadlan EM. Diagnosis clinigol o glefyd Alzheimer: adroddiad Gweithgor NINCDS-ADRDA dan nawdd Tasglu'r Adran Iechyd a Gwasanaethau Dynol ar Glefyd Alzheimer. Niwroleg. 1984; 34(7):939-944.

17. Román GC, Tatemichi TK, Erkinjuntti T, et al. Dementia fasgwlaidd: meini prawf diagnostig ar gyfer astudiaethau ymchwil: adroddiad Gweithdy Rhyngwladol NINDS-AIREN. Niwroleg. 1993; 43(2):250-260.

18. McKeith IG, Dickson DW, Lowe J, et al; Consortiwm ar DLB. Diagnosis a rheoli dementia gyda chyrff Lewy: trydydd adroddiad y Consortiwm DLB. Niwroleg.

19. Neary D, Snowden JS, Gustafson L, et al. Dirywiad lobar frontotemporal: consensws ar feini prawf diagnostig clinigol. Niwroleg. 1998; 51(6):1546-1554.

20. Martínez-Martín P, Gil-Nagel A, Gracia LM, Gómez JB, Martínez-Sarriés J, Bermejo F; Y Grŵp Amlganolog Cydweithredol. Nodweddion a strwythur graddfa graddio clefyd Parkinson unedig. Anhwylder Mov. 1994; 9 (1):76-83.

21. Morris JC. Graddfa Dementia Clinigol: mesur diagnostig a chyfnodau dibynadwy a dilys ar gyfer dementia o'r math Alzheimer. Int Seicgeriatr. 1997; 9(S1)(cyflenwad 1):173-176.

22. Hastie T, Tibshirani R, Friedman J. Elfennau Dysgu Ystadegol: Cloddio Data, Casgliad a Rhagfynegiad. Gwyddoniaeth a Chyfryngau Busnes Springer; 2009.

23. Hosmer Jr DW, Lemeshow S, Sturdivant RX. Atchweliad Logisteg Cymhwysol. John Wiley a'i Feibion; 2013.

24. Cortes C, Vapnik V. Cefnogi-fector rhwydweithiau. Mach Dysgwch. 1995; 20(3):273-97. doi: 10.1007/BF00994018

25. Breiman L. Coedwigoedd ar hap. Mach Dysgwch. 2001; 45(1):5-32. doi: 10.1023/A: 1010933404324

26. Ho TK. Coedwigoedd penderfyniad ar hap. Yn: Trafodion y 3edd Gynhadledd Ryngwladol ar Ddadansoddi a Chydnabyddiaeth Dogfennau. IEEE; 1995:278-282.

27. Friedman JH. Hwb graddiant stochastig. Dadansoddi Data Ystadegau Cyfrifiadurol. 2002; 38(4):367-78.

28. Pedregosa F, Varoquaux G, Gramfort A, et al, Scikit-lean: dysgu peirianyddol yn Python. J Mach Dysgwch Res. 2011; 12:2825-2830.

29. Krzanowski WJ, Llaw DJ. Cromliniau ROC ar gyfer Data Parhaus. Gwasg CRC; 2009.

30. Fawcett, T. Cyflwyniad i ddadansoddiad ROC. Cydnabod Patrwm Lett. 2006; 27(8):861-874. doi: 10.1016/j. Patric.2005.10.010

31. Ranson JM, Kuźma E, Hamilton W, Muniz-Terrera G, Langa KM, Llewellyn DJ. Rhagfynegwyr camddosbarthiad dementia wrth ddefnyddio asesiadau gwybyddol byr. Ymarfer Neurol Clin. 2019; 9(2):109-117.

32. Bruscoli M, Lovestone S. Ai dementia cynnar yw MCI mewn gwirionedd: adolygiad systematig o astudiaethau trosi. Int Seicgeriatr. 2004; 16(2):129-140.

33. Farias ST, Mungas D, Reed BR, Harvey D, DeCarli C. Datblygiad nam gwybyddol ysgafn i ddementia yn y clinigau yn erbyn carfannau cymunedol. Arch Neurol. 2009; 66(9):1151-1157.

34. Guan D, Yuan W, Ma T, Khattak AC, Chow F. Dileu data hyfforddi sydd wedi'i gamlabelu yn sensitif i gost. Inf Sci. 2017; 402:170-81.

35. Brodley CE, Friedl MA. Nodi data hyfforddi wedi'i gam-labelu.J Artif Intelligence Res.

36. Quinlan JR. Sefydlu coed penderfynu. Mach Dysgwch. 1986; 1(1):81-106.

37. Brodley CE, Friedl MA. Nodi a dileu achosion hyfforddi sydd wedi'u cam-labelu. Yn: AAAI '96: Trafodion y Drydedd Gynhadledd Genedlaethol ar Ddeg ar Ddeallusrwydd Artiffisial. AAAI; 1996:799-805.

38. Brodley CE, Friedl MA. Gwella’r gwaith o fapio gorchudd tir awtomataidd drwy nodi a dileu arsylwadau sydd wedi’u cam-labelu o ddata hyfforddi. Yn: IGARSS '96: 1996 Geowyddoniaeth Ryngwladol a Symposiwm Synhwyro o Bell. IEEE;1996:1379-1381.