Archwilio Trawsnewidyddion Gweledigaeth Hunan Oruchwyliaeth Ar Gyfer Cydnabod Cerdded yn y Gwyllt Rhan 1

Crynodeb:

Mae'r dull o gerdded (cerdded) yn fiometrig pwerus a ddefnyddir fel dull olion bysedd unigryw, sy'n caniatáu i ddadansoddeg ymddygiadol anymwthiol gael ei berfformio o bell heb gydweithrediad gwrthrychol.

Gwyddom oll fod ymarfer corff yn helpu iechyd da. Yn ogystal â hyn, mae ymarfer corff hefyd yn helpu i wella cof. Cerdded yw'r math symlaf a hawsaf o ymarfer corff i'w ymarfer, ac mae llawer o bobl yn mwynhau ymlacio wrth gerdded neu loncian. Nawr, mae mwy o ymchwil yn dangos bod cerdded yn gwneud pethau pwerus i'r ymennydd.

Yn gyntaf, mae cerdded yn ysgogi system nerfol yr ymennydd, sy'n helpu i gryfhau swyddogaeth yr ymennydd. Pan fydd y corff yn symud, mae cyfradd ein calon a llif y gwaed yn cynyddu, sydd hefyd yn ysgogi'r ymennydd i gynhyrchu mwy o niwronau a synapsau. Gall y cysylltiadau rhwng y niwronau a'r synapsau hyn greu rhwydweithiau niwral newydd a phrosesau meddwl cyflymach.

Yn ail, gall cerdded leddfu straen a phryder, sy'n bwysig iawn ar gyfer gwella cof. Pan fydd y meddwl a'r corff mewn cyflwr o densiwn, iselder, neu bryder, mae'r ymennydd yn rhyddhau hormon o'r enw cortisol. Mae cortisol yn niweidio niwronau a synapsau yn yr ymennydd, a all arwain at golli cof. Mae cerdded yn lleddfu straen a phryder, yn lleihau cynhyrchiant cortisol yn y corff, ac yn helpu i gynnal niwronau a synapsau iach.

Yn olaf, mae cerdded yn cynyddu cylchrediad y gwaed i'r ymennydd. Mae rhai astudiaethau'n dangos y gall cylchrediad gwaed da helpu i wella cof. Wrth i ni heneiddio, mae pibellau gwaed yn yr ymennydd yn mynd yn rhwystredig yn raddol, gan arwain at gyflenwad ocsigen annigonol i'r ymennydd. Gall cerdded wella iechyd y galon, gan ganiatáu i'r galon gyflenwi ocsigen a maetholion i'r ymennydd yn fwy effeithiol, gan hyrwyddo cof a swyddogaeth yr ymennydd.

Felly, mae cerdded yn ffordd wych o ymarfer corff i'r hen a'r ifanc. Yn ogystal â gwella iechyd corfforol, gall cerdded hefyd helpu i wella cof. Gadewch inni gerdded pellter bob dydd i wneud ein hunain yn iachach ac yn well! Gellir gweld bod angen i ni wella cof, a gall Cistanche deserticola wella cof yn sylweddol oherwydd bod Cistanche deserticola yn ddeunydd meddyginiaethol Tsieineaidd traddodiadol sydd â llawer o effeithiau unigryw, ac un ohonynt yw gwella cof. Mae effeithiolrwydd briwgig yn dod o'r gwahanol gynhwysion gweithredol sydd ynddo, gan gynnwys asid, polysacaridau, flavonoidau, ac ati. Gall y cynhwysion hyn hybu iechyd yr ymennydd mewn gwahanol ffyrdd.

Cliciwch gwybod 10 ffordd i wella cof

Yn hytrach na dulliau dilysu biometrig mwy traddodiadol, nid yw dadansoddiad cerddediad yn gofyn am gydweithrediad penodol y pwnc a gellir ei berfformio mewn lleoliadau cydraniad isel, heb ei gwneud yn ofynnol i wyneb y gwrthrych fod yn ddirwystr/gweladwy. Mae'r rhan fwyaf o ddulliau cyfredol yn cael eu datblygu mewn lleoliad rheoledig, gyda data glân, safon aur anodedig, a ysgogodd ddatblygiad pensaernïaeth niwral ar gyfer adnabod a dosbarthu.

Dim ond yn ddiweddar y mae dadansoddiad cerddediad wedi mentro i ddefnyddio setiau data mwy amrywiol, ar raddfa fawr a realistig i rwydweithiau sydd wedi'u hyfforddi ymlaen llaw mewn modd hunan-oruchwyliol. Mae trefn hyfforddi hunan-oruchwyliol yn galluogi dysgu cynrychioliadau cerddediad amrywiol a chadarn heb anodiadau dynol drud. Wedi'i ysgogi gan y defnydd hollbresennol o'r model trawsnewid ym mhob maes dysgu dwfn, gan gynnwys gweledigaeth gyfrifiadurol, yn y gwaith hwn, rydym yn archwilio'r defnydd o wahanol bensaernïaeth trawsnewidydd gweledigaeth a gymhwysir yn uniongyrchol i adnabod cerddediad hunan-oruchwyliol.

Rydym yn addasu ac yn ailhyfforddi'r ViT syml, CaiT, CrossFormer, Token2Token, a TwinsSVT ar ddwy set ddata cerddediad ar raddfa fawr wahanol: GREW a DenseGait. Rydym yn darparu canlyniadau helaeth ar gyfer ergyd sero a mireinio ar ddwy set ddata adnabod cerddediad meincnod, CASIA-B a FVG, ac yn archwilio'r berthynas rhwng faint o wybodaeth cerddediad gofodol ac amser a ddefnyddir gan y trawsnewidydd gweledol.

Mae ein canlyniadau'n dangos bod dylunio modelau trawsnewidyddion ar gyfer prosesu mudiant yn defnyddio dull hierarchaidd (hy, modelau CrossFormer) ar ffeiriau symud mwy manwl yn gymharol well na dulliau sgerbwd cyfan blaenorol.

Geiriau allweddol:

adnabod cerddediad; dilysu biometrig; trawsnewidydd gweledigaeth; amcangyfrif ystum; dysgu hunanarolygol; dysgu cyferbyniol.

1. Rhagymadrodd

Mae sut rydym yn symud yn cynnwys cliwiau arwyddocaol amdanom ein hunain. Yn benodol, mae ein cerddediad (modd cerdded) wedi'i astudio'n agos mewn meddygaeth [1], seicoleg [2], a gwyddor chwaraeon [3]. Yn ddiweddar, mae dadansoddiad cerddediad wedi cael mwy o sylw [4,5] gan y gymuned gyfrifiadureg yn cyd-daro â chynnydd esbonyddol dysgu dwfn ac argaeledd eang caledwedd cyfrifiadurol.

Mae systemau dadansoddi cerddediad wedi'u pweru gan AI wedi gallu adnabod pynciau yn llwyddiannus [6-10], amcangyfrif demograffeg fel rhyw ac oedran [11], ac amcangyfrif priodoleddau allanol fel dillad [12], heb ddefnyddio unrhyw giwiau ymddangosiad allanol. Nid yw'r canlyniadau hyn yn syndod, o ystyried y nifer fawr o wahaniaethau unigol mewn cerddediad, sy'n deillio o wahaniaethau mewn strwythur cyhyrysgerbydol, ffactorau genetig ac amgylcheddol, yn ogystal â chyflwr emosiynol a phersonoliaeth y cerddwr [13].

Dim ond mewn amgylcheddau dan reolaeth dan reolaeth y mae systemau presennol yn cael eu hyfforddi a'u profi. Mae'r rhan fwyaf o ddulliau'n defnyddio set ddata CASIA-B [6] fel y meincnod safonol ar gyfer modelau adnabod cerddediad, sy'n cynnwys 124 o bynciau yn cerdded dan do mewn modd a reolir yn llym wedi'i ddal gyda chamerâu lluosog. Ni all cymhlethdod yn y byd go iawn gael ei fodelu'n llawn gan senarios mor gynnil. Dim ond yn ddiweddar y canolbwyntiwyd ar fodelu cerddediad "yn y gwyllt", gyda setiau data fel DenseGait [12], GREW [7], a Gait3D [14].

Mae casglu set ddata ar raddfa fawr sy’n lân ac wedi’i hanodi’n llawn yn ymdrech aruthrol o ran adnoddau ariannol a’r amser a neilltuwyd. Yn ôl y sôn, cymerodd set ddata GREW [7] 3 mis o waith parhaus i’w gasglu a’i anodi. Er bod dulliau o'r fath wedi bod yn ddefnyddiol wrth ddatblygu saernïaeth niwral ar gyfer prosesu cerddediad [8,9], nid ydynt yn ddigon amrywiol i gael eu defnyddio'n iawn mewn amgylcheddau byd go iawn mwy hamddenol.

Mae'r gymuned AI wedi bod yn symud yn araf oddi wrth y dull hwn mewn meysydd eraill, gyda dulliau ar gyfer dysgu hunan-oruchwylio ar gyfer gweledigaeth [15] ac iaith [16] yn ennill tyniant sylweddol ac yn aml yn rhagori ar ddulliau traddodiadol dan oruchwyliaeth. Dangosodd cynnydd diweddar mewn dysgu hunan-oruchwylio fod modelau hunan-oruchwylio yn fwy cadarn ac yn arddangos ymddygiadau newydd, heb eu diffinio’n benodol yn ystod hyfforddiant.

Er enghraifft, dysgodd DINO [17], trawsnewidydd gweledigaeth a hyfforddwyd mewn cyfundrefn hunan-oruchwyliaeth, nodweddion dosbarth-benodol gan alluogi segmentu gwrthrychau heb oruchwyliaeth heb ddefnyddio unrhyw labeli o'r fath yn ystod yr hyfforddiant. Cynigiodd Cosmaand Radoi [10] y dull gwrthgyferbyniol cyntaf ar gyfer dysgu hunan-oruchwylio ar gyfer gaitanalysis, trwy hyfforddi ST-GCN [18] ar fersiwn lai o DenseGait [12]. Cafodd eu dull ganlyniadau rhesymol ar dasgau adnabod cerddediad i lawr yr afon a dangosodd fod cydberthynas gref rhwng maint y set ddata a hyfforddwyd ymlaen llaw a pherfformiad trosglwyddo ergyd sero.

Er bod llawer o ddulliau ar gyfer dadansoddi cerddediad wedi bod yn defnyddio silwetau a dynnwyd o dynnu cefndir [6,8,9], mae echdynnu silwetau mewn senarios gwyliadwriaeth go iawn yn awgrymu defnyddio technegau mwy datblygedig, megis segmentu enghreifftiau [19], sy'n dod â chost gyfrifiadol uchel. Mae dilyniannau o silwetau yn cymryd lle storio sylweddol ac nid ydynt yn ddigon hyblyg i'w defnyddio mewn tasgau cyfagos eraill, megis adnabod gweithgaredd. Ar ben hynny, mae silwetau yn amgodio ciwiau ymddangosiad cynnil, sy'n ei gwneud hi'n aneglur i ba raddau y defnyddir symudiad wrth adnabod [20].

Ar y llaw arall, mae modelau ystumio 2D wedi dod yn fwyfwy cywir ac effeithlon o ran cyfrifiannu [21,22]. Mae sgerbydau'n rhad i'w tynnu, ac ar hyn o bryd yn fwy dibynadwy na rhwyllau 3D ac ystumiau 3D, yn enwedig o bell. Ar ben hynny, mae sgerbydau 2D yn llawer mwy ysgafn na silwetau o ran storio hirdymor.

Mae saernïaeth gyfredol ar gyfer prosesu dilyniannau o sgerbydau yn defnyddio'r strwythur graff gofodol naturiol sy'n bresennol yn y sgerbwd dynol, gan gyflwyno gogwydd anwythol yn nyluniad y model. Mae modelau fel y ST-GCN poblogaidd [18] ac MS-G3D [23] wedi gweld canlyniadau trawiadol ar gyfer adnabod gweithredu yn seiliedig ar sgerbwd.

Ar yr un pryd, bu ffrwydrad yn y defnydd o fodelau trawsnewidyddion ym mron pob maes dysgu dwfn ers eu cais cychwynnol ar gyfer prosesu iaith naturiol.

Ystyrir bod trawsnewidyddion yn bensaernïaeth fwy cyffredinol, gydag ychydig o ragfarnau anwythol. I ddechrau, mae trawsnewidyddion wedi cael trafferth i gydweddu â modelau CNN ar gyfer dosbarthu delweddau [24], ond ar hyn o bryd yn rhagori ar fodelau eraill ac yn dangos canlyniadau addawol mewn senarios hunan-oruchwylio, yn fwy felly na mathau eraill o bensaernïaeth, mae trawsnewidyddion wedi dangos gallu dysgu trawiadol ac ymddygiadau sy'n dod i'r amlwg o dan yr hunan. -goruchwyliaeth [17].

Cosma a Radoi [12] oedd y cyntaf i gynnig GaitFormer, addasiad uniongyrchol o'r model amgodiwr trawsnewidyddion thevision ar gyfer adnabod cerddediad, gan ddefnyddio sgerbydau unigol asinput "clytiau", yn ei hanfod dim ond perfformio sylw amserol, gan anwybyddu sylw gofodol perthynas.

Hyfforddwyd GaitFormer mewn modd hunan-oruchwyliol a rhagorodd ar ddulliau adnabod gaitre eraill hyd yn oed heb unrhyw gyweirio manwl. Mae gwaith blaenorol o'r fath yn galonogol ac yn paratoi'r ffordd ar gyfer astudiaeth fanylach o'r defnydd posibl o saernïaeth trawsnewidyddion ar gyfer dadansoddi cerddediad. A ellir addasu modelau trawsnewidydd gweledigaeth ar gyfer hunan-oruchwylio i ddysgu cynrychioliadau cerddediad sgerbwd?

Y prif fater pensaernïol mewn trawsnewidyddion gweledigaeth yw diffinio'r berthynas briodol rhwng clytiau delwedd, sy'n diffinio gwybodaeth leol a byd-eang. O'i gymhwyso i gerddediad, mae'r dewis o ddimensiynau clwt yn cyfateb i faint o wybodaeth amserol a gofodol wedi'i hamgodio am y dilyniant sgerbwd.

Yn y gwaith hwn, rydym yn cyflwyno astudiaeth helaeth o bum trawsnewidydd golwg gwahanol, wedi'u haddasu ar gyfer adnabod cerddediad. Rydym yn archwilio'r model ViT clasurol [24], CaiT [25], CrossFormer [26], TwinsSVT [27], a ViT tocyn-i-tocyn [28].

Mae pob pensaernïaeth wedi'i hyfforddi ar wahân mewn modd hunan-oruchwyliaeth gwrthgyferbyniol ar ddwy set ddata "yn y gwyllt" ar raddfa fawr o ddilyniannau sgerbwd cerddediad 2D: DenseGait - set ddata a gesglir yn awtomatig o ffrydiau gwyliadwriaeth amrwd, a GREW, set ddata lai sy'n cynnwys anodiadau dynol glân.

Rydym yn archwilio galluoedd trosglwyddo ar draws dwy set ddata reoledig ar gyfer adnabod cerddediad, CASIA [6], a FVG [29]. Ar gyfer pob set ddata, rydym yn dadansoddi trosglwyddiad uniongyrchol (saethiad sero) ac effeithiolrwydd data yn ystod mireinio trwy hyfforddiant gydag is-setiau cynyddol fwy o'r setiau data. Ar ben hynny, rydym yn cynnal astudiaeth abladiad ar y berthynas rhwng dimensiynau gofodol a thymhorol ar gyfer meintiau clytiau ar gyfer SimpleViT a CaiT , yr asgwrn cefn safonol ar gyfer y rhan fwyaf o'r trawsnewidyddion thevision hyd yn hyn.

Trefnir gweddill y papur fel a ganlyn. Rydym yn cynnal trosolwg lefel uchel o weithiau cysylltiedig ar fodelau adnabod cerddediad a thrawsnewidwyr gweledigaeth. Gwelwn fod modelau cynrychiolaeth cerddediad yn elwa'n fawr o hyfforddiant hunan-oruchwyliol i gael ymwreiddio mwy cadarn a chyffredinol, ac mae modelau trawsnewid wedi dangos gallu modelu gwych mewn cyfundrefnau hyfforddi hunan-oruchwyliol.

Ymhellach, rydyn ni'n disgrifio'n fathemategol y pum saernïaeth rydyn ni'n eu meincnodi ac yn disgrifio'r rhagbrosesu data a'r trawsnewidiadau sgerbwd sydd eu hangen i'w perfformio, fel bod yn rhaid i drawsnewidwyr gweledigaeth weithredu'n ddi-dor ar ddilyniannau sgerbwd. Rydym hefyd yn disgrifio ychwanegiadau data, setiau data hyfforddi a meincnodi, a gosodiadau arbrofol.

Rydym yn arddangos canlyniadau ar CASIA-B a FVG ar gyfer pob un o'r pum pensaernïaeth a'r ddwy set ddata 'pretraining in-the-wild'. Yn olaf, rydym yn gwneud astudiaeth abladiad ar y berthynas rhwng maint y darnau gofodol ac amser ac yn rhoi trafodaeth fer ar ein canlyniadau. Rydym yn sicrhau bod ein cod ffynhonnell ar gael i'r cyhoedd ar GitHub ( https://github.com/cosmaadrian/gait-vit , a gyrchwyd ar 28 Chwefror 2023) er mwyn sicrhau tryloywder ac atgynhyrchu.

2. Gwaith Cysylltiedig

Yn yr adran hon, rydym yn gwneud trosolwg byr o ddulliau presennol ar gyfer adnabod cerddediad amgylcheddau afreolus ac "yn y gwyllt". Ymhellach, disgrifiwn brif ddatblygiadau modelau trawsnewidyddion ac, yn benodol, eu cymhwysiad yn y parth gweledigaeth.

2.1. Cydnabod Cerdded

Yn yr un modd ag adnabod ar sail wyneb, mae adnabod cerddediad yn dibynnu ar ddysgu metrig. Yn wahanol i ddulliau dilysu biometrig traddodiadol, sy'n dibynnu ar un ddelwedd (ee, adnabod wynebau) ac sydd angen cydweithrediad helaeth (ee, dilysu biometrig yn seiliedig ar iris), mae nodweddion cerddediad yn cael eu prosesu fel dilyniant o gipluniau cynnig. Mae angen mwy o gymhlethdod ar ddynameg ystumiau o'r fath wrth bennu'r is-ddilyniant mwyaf addysgiadol ond yn galluogi defnyddio dilysiad anymwthiol o bell.

Yn y cyd-destun hwn, mae'r dasg yn awgrymu hyfforddi rhwydwaith amgodiwr i fapio dilyniannau cerdded i ofod mewnosod lle mae'r tebygrwydd mewnosod yn cyfateb i debygrwydd y cerddediad. Dylai mewnosod teithiau cerdded sy'n perthyn i'r un person fod yn agos at y gofod gwreiddio ac mae angen i'r rhai sy'n dod o wahanol hunaniaeth fod yn fwy pell. Yn y gofod ymgorffori hwn, gellir dod i gasgliad trwy sefydlu'r cerddediad a defnyddio'r cymydog agosaf. ymagwedd ar gronfa ddata o deithiau cerdded hysbys.

Rhennir y dulliau presennol o adnabod cerddediad yn ddau gategori: yn seiliedig ar ymddangosiad [8,9] ac yn seiliedig ar fodel [10,12,30]. Mae dulliau sy'n seiliedig ar ymddangosiad yn gyntaf yn cael silwetau'r pynciau cerdded gydag algorithmau tynnu cefndir neu segmentu o bob ffrâm fideo.

Yna mae'r dilyniant o silwetau yn cael ei fwydo i bensaernïaeth sy'n seiliedig ar CNN sy'n tynnu nodweddion gofodol ac amserol sy'n cael eu cydgrynhoi'n wreiddiau terfynol i'w cydnabod. Mae dulliau sy'n seiliedig ar fodel yn tynnu'r sgerbydau o fideos RGB gyda modelau poseestimation [21,22]. Mae dilyniannau sgerbydau fel arfer yn cael eu prosesu gan fodelau sy'n dibynnu ar drosglwyddiadau graff [10,30] ar gyfer sefydlu'r cerddediad.

GaitSet, gwaith Chao et al. [8], yn ystyried y cerddediad fel set ddi-drefn o silwetau. Mae'r awduron yn dadlau bod y cynrychioliad hwn yn fwy hyblyg na dilyniant silwét oherwydd ei fod yn gadarn i drefniadau gwahanol o fframiau neu'r cyfuniad o gyfarwyddiadau ac amrywiadau cerdded lluosog. Maent yn defnyddio haenau convolution ar gyfer pob silwét i gael nodweddion lefel delwedd a'u cyfuno'n nodwedd lefel set gyda Set Pooling. Maent yn cael yr allbwn terfynol trwy ddefnyddio eu fersiwn o HorizontalPyramid Matching [31].

Roedd Fan et al. [9] sylwi ar y ffaith y dylai rhannau penodol o'r silwét dynol gael eu mynegiant spatiotemporal gan fod gan bob un batrwm unigryw. Mae eu pensaernïaeth, GaitPart, yn defnyddio haenau convolution ffocal (FConvs), sy'n fath arbenigol o convolution gyda maes derbyn mwy cyfyngedig. Mae'r awduron yn dadlau bod yr FConvs yn cynorthwyo eu pensaernïaeth wrth ddysgu nodweddion mwy manwl ar gyfer gwahanol rannau o'r corff symudol. Maent hefyd yn cyflwyno'r modiwlau cipio micro-symudiad, a ddefnyddir i echdynnu nodweddion dilyniannau tymhorol bach.

Roedd Teepe et al. [30] cynnig GaitGraph, sy'n trosoledd rhwydwaith trosiannol graff wedi'i addasu o'r enw ResGCN [32] ar gyfer amgodio'r nodweddion spatiotemporal a gafwyd o'r dilyniant o sgerbydau. Mae Li et al. [33] cynnig PTP, sef strwythur sy'n cydgrynhoi nodweddion aml-amser o un cylch cerddediad yn seiliedig ar eu dadansoddiad o gamau pwysicaf cerdded.

Maent hefyd yn defnyddio rhwydwaith convolutional graff ar gyfer echdynnu nodweddion gofodol, sy'n gweithio gyda PTP. Mae'r awduron yn cyflwyno dull cynyddu data newydd sy'n addasu'r cerddediad i gael sawl cam mewn cylch mwy realistig.

Fodd bynnag, yn wahanol i weithiau blaenorol, rydym yn anelu at archwilio perfformiad pensaernïaeth adnabod cerddediad mewn senarios hunan-oruchwyliol. Wedi'i ysbrydoli gan gynnydd aruthrol yn y parth gweledigaeth gyfrifiadurol, rydym yn cynnig addasu pensaernïaeth trawsnewidiol presennol i weithredu ar ddilyniannau sgerbwd yn lle delweddau ac i brofi eu gallu modelu mewn senarios hunan-oruchwyliol. Mae'r rhan fwyaf o weithiau eraill [8,9,30] yn canolbwyntio eu hymdrechion ar ddatblygu pensaernïaeth niwral sy'n cyflawni canlyniadau trawiadol ar adnabod cerddediad ar setiau data a reolir.

Fodd bynnag, rydym yn bwriadu cael gwared ar yr angen am anodiadau llaw drud iawn ar gyfer setiau data cerddediad ac archwilio ffyrdd y mae dysgu hunan-oruchwyliol yn briodol ar gyfer dadansoddi cerddediad.

Roedd gwaith blaenorol yn y maes hwn [10,12] yn dangos potensial ar gyfer dysgu cynrychioliadau cerddediad da o setiau data â nodiadau gwan. Cynigiodd Cosmaand Radoi [12] GaitFormer, y bensaernïaeth gyntaf yn seiliedig ar drawsnewidydd ar gyfer dilyniannau sgerbwd prosesu, a ysbrydolwyd gan fodel ViT [24]. Yn debyg i [12], rydym yn ceisio archwilio perfformiad modelau trawsnewidyddion gweledigaeth eraill, gyda gwahanol ddeinameg ofodol ac amserol yn y mecanwaith prosesu clwt. Mae setiau data ar raddfa fawr ar gyfer adnabod cerddediad wedi'u cynnig yn y gorffennol [7,12], sy'n caniatáu ar gyfer datblygu saernïaeth gyffredinol ar gyfer dysgu cynrychiolaeth.

For more information:1950477648nn@gmail.com