Archwilio Trawsnewidyddion Gweledigaeth Hunan Oruchwyliaeth Ar Gyfer Cydnabod Cerdded yn y Gwyllt Rhan 3

Rydym yn defnyddio sampl i fyny syml i ryngosod rhwng cymalau cyfagos (Ffigur 3). Fodd bynnag, mae gwneud hynny'n naïf ar y sgerbwd yn arwain at gymalau ffug ar draws y sgerbwd, waeth beth fo'r dewis o fformatau sgerbwd (ee OpenPose neu COCO), gan nad yw'r cyd-archebu yn cadw unrhyw ystyr semantig.

Mae dilyniannu ar y cyd yn cyfeirio at symud cymalau'r corff mewn trefn benodol. Mae'r math hwn o ymarfer corff yn chwarae rhan bwysig wrth gynnal iechyd corfforol a gwella cof y corff.

Yn gyntaf oll, gall dilyniannu ar y cyd hyrwyddo symudiad cydgysylltiedig o wahanol rannau o'r corff, gwella cryfder y cyhyrau, a gwella swyddogaeth cardiopwlmonaidd, sydd i gyd yn helpu i gynnal iechyd da. Ar yr un pryd, gall aliniad cymalau rheolaidd leihau anystwythder a phoen y corff, gwella ystum a chydbwysedd, ac oedi dirywiad swyddogaeth gorfforol a achosir gan oedran.

Yn ail, gall dilyniannu ar y cyd hefyd wella'r cof. Mae ymchwil yn dangos y gall ymarfer corff ysgogi twf a chysylltiadau niwronau ymennydd, a thrwy hynny hyrwyddo cyfnewid gwybodaeth rhwng niwronau, a all helpu i wella cof a galluoedd dysgu. Mae symudiad dilyniannol y cymalau yn ei gwneud yn ofynnol i'r ymennydd roi cyfarwyddiadau cywir ar gyfer symudiadau gwahanol rannau'r corff, sy'n help mawr i ddatblygiad cydsymud yr ymennydd a galluoedd cof.

Yn olaf, gall dilyniannu ar y cyd hefyd leddfu straen a phryder a gwella sefydlogrwydd emosiynol. Gall ymarfer corff ryddhau rhai sylweddau yn y corff, fel dopamin ac endorffinau, a all helpu i leddfu problemau emosiynol a gwella ymdeimlad y corff o hapusrwydd a boddhad. Mae'r ffactorau hyn hefyd yn cael effaith gadarnhaol ar wella cof.

I grynhoi, mae perthynas gadarnhaol rhwng dilyniannu ar y cyd a chof. Trwy ymarferion dilyniannu ar y cyd rheolaidd, gallwch hyrwyddo datblygiad iach y corff a'r ymennydd, gwella'r cof a galluoedd dysgu, a gwella sefydlogrwydd emosiynol. Gadewch inni roi sylw i iechyd da a mwynhau harddwch bywyd gyda'n gilydd! Gellir gweld bod angen i ni wella cof, a gall Cistanche deserticola wella cof yn sylweddol oherwydd bod Cistanche deserticola yn ddeunydd meddyginiaethol Tsieineaidd traddodiadol sydd â llawer o effeithiau unigryw, ac un ohonynt yw gwella cof. Mae effeithiolrwydd briwgig yn dod o'r gwahanol gynhwysion gweithredol sydd ynddo, gan gynnwys asid, polysacaridau, flavonoidau, ac ati. Gall y cynhwysion hyn hybu iechyd yr ymennydd mewn gwahanol ffyrdd.

Cliciwch gwybod atchwanegiadau i wella cof

Mae'r arsylwi hwn yn unol â gwaith Yang et al. [44], sy'n cynnig delwedd sgerbwd strwythur coed (TSSI) i gynnig y perthnasoedd gofodol rhwng cymalau. Mae'n seiliedig ar drefniant coed dyfnder-gyntaf ar draws y coed, sy'n cadw gwybodaeth strwythurol y sgerbwd. Mae Ffigur 3 (ar y dde), yn dangos effeithiau gwahanol fformatau sgerbwd a dulliau uwch-sampl. Ar gyfer y dull newid maint hwn, defnyddiwyd fformat TSSI a rhyngosodiad biciwbig.

Ymhellach, fe wnaethom arbrofi gyda dau ddull uwchraddio, a oedd yn ddysgadwy yn ystod hyfforddiant. Fe wnaethon ni ddefnyddio haen linellol syml wedi'i gosod ar bob sgerbwd gwastad i gynyddu nifer yr uniadau. Dyma'r ffordd fwyaf syml o drawsnewid pob sgerbwd, ond nid yw'n cyfrif am unrhyw berthynas ofodol rhwng cymalau. I fynd i'r afael â hyn, rydym hefyd yn defnyddio set o haenau dadgynhyrfol 2D ar y dilyniant sgerbwd ar gyfer newid maint tra hefyd yn cymryd y wybodaeth strwythurol i ystyriaeth; ar gyfer y dull hwn, rydym hefyd yn defnyddio fformat TSSI.

Mae Tabl 1 yn dangos y canlyniadau ar gyfer pob dull newid maint ar gyfer pob pensaernïaeth. Hyfforddwyd a gwerthuswyd y modelau ar CASIA-B am 200 cyfnod, ac rydym yn dangos canlyniadau ar gyfer cerdded arferol. Ar gyfer gweddill ein harbrofion, fe ddewison ni uwchsamplu'r dilyniant sgerbwd gyda rhyngosodiad bicubig.

Er bod nifer o weithdrefnau rhaghyfforddi hunan-oruchwyliedig posibl, fe wnaethom ddewis dull rhaghyfforddi gwrthgyferbyniol gan mai dyma'r un weithdrefn ar gyfer adalw gwirioneddol adnabod cerddediad. Mae dulliau cyferbyniol yn annog cynrychioliadau o'r un dosbarth i fod yn agos mewn gofod cudd, tra ar yr un pryd yn bell oddi wrth gynrychioliadau sy'n perthyn i wahanol ddosbarthiadau.

Yn benodol, rydym yn defnyddio Supervised Contrastive [45] ar gyfer rhaghyfforddi. Mae colled SupCon yn gweithredu ar swp aml-weld: mae gan bob sampl yn y swp fersiynau lluosog estynedig ohono'i hun. Dangoswyd ei fod yn naturiol yn fwy cadarn o lygredd data, mae'n lleddfu'r angen i ddewis tripledi'n ofalus gan fod y graddiant yn annog dysgu o enghreifftiau caled ac yn llai sensitif i hyperparamedrau.

3.4. Cynyddu Data

Mae hyfforddiant mewn modd gwrthgyferbyniol hunan-oruchwyliol gyda cholled SupCon yn awgrymu defnyddio data ychwanegol i ddarparu "golygfeydd" estynedig lluosog o'r un dilyniant sgerbwd. Mae'r ychwanegiadau a ddefnyddir ar gyfer ein dilyniannau sgerbwd cerdded yn unol â gweithiau eraill yn y maes hwn [10,12, 30]. Y prif ychwanegiad a ddefnyddir yw cnydio tymhorol ar hap gyda hyd aperiod o T=64 fframiau.

O ystyried bod sgerbydau'n cael eu holrhain am gyfnod amrywiol o amser, rydym yn defnyddio cnydio i sicrhau bod gan bob dilyniant yr un hyd. Ar ben hynny, gallai person sy'n cerdded newid cyfeiriad a chyflawni gweithredoedd eraill ar draws y llwybr tracio; o ganlyniad, mae cnydio yn peri mwy o amrywioldeb ar gyfer yr un dilyniant.

Ymhellach, rydym yn addasu'r cyflymder cerdded trwy arafu neu gyflymu'r daith gerdded. Fe wnaethom ddefnyddio addaswyr cyflymder o {{{0}}.5, 0.75, 1, 1.25, 1.5, 1.75, 2.0}. Mae hwn wedi'i addasu o waith Wang et al. [48] ​​ar gyfer dysgu hunan-oruchwyliaeth o gynrychioliadau fideo. Ar ben hynny, mae cyflymder addasu wedi'i ddefnyddio mewn dadansoddiad cerddediad yn y gorffennol [33].

Rydym hefyd yn defnyddio fflipio ar hap gyda thebygolrwydd o {{{0}}.5, gwrthdroad dilyniant gyda thebygolrwydd o 0.5, sŵn Gaussian ychwanegyn ar gyfer pob uniad gyda σ=0.005, a gollwng ar hap o 5% o uniadau gyda thebygolrwydd o 0.01 i efelychu uniadau coll o'r model ystumio.

3.5. Dulliau Cychwynnol

Er mwyn mesur effaith perfformiad rhaghyfforddi hunan-oruchwyliol ar y pensaernïaeth arfaethedig, rydym yn archwilio tri dull cychwyn gwahanol. Mae Tabl 2 yn dangos yr amrywiol setiau data a ddefnyddir yn y llenyddiaeth. Er bod CASIA-B [6] a FVG [29] yn setiau data rheoledig, a ddefnyddir yn bennaf ar gyfer gwerthuso, rydym yn defnyddio DenseGait [12] a GREW [7] ar gyfer rhaghyfforddiant hunan-oruchwyliol ar gyfer y pum pensaernïaeth. Mae DenseGait a GREW yn ddwy o'r cronfeydd data cerddediad realistig mwyaf, a gesglir mewn lleoliadau awyr agored, sydd yn ôl pob tebyg yn cynnwys y mwyafrif o amrywiadau cerddediad, ymddygiadau a chymhlethdodau sy'n bresennol mewn bywyd bob dydd. Rydym yn dewis y setiau data hyn i gael cynrychioliadau cerddediad mwy cyffredinol, er mwyn caniatáu ar gyfer senarios gwyliadwriaeth arloesol dilysu cerddediad.

DenseGait Pretraining Mae DenseGait yn set ddata cerddediad "yn y gwyllt" ar raddfa fawr a gesglir yn awtomatig o ffrydiau gwyliadwriaeth. Mae'n cynnwys dilyniannau sgerbwd traciedig 217 K, wedi'u tynnu gan ddefnyddio AlphaPose [22], mewn amrywiol amgylcheddau ac onglau camera o leoliadau amlddaearyddol. Gan fod DenseGait yn cael ei gasglu'n awtomatig, mae ei anodiadau o ran y dynodwr olrhain yn swnllyd, a gallai'r set ddata gynnwys dilyniannau am yr un pwnc, er bod hwn yn ddigwyddiad prin. Fodd bynnag, mae hyn yn wir am y mwyafrif o setiau data ar raddfa fawr heb eu labelu sy'n cynnwys samplau sy'n perthyn i'r un dosbarth semantig, yr ystyrir nad oes cysylltiad rhyngddynt yn ystod yr hyfforddiant. Rydym yn rhag-hyfforddi pob pensaernïaeth ar DenseGait ac yn defnyddio'r paramedrau hyfforddedig ar gyfer gwerthusiad perfformiad pellach i lawr yr afon o'r setiau data a reolir.

GREW Pretraining Mae GREW yn set ddata awyr agored arall "yn y gwyllt" ond mae wedi'i hanodi'n ofalus fel ei bod yn cynnwys pynciau cerdded ar draws sawl diwrnod a gwahanol fathau o ddillad. Fodd bynnag, er mwyn cydymffurfio â gofynion y drefn hunan-oruchwylio, ‘sgarden yr anodiadau a thrin pob dilyniant cerdded fel person ar wahân. Mae GREW 2 × yn llai na DenseGait, sy'n cynnwys dilyniannau sgerbwd 128 K, tra hefyd yn cael tracio pob cerddwr am gyfnod cyfartalog llai [12]. Rydym hefyd yn hyfforddi pob pensaernïaeth ar GREW ac yn defnyddio'r paramedrau hyfforddedig ar gyfer gwerthuso perfformiad i lawr yr afon.

Cychwyn Ar Hap Mae'r dull cychwyn hwn yn cyfateb i ddim rhaghyfforddiant (hy hyfforddiant o'r dechrau). Mae pob pensaernïaeth wedi'i hyfforddi i gychwyn pwysau ar hap ar y setiau data i lawr yr afon. Mae'r dull hwn yn waelodlin i gymharu'r enillion perfformiad trwy raghyfforddiant.

3.6. Gwerthusiad

Mae perfformiad tasg i lawr yr afon yn cael ei werthuso mewn dau ddull gwahanol ar gyfer adnabod cerddediad. Rydym yn profi galluoedd adalw pensaernïaeth a hyfforddwyd ymlaen llaw yn uniongyrchol, heb fireinio ar gyfer tasg benodol. Mae'r dull hwn yn cyfateb i drosglwyddo sero-ergyd. Ymhellach, tiwniwch wefine bob pensaernïaeth gan ddefnyddio cyfradd ddysgu 10 × yn llai nag yn ystod rhaghyfforddi, gyda chyfradd ddysgu gynyddol lai ar ddechrau'r rhwydwaith, sy'n cyfateb i bolisi dirywiad cyfradd dysgu haen (LLRD) [50].

Mae'r gwerthusiad o'r perfformiad i lawr yr afon yn cael ei berfformio ar ddwy set ddata gaitrecognition poblogaidd: CASIA-B [6] a FVG [29]. Mae'r ddwy set ddata yn cynnwys nifer fach o bynciau o dan brotocolau cerdded llym, sy'n cael eu rheoli dros wahanol ffactorau dryslyd: ongl camera, dillad, ategolion, a chyflymder cerdded.

Mae CASIA-B yn set ddata dan do sy'n cynnwys 124 o bynciau wedi'u dal o 11 o gamerâu cydamserol. Mae pob unigolyn yn cerdded mewn tri chyflwr gwahanol: cerdded arferol, newid dillad, a chario bagiau. Ers ei ryddhau, mae wedi bod yn staple ar gyfer meincnodi modelau gaitanalysis, gan ei fod yn un o'r setiau data a ddefnyddir fwyaf yn y maes hwn. Defnyddiwn y 62 pwnc cyntaf fel y set hyfforddi a gweddill y 62 ar gyfer gwerthuso perfformiad. Ar gyfer gaitrecognition, rydym yn dewis gwerthuso perfformiad fesul ongl mewn gosodiad "gadael un allan", lle mae set yr oriel yn cynnwys yr holl onglau cerdded ac eithrio'r ongl stiliwr.

Mae Front-View Gait yn set ddata boblogaidd arall ar gyfer adnabod cerddediad, gyda 226 o bynciau yn cerdded yn yr awyr agored o dan brotocolau amrywiol. Yn wahanol i CASIA-B, mae FVG yn cynnwys ffactorau dryslyd ychwanegol: cyflymder cerdded, cefndir anniben, a threigl amser (hy, mae rhai pynciau wedi cofrestru teithiau cerdded sy'n rhychwantu blwyddyn). Ar ben hynny, mae pob pwnc yn cael ei ddal ag ongl camera sy'n wynebu'r blaen, a ystyrir fel yr ongl anoddaf ar gyfer adnabod cerddediad onglau gan ei fod yn cynnwys y swm lleiaf o amrywiad canfyddedig symudiad ar y cyd. Defnyddiwyd y 136 pwnc cyntaf ar gyfer hyfforddiant a'r gweddill ar gyfer gwerthuso perfformiad. Mae gwerthuso perfformiad ar gyfer adnabod cerddediad yn cadw at y protocolau a amlinellwyd gan yr awduron, lle rydym yn defnyddio'r dilyniant cerdded arferol yn set yr oriel a'r amodau eraill yn y set stiliwr.

Ar gyfer pob senario gwerthuso, rydym yn defnyddio cnydau penderfynol yng nghanol y dilyniant cerdded ac nid ydym yn defnyddio unrhyw ychwanegiadau amser prawf.

4. Arbrofion a Chanlyniadau

4.1. Gwerthusiad o CASIA-B

Rydym yn rhag-hyfforddi pob pensaernïaeth ar DenseGait a GREW, yn y drefn honno, ac yn gwerthuso perfformiad ar CASIA-B a FVG. Yn y set gyntaf o arbrofion, mae gennym ddiddordeb mewn gwerthuso perfformiad CASIA-B mewn senario mireinio ar ôl rhaghyfforddi, gyda samplau hyfforddi cynyddol fwy. Fe wnaethom hyfforddi pob rhwydwaith ar y 62 hunaniaeth gyntaf, gyda'r holl amrywiadau cerdded ar gael, a chadw'r gweddill i'w profi. Perfformiwyd gwerthusiad cydnabyddiaeth gan ddefnyddio'r 4 sampl cerdded arferol cyntaf fel set yr oriel, a'r ail-osod set stiliwr. Mae Ffigur 4 yn dangos cywirdeb pob un o'r tri amrywiad cerdded (arferol - NM, dillad - CLm a bag cario - BG) ar gyfer CASIA-B. Ar gyfer y senario hwn, samplwyd ar hap o K={1, 2, 3, 5, 7, 10} o deithiau cerdded fesul pwnc, fesul ongl, a hyfforddi'r model. Er bod y perfformiad yn gymharol debyg rhwng pensaernïaeth, mae'n amlwg bod pretrainingyn cynnig hwb sylweddol mewn perfformiad o gymharu â ymgychwyn ar hap, waeth beth fo'r dewis set ddata pretraining.

Ar ben hynny, mae'n ymddangos bod gan SimpleViT, CrossFormer, ac Twins-SVT berfformiad uchel tebyg, tra bod Token2Token ychydig ar ei hôl hi. Mae hyn yn awgrymu nad yw'r dull tokenization blaengar a ddefnyddiwyd yn Token2Token, a ddyluniwyd yn benodol ar gyfer strwythurau tebyg i ddelwedd, yn dal nodweddion cerddediad yn effeithiol. Mae gwahaniaeth amlwg rhwng y setiau data rhaghyfforddi: Mae'n ymddangos bod DenseGait yn cynnig cynnydd cyson mewn perfformiad yn y ddau amrywiad cerdded (CL aBG) o'i gymharu â GREW. Mae hyn yn arwydd o'r ffaith bod DenseGait yn cynnwys senarios mwy heriol a realistig sy'n paratoi'r model yn well ar gyfer amodau lle mae ffactorau allanol yn effeithio ar y patrwm cerdded.

Mae'r pensaernïaeth wedi'u hyfforddi i fapio dilyniannau cerdded i fan gwreiddio, lle mae'r agosrwydd rhwng pwyntiau yn adlewyrchu tebygrwydd y dilyniannau cerdded cyfatebol. Mae hyn yn golygu y dylai ymwreiddio dilyniannau cerddediad anweledig o'r un hunaniaeth fod yn agos at ei gilydd yn y gofod ymwreiddio a ffurf clystyrau, tra dylai mewnosodiadau gwahanol hunaniaethau fod ymhellach i ffwrdd oddi wrth ei gilydd a ffurfio clystyrau amlwg. Mae hyn yn bwysig gan ei fod yn caniatáu i'r model gyffredinoli i ddilyniannau cerddediad nas gwelwyd ac adnabod yr unigolyn yn gywir drwy ddefnyddio dull cymydog agosaf. Yn Ffigur 5, rydym yn cyflwyno'r clystyru ar gyfer y mewnosodiadau ar gyfer pob hunaniaeth yn y set brawf o ostyngiad dimensiwn CASIA-Bafter gyda t-SNE [51]. Fe wnaethom ddefnyddio'r fector mewnosod dimensiwn 256- a'i daflunio'n ddau ddimensiwn. Ymddengys mai SimpleViT a CrossFormer sydd â'r gwahaniad gorau rhwng hunaniaethau, waeth beth fo safbwynt y camera.

4.2. Gwerthusiad o FVG

Yn yr un modd, gwnaethom werthuso perfformiad pob pensaernïaeth ar FVG, sy'n ansoddol wahanol i CASIA-B, gan ei fod yn cynnwys un ongl wylio yn unig. Fe wnaethon ni fireinio rhwydwaith sydd wedi'i hyfforddi ymlaen llaw ar ffracsiwn f={0.1, 0.2, 0.3, {{10 }}.5, 0.7, 1.0} o'r 12 rhediad person yn y set hyfforddi. Cyflwynir canlyniadau mireinio yn Ffigur 6. Mae'r canlyniadau'n dilyn tueddiad tebyg i'r rhai ar gyfer CASIA-B: mae gan SimpleViT a CrossFormer berfformiadau cyson uchel, ac mae defnyddio set ddata rhaghyfforddi yn fuddiol ar gyfer perfformiad i lawr yr afon. Ymhellach, mae'n ymddangos bod rhaghyfforddiant ar DenseGait yn parhau i wella cywirdeb cyson. Fel y nodwyd gan Cosma a Radoi [12], mae DenseGait yn cynnwys pynciau a draciwyd am gyfnod hirach, ac mae hyn yn darparu mwy o amrywiad yn yr amcan dysgu cyferbyniol, yn debyg i gnydu ar hap ar gyfer rhaghyfforddiant hunan-oruchwyliedig ar gyfer delweddau naturiol. Yn debyg i'r canlyniadau ar CASIA-B, mae'r amrywiad dillad yn llusgo'n sylweddol y tu ôl i'r senario cerdded arferol.

Yn Nhabl 4, rydym yn cyflwyno canlyniadau mwy manwl ar y set brofi o FVG rhwng modelau a hyfforddwyd ymlaen llaw, yn debyg i senario CASIA-B. Mae canlyniadau pretraining yn gyson: mae pretraining ar DenseGait yn cyfateb yn uniongyrchol i'r gwelliant yng nghywirdeb i lawr yr afon. Er bod rhaghyfforddi ar y ddwy set ddata yn gwella perfformiad ym mhob senario, mae'r gwelliant yn arbennig o arwyddocaol yn y senario CBG (Cefndir Anniben) sydd fel arfer yn cynnwys cael mwy o bobl yn y fideo, yn debyg i'r hyn a ddisgwylir mewn gosodiadau afrealistig. Mae'n debyg bod y gwelliant hwn yn deillio o'r ffaith bod DenseGait a GREW wedi'u casglu mewn amgylcheddau naturiol, heb eu rheoli, gan eu gwneud yn fwy realistig a heriol, gan baratoi'r model yn well ar gyfer amodau tebyg i'r rhai yn senario CBG. Mae'r safle rhwng modelau yn debyg i CASIA-B: Mae SimpleViT, CrossFormer, a Twins-SVT yn perfformio'n well na CaiT a Token2Token yn gyson. Ar gyfer CASIA-B a FVG, mae CaiT ychydig ar ei hôl hi o gymharu â modelau eraill.

4.3. Prawf Sensitifrwydd Gofodol

Un nodwedd arbennig o drawsnewidwyr gweledigaeth yw'r dewis mympwyol o ddimensiynau patsh, a all fod yn hanfodol yn y perfformiad terfynol. Yn achos prosesu delweddau, nid yw dimensiynau patsh yn arbennig o bwysig, oherwydd anghysondeb trosiadol y cynnwys semantig mewn delwedd.

Ar gyfer dilyniannau sgerbwd, fodd bynnag, mae dimensiynau clwt yn cyfateb i nodweddion penodol y gellir eu dehongli o'r mewnbwn: mae uchder clwt yn cynrychioli faint o wybodaeth ofodol sydd wedi'i chynnwys mewn clwt (hy, nifer yr uniadau ysgerbydol sydd wedi'u cynnwys), tra bod y dimensiynau amser yn cynrychioli faint o wybodaeth amserol sydd wedi'i chynnwys( hy, nifer y fframiau). Dylid ystyried y cydbwysedd rhwng y ddau yn ofalus wrth ddefnyddio trawsnewidyddion gweledigaeth wedi'u haddasu ar gyfer dadansoddi cerddediad. Yn Ffigur 7, rydym yn arddangos map gwres lle mae pob cell yn berfformiad model hyfforddedig (wedi'i gychwyn ar hap) ar CASIA-B ar gyfer cerdded arferol. Rydym yn hyfforddi pob model am 50 cyfnod er mwyn cael cymhariaeth deg, ac i fesur y cyflymder cydgyfeirio ar nifer penodol o gamau.
Fe wnaethon ni adeiladu dau fap gwres, un ar gyfer SimpleViT ac un ar gyfer CaiT gan fod ganddyn nhw asgwrn cefn sylfaenol tebyg, ac mae'n hawdd addasu maint y clytiau. Gellir cyflawni'r un broses ar gyfer y pensaernïaeth eraill a brofwyd. Rydym yn dod i'r casgliad bod meintiau clytiau llai yn cyfateb i gynnydd cadarnhaol mewn perfformiad modelu ar gyfer dilyniannau sgerbwd, tra nad yw'r cyfaddawd rhwng dimensiynau gofodol ac amser yn hollbwysig, gan fod perfformiad yn debyg—mae'r matrics map gwres yn weddol gymesur gan yr ail groeslin. Felly, meintiau patsh sgwâr llai fel (2, 4) ar draws dimensiynau gofodol ac amser sydd orau ar gyfer y dasg hon, tra bod meintiau patsh mwy fel (32, 32) yn cynnwys rhy ychydig o wybodaeth wahaniaethol. Fodd bynnag, mae maint clytiau llai yn cynyddu nifer y clytiau yn syml, sydd angen mwy o bŵer cyfrifiadurol. Ar gyfer ein gosodiad o ddau GPU NVIDIA RTX 3060, fe wnaethom adrodd am wallau y tu allan i'r cof ar gyfer rhai cyfuniadau o feintiau clytiau llai.

Y rheswm mwyaf tebygol am y perfformiad gwell gyda meintiau llai o glytiau yw y gall y bensaernïaeth ddal cymhlethdod y patrwm cerdded yn well trwy gyfrifiadura rhyngweithiadau mwy cymhleth rhwng clytiau. Gellir ystyried clytiau gyda'r meintiau gofodol mwyaf posibl a'r meintiau amser lleiaf posibl yn gynrychioliadau llawn o sgerbydau, tra bod clytiau â'r meintiau amser mwyaf posibl a'r meintiau gofodol lleiaf posibl yn dal holl symudiadau uniad unigol. Fel y gellir ei arsylwi, cyflawnir y cywirdeb uchaf pan fydd maint y clwt yn ymgorffori cydbwysedd o wybodaeth ofodol ac amser, sy'n cyfateb i symudiadau bach cymalau sydd â chysylltiad agos.

5. Trafodaeth a Chasgliadau

Yn y gwaith hwn, gwnaethom ddarparu gwerthusiad cynhwysfawr o bum amrywiad poblogaidd o'r trawsnewidydd gweledigaeth a addaswyd ar gyfer prosesu dilyniant sgerbwd. Mae ein hymdrechion yn unol â'r datblygiadau diweddar mewn dysgu dwfn i uno'r gwahanol ddulliau yn y bôn o dan bensaernïaeth y trawsnewidydd. Cynigiom ddull uwchsamplu gofodol ar gyfer sgerbydau (bicubicupsampling gyda fformat sgerbwd TSSI) i gynyddu nifer yr uniadau yn artiffisial, fel y gall amgodyddion y trawsnewidyddion ddefnyddio'r dilyniant yn iawn. At hynny, hyfforddwyd pob pensaernïaeth o dan y patrwm hyfforddi hunan-oruchwylio ar ddwy set ddata cerddediad cyffredinol a graddfa fawr (hy, DenseGait a GREW), ac wedi hynny gwerthuswyd dwy set ddata ar gyfer adnabod cerddediad mewn amgylcheddau rheoledig (hy, CASIA-B a FVG). Fe wnaethom ddewis mabwysiadu'r patrwm dysgu hunan-oruchwyliol i gael nodweddion cerddediad cyffredinol, heb eu cyfyngu i amrywiad cerdded penodol neu safbwynt camera.

Mae ein canlyniadau'n awgrymu bod angen setiau data o ansawdd uchel ac amrywiol ar gyfer rhaghyfforddi modelau dadansoddi cerddediad. Fe wnaethom ddangos bod pretraining ar DenseGait yn cynnig gwelliannau cywirdeb cyson dros GREW, oherwydd y cynnydd mewn maint, nifer yr amrywiadau, a hyd cerdded cyfartalog [12]. Y budd mwyaf arwyddocaol, fodd bynnag, yw sefyllfaoedd gyda symiau isel o ddata hyfforddi ar gael. Mae ein canlyniadau'n dangos bod hyfforddiant o'r dechrau'n deg yn arwain at ganlyniadau llawer gwaeth na mireinio hyd yn oed gyda symiau cymedrol o ddata (hy, 10 dilyniant y pen). Ar hyn o bryd, mae'r rhan fwyaf o ddulliau cerddediad yn cael eu perfformio dan do mewn amgylcheddau a reolir yn llym, na ellir eu cyffredinoli i gymhlethdodau rhyngweithio byd go iawn. Mae setiau data hyfforddi amrywiol yn hanfodol ar gyfer perfformio dadansoddiad ymddygiad cywir yn y gwyllt, yn enwedig gan fod cerddediad yn nodwedd fiometrig y mae ffactorau amgylcheddol allanol yn dylanwadu'n hawdd arni, yn ogystal â chydrannau mewnol ac emosiynol.

Mae ein hastudiaeth abladiad yn dangos bod clytiau gofodol-amserol llai yn fuddiol ar gyfer canlyniadau gwell i lawr yr afon. Mae'r mewnwelediad hwn yn llywio datblygiadau yn y dyfodol o bensaernïaeth dilyniannau sgerbwd, sydd wedi dibynnu yn flaenorol ar brosesu sgerbwd unigol ar un darn [12].

Ochr yn ochr ag ymdrechion cydamserol i ddod â dadansoddiad cerddediad i leoliadau realistig, mae ein gwaith pellach yn galluogi trosglwyddo dilysu cerddediad a dadansoddi ymddygiad o amgylcheddau dan reolaeth, i leoliadau awyr agored, byd go iawn. Bydd cydnabyddiaeth cerddediad yn y gwyllt yn dod yn hollbresennol gyda datblygiadau synwyryddion craff a phensaernïaeth niwral effeithlon sy'n prosesu ymddygiad sy'n cael ei yrru gan symudiadau mewn amser real.

Cyfeiriadau

1. Kyeong, S.; Kim, SM; Jung, S.; Kim, DH Dadansoddiad patrwm cerddediad ac adnabod is-grŵp clinigol: Astudiaeth arsylwi ôl-weithredol. Meddygaeth 2020, 99, e19555. [CrossRef] [PubMed]

2. Michalak, J.; Troje, NF; Fischer, J.; Vollmar, P.; Heidenreich, T.; Schulte, D. Ymgorfforiad o Dristwch ac Iselder - Patrymau Gait Yn Ymwneud â Hwyliau Dysfforig. Seicosom. Med. 2009, 71, 580–587. [CrossRef] [PubMed]

3. Willems, TM; Witvrouw, E. ; De Cock, A.; De Clercq, D. Ffactorau risg sy'n gysylltiedig â Gait ar gyfer poen coes isaf sy'n gysylltiedig ag ymarfer corff yn ystod ysgytwad. Med. Sci. Ymarfer Chwaraeon. 2007, 39, 330–339. [CrossRef] [PubMed]

4. Singh, YH; Jain, S.; Arora, S.; Singh, UP Cydnabod cerddediad ar sail gweledigaeth: Arolwg. Mynediad IEEE 2018, 6, 70497–70527. [CrossRef]

5. Makihara, Y.; Nixon, Llsgr.; Yagi, Y. Cydnabyddiaeth cerddediad: Cronfeydd data, cynrychioliadau, a chymwysiadau. Cyfrifiadur. Vis. Cyf. Canllawiau 2020, 1–13.

6. Yu, S.; Tan, D.; Tan, T. Fframwaith ar gyfer gwerthuso effaith ongl golygfa, dillad a chyflwr cario ar adnabod cerddediad. Mewn Trafodion y 18fed Gynhadledd Ryngwladol ar Adnabod Patrymau (ICPR'06), Hong Kong, Tsieina, 20–24 Awst 2006; Cyfrol 4, tt 441–444.

7. Zhu, Z.; Guo, X. ; Yang, T.; Huang, J.; Deng, J. ; Huang, G. ; Du, D.; Lu, J. ; Zhou, J. Cydnabod Gait yn y Gwyllt: Meincnod. Trafodion Cynhadledd Ryngwladol IEEE ar Weledigaeth Gyfrifiadurol (ICCV), Montreal, BC, Canada, 11-17 Hydref 2021.

8. Chao, H. ; Efe, Y. ; Zhang, J.; Feng, J. Gaitset: Ynglŷn â cerddediad fel set ar gyfer adnabod cerddediad traws-olwg. Yn Nhrafodion Cynhadledd AAAIC ar Ddeallusrwydd Artiffisial, Honolulu, HI, UDA, 27 Ionawr–1 Chwefror 2019; Cyfrol 33, tt 8126–8133. 

9. Fan, C. ; Peng, Y. ; Cao, C. ; Liu, X. ; Hou, S.; Chi, J.; Huang, Y.; Li, Q. ; Ef, Z. Gaitpart: Model rhannol seiliedig ar amser ar gyfer gaitrecognition. Mewn Trafodion Cynhadledd IEEE/CVF ar Weledigaeth Cyfrifiadurol a Chydnabyddiaeth Patrymau, Seattle, WA, UDA, 13–19 Mehefin 2020; tt 14225–14233.

10. Cosma, A. ; Radoi, IE WildGait: Cynrychioliadau Cerdded Dysgu o Ffrydiau Gwyliadwriaeth Amrwd. Synwyryddion 2021, 21, 8387. [CrossRef][PubMed]

For more information:1950477648nn@gmail.com