Ail-Adnabod Person yn Seiliedig ar Ymgorffori Gwybodaeth Cyfuchlin

Crynodeb:

Mae ail-adnabod person (Re-ID) yn chwarae rhan bwysig wrth chwilio am bobl sydd ar goll ac olrhain pobl a ddrwgdybir. Mae ail-adnabod person yn seiliedig ar ddysgu dwfn wedi gwneud cynnydd mawr yn ystod y blynyddoedd diwethaf, ac mae cymhwyso'r nodwedd gyfuchlin i gerddwyr hefyd wedi cael sylw. Yn yr astudiaeth, canfuom nad yw'r nodwedd gyfuchlin i gerddwyr yn ddigon yng nghynrychiolaeth CNN.

Canfu'r astudiaeth berthynas gadarnhaol rhwng nodweddion silwét cerddwyr a chof. Gyda datblygiad cyflym gwyddoniaeth a thechnoleg, mae pobl yn astudio nodweddion cyfuchlin cerddwyr yn fwy a mwy dwfn, sydd o gymorth mawr i bobl wella eu hymwybyddiaeth diogelwch a'u cof.

Pan fydd pobl yn arsylwi grŵp o ddelweddau cerddwyr, fel arfer gallant gofio rhai nodweddion amlwg yn hawdd, megis uchder, pwysau, dillad y person, ac ati Fodd bynnag, mae cof gweledol pobl yn gwella'n sylweddol os ydynt yn anwybyddu'r holl nodweddion hyn ac yn canolbwyntio'n unig ar yr amlinelliadau o cerddwyr. Oherwydd bod amlinelliad cerddwyr yn un o nodweddion mwyaf trawiadol pobl a gwrthrychau eraill ac yn un o'r pethau mwyaf cyffredin yn ein bywydau bob dydd. Trwy arsylwi a chofio'r nodweddion amlinellol hyn, gallwn wella ein hymwybyddiaeth o ddiogelwch yn well a gwneud inni dalu mwy o sylw i faterion Diogelwch yn yr amgylchedd allanol.

Yn ogystal, gall nodweddion amlinellol i gerddwyr hefyd wella ein cof yn anuniongyrchol. Pan fydd pobl yn arsylwi amlinelliad cerddwyr, mae angen iddynt ddadansoddi a chofio gwahanol linellau amlinellol, a fydd yn ymarfer ein harsylwad a'n cof, a thrwy hynny wella ein lefel cof gynhwysfawr. Mae hyn hefyd yn rhoi persbectif a dull newydd i ni ar gyfer hyfforddiant cof ym mywyd beunyddiol.

I grynhoi, mae perthynas gadarnhaol rhwng nodweddion proffil cerddwyr a chof. Trwy roi sylw i silwetau cerddwyr, gallwn wella ein hymwybyddiaeth o ddiogelwch a lefelau cof cynhwysfawr, gan ganiatáu inni addasu ac ymdopi â heriau amrywiol bywyd yn well. Gellir gweld bod angen i ni wella cof, a gall Cistanche deserticola wella cof yn sylweddol oherwydd bod Cistanche deserticola yn ddeunydd meddyginiaethol Tsieineaidd traddodiadol sydd â llawer o effeithiau unigryw, ac un ohonynt yw gwella cof. Mae effeithiolrwydd briwgig yn dod o'r gwahanol gynhwysion gweithredol sydd ynddo, gan gynnwys asid, polysacaridau, flavonoidau, ac ati. Gall y cynhwysion hyn hybu iechyd yr ymennydd mewn gwahanol ffyrdd.

Cliciwch Gwybod i wella cof tymor byr

Ar y sail hon, er mwyn gwella perfformiad cydnabyddiaeth y rhwydwaith Re-ID, rydym yn cynnig modiwl echdynnu gwybodaeth cyfuchlin (CIEM) a dull mewnosod gwybodaeth cyfuchlin, fel y gall y rhwydwaith ganolbwyntio ar fwy o wybodaeth gyfuchlin. Mae ein dull yn gystadleuol o ran data arbrofol; cyrhaeddodd mAP y set ddata Market1501 83.8% a chyrhaeddodd Rank-1 95.1%. Cyrhaeddodd mAP set ddata DukeMTMC-reID 73.5% a chyrhaeddodd Rank-1 86.8%. Mae'r canlyniadau arbrofol yn dangos y gall ychwanegu gwybodaeth gyfuchlin i'r rhwydwaith wella'r gyfradd adnabod, ac mae nodweddion cyfuchlin da yn chwarae rhan bwysig mewn ymchwil Re-ID.

Geiriau allweddol:

Ail-adnabod person; cyfuchlin cerddwyr; echdynnu gwybodaeth cyfuchlin.

1. Rhagymadrodd

Nod ail-adnabod person (Ail-ID), a elwir hefyd yn olrhain cerddwyr traws-gamera, yw adnabod delwedd yr un person o dan wahanol gamerâu [1]. Y dyddiau hyn, mae adnabod wynebau wedi'i ddefnyddio'n helaeth ym mhob rhan o fywyd, ac mae ymchwil adnabod wynebau hefyd wedi datblygu'n gyflym [2-4]. Fodd bynnag, mewn llawer o achosion, ni all y camera ddal wyneb clir yn gywir, felly gall technoleg ail-adnabod person chwarae rhan bwysig [5].

Mae'r Ail-ID cychwynnol yn dibynnu ar nodweddion llaw fel lliw a gwead [6,7]. Er bod ganddo effaith gydnabyddiaeth benodol, mae ganddo fwlch penodol o hyd gyda chydnabyddiaeth ddynol. Y dyddiau hyn, mae'r rhan fwyaf o Re-ID yn seiliedig ar ddysgu dwfn, y mae ymchwilwyr wedi ymrwymo i ddatrys problemau ymarferol amrywiol a gafwyd. Mae peth ymchwil wedi'i anelu at Re-ID ei hun, megis datrys camliniad ystum, occlusion delwedd [8,9], ac ati Mae peth ymchwil wedi'i anelu at rwydweithiau dysgu dwfn [10], megis defnyddio mecanweithiau sylw, gwella rhwydwaith, adnabod sampl bach [11], etc.

Canfyddir bod gwybodaeth gyfuchlin hefyd yn chwarae rhan bwysig mewn adnabod delwedd. Mae rhai gweithiau [12] yn deall mynegiant nodweddion gweledol manwl CNN yn ddwfn. Mae arbrofion ar Imagenet yn dangos bod yn well gan fodelau dysgu dyfnder seiliedig ar CNN nodweddion sy'n seiliedig ar wead na nodweddion sy'n seiliedig ar siâp [13,14]. Yn ogystal, profwyd bod y model hybrid wedi'i fewnosod yn seiliedig ar wead a chyfuchlin yn gwella perfformiad dosbarthiad delwedd a chanfod gwrthrychau. Rydym yn tynnu map nodwedd rhwydwaith ResNet-50, sef yr un a ddefnyddir amlaf mewn ymchwil Re-ID, ac yn ei ddelweddu (gweler Ffigur 1). Gellir canfod yn reddfol bod rhwydwaith CNN ar goll wrth echdynnu gwybodaeth gyfuchlin. Yn ystod y ddwy flynedd ddiwethaf, dechreuodd llawer o ymchwilwyr ddefnyddio gwybodaeth gyfuchlin fel eitem ategol i gymryd rhan mewn ymchwil Re-ID a chael rhywfaint o lwyddiant.

Yn seiliedig ar y ffeithiau presennol uchod, credwn y gall ychwanegu gwybodaeth gyfuchlin i'r rhwydwaith CNN eu helpu'n effeithiol i ddysgu mwy a mwy o wybodaeth gadarn i gerddwyr, a gall wella'r effaith gydnabyddiaeth derfynol. O ystyried cyfrinachedd rhwydwaith CNN o'r dechrau i'r diwedd, ni all rhywun ymyrryd â gwybodaeth ragdybiedig bod dynol. Felly, rydym yn adeiladu modiwl echdynnu gwybodaeth gyfuchlin gyda chymorth meddwl sylw, fel y gall y rhwydwaith CNN dalu mwy o sylw i rywfaint o wybodaeth gyfuchlin yn hytrach na'i golli yn y broses o convolution aml-haen. Yn y bôn, mae cyfraniadau’r papur hwn fel a ganlyn:

• Rydym yn gwirio'r diffyg gwybodaeth cyfuchliniau mewn ymchwil ail-adnabod personol rhwydwaith CNN.

• Rydym yn cynnig modiwl echdynnu gwybodaeth cyfuchlin, a all wneud i'r rhwydwaith dalu mwy o sylw i'r wybodaeth gyfuchlin yn y ddelwedd cerddwyr heb ymyrraeth profiad dynol.

• Mae'r canlyniadau arbrofol yn dangos bod ein dull yn cael effaith dda ar setiau data Market1501 a DukeMTMC-reID.

2. Gweithiau Cysylltiedig

2.1. Ail-Adnabod Person yn Seiliedig ar Fecanwaith Sylw

Yn ystod y blynyddoedd diwethaf, defnyddiwyd y mecanwaith sylw yn eang [15-18]. Ei ddiben yw galluogi'r rhwydwaith i ddysgu pethau pwysicach. Gall ymchwil ail-ID ddatrys yn effeithiol y broblem o gamlinio ystum, gwyriad delwedd cerddwyr, ac achludiad rhannol. Er enghraifft, mae Liu et al. [19] yn cynnig model sylw ar gyfer y dasg Re-ID am y tro cyntaf i gynhyrchu nodweddion sylw deinamig i leoli gwahanol ardaloedd lleol. Mae Zhao et al. [20] Cynigiodd fodel sylw yn seiliedig ar CNN, sy'n defnyddio gwybodaeth tebygrwydd delweddau dynol pâr i ddysgu'r rhan o'r corff a ddefnyddir ar gyfer paru. Mae Wang et al. [21] Cynigiodd fodel sylw sy'n cyfuno sylw caled a sylw meddal, a all ddysgu mapiau nodwedd lleol aml-raddfa a lefel picsel ar yr un pryd mewn modd diwedd-i-ddiwedd. Mae Sun et al. [22] cynigiodd rhwydwaith sylw aml-raddfa leol-i-fyd-eang (LGMANet), sy'n gwneud defnydd llawn o wybodaeth gyd-destun a gwybodaeth sylw gofodol i wella ymhellach allu adnabod y rhwydwaith geni. Roedd Zhang et al. [23] Cynigiodd fodiwl sylw byd-eang sy'n ymwybodol o berthynas (RGA) effeithiol, y gellir ei gymhwyso hefyd i dasgau segmentu golygfa a segmentu delweddau.

2.2. Ail-Adnabod Person yn Seiliedig ar Wybodaeth Cyfuchlin

Yn y blynyddoedd diwethaf, mae rhai ymchwilwyr wedi cymhwyso cyfuchlin cerddwyr i ymchwil Re-ID; er enghraifft, Chen et al. [24] ceisiodd gyntaf ddefnyddio cyfuchlin yn benodol mewn modelau Re-ID dwfn a chanllawiau cyfuchliniau arfaethedig, sy'n profi'n fawr y posibilrwydd o gymhwyso cyfuchlin cerddwyr. Roedd Yang et al. [25] yn credu, ar y sail nad yw'r newid mewn dillad person yn gryf (cryf yn cyfeirio at y bwlch rhwng dillad gaeaf a dillad haf), gall cyfuchlin cerddwyr hefyd wahaniaethu rhwng nodweddion personol. Yn seiliedig ar hyn, defnyddir y map cyfuchliniau cerddwyr fel mewnbwn echdynnu nodwedd ar gyfer Ail-ID person trawswisgo, a cheir canlyniadau da. Yn seiliedig ar ymchwil Yang et al., Chen et al. [26] ynghyd â'r mecanwaith sylw, defnyddiodd y gyfuchlin cerddwyr i ymchwilio trawswisgo ymchwil Re-ID. Cynigiodd ymchwil a ryddhawyd yn ddiweddar [27] ymddangosiad aml-raddfa a infomax dwfn cyfuchlin (MAC-DIM) i wneud y mwyaf o wybodaeth gydfuddiannol rhwng nodweddion delwedd lliw cerddwyr a nodweddion cyfuchlin cerddwyr, gan ddefnyddio dysgu nodwedd gyfuchlin fel rheoleiddiad i gloddio cynrychiolaeth nodwedd sy'n ymwybodol o siâp yn fwy effeithiol. o ddelweddau lliw.

3. Dulliau

Yn yr adran hon, byddwn yn dangos y modiwl echdynnu gwybodaeth cyfuchlin (CIEM) arfaethedig (fel y dangosir yn Ffigur 2), ac yn rhoi disgrifiad manwl o'r dull Re-ID yn seiliedig ar fewnosod gwybodaeth gyfuchlin (fel y dangosir yn Ffigur 3).

3.1. Modiwl Echdynnu Gwybodaeth Cyfuchlin

Mae'r gyfuchlin cerddwyr yn cynnwys nodweddion perthnasol sy'n fuddiol i ddysgu, ond bydd y rhwydwaith CNN cyffredinol yn eu hanwybyddu i ryw raddau. Er mwyn galluogi'r rhwydwaith i dalu mwy o sylw i'r wybodaeth a gynhwysir yn y gyfuchlin cerddwyr, rydym yn mabwysiadu'r syniad o sylw ac yn cynnig y modiwl echdynnu gwybodaeth cyfuchlin. Nesaf, byddwn yn cyflwyno manylion y modiwl echdynnu gwybodaeth cyfuchlin a sut i'w ddefnyddio, fel y dangosir yn Ffigur 2.

Ar gyfer y ddelwedd cerddwyr yn y set ddata, wrth ddefnyddio ResNet-50 ar gyfer convolution, mae ei fap nodwedd allbwn y tu ôl i haen weddilliol wedi'i osod fel F, a'i faint yw C x H W, lle C yw nifer y sianeli a H x W yw maint y gofod. Ar gyfer y gangen gyfuchlin i gerddwyr, rydym yn lleihau dimensiwn y map cyfuchlin cerddwyr sy'n cyfateb i'r ddelwedd cerddwyr trwy'r haen convolution i gael y map nodwedd cyfuchlin F' gyda'r un maint â'r map nodwedd F. Ei faint yw 1 H x W lle 1 yw rhif y sianel. H x W yw maint y gofod, a F ac F' yw mewnbynnau'r modiwl echdynnu gwybodaeth cyfuchlin.

3.2. Pensaernïaeth Gyffredinol

Yn yr adran flaenorol, cyflwynwyd y modiwl echdynnu gwybodaeth cyfuchlin yn fanwl. Nesaf, byddwn yn cyflwyno'r dull Re-ID yn seiliedig ar ymgorffori gwybodaeth gyfuchlin yn ei chyfanrwydd. Dangosir y fframwaith cyffredinol a gynigiwyd gennym yn Ffigur 3.

Rhennir y ffrâm gyfan yn ddwy gangen, gyda dau fewnbwn yn y drefn honno. Mewnbwn y brif gangen yw delwedd wreiddiol cerddwyr RGB yn y set ddata, a mewnbwn y gangen gyfuchlin yw delwedd gyfuchlin cerddwyr sy'n cyfateb i ddelwedd wreiddiol RGB.

Yn y brif gangen, rydym yn defnyddio ResNet-50 fel rhwydwaith asgwrn cefn, sydd wedi'i rannu'n bum rhan yn gyffredinol, sef, haen convolution conv1 a phedair haen weddilliol.

Mae'r gangen gyfuchlin yn cynnwys pum haen convolution a phedwar modiwl echdynnu gwybodaeth cyfuchlin yn bennaf. Mae haen convolution gyda'r un paramedr conv1 â'r haen convolution yn cael ei gosod ar flaen y gangen gyfuchlin i berfformio gostyngiad dimensiwn rhagarweiniol ar gyfer y map cyfuchlin. Rydym yn ychwanegu modiwl echdynnu gwybodaeth cyfuchlin yn safle allbwn pob haen weddilliol o ResNet-50 ac yn gosod haen convolution cyn y modiwl echdynnu gwybodaeth cyfuchlin. Dimensiwn mewnbwn yr haen convolution yw 1, y dimensiwn allbwn yw 1, y cnewyllyn _ maint=1, a maint y cam yw 2, a ddefnyddir i leihau dimensiwn y map nodwedd cyfuchlin.

Mae'r dull hyfforddi a ddefnyddir yn ein harbrawf yr un fath â'r un a ddefnyddiwyd yn y rhan fwyaf o astudiaethau Re-ID. Y swyddogaeth golled a ddefnyddir yn yr arbrawf yw colled softmax a mwyngloddio sampl caled (colled trihard) [28], yr ydym yn ei fynegi fel LID a LT, yn y drefn honno. Ar ôl i'r asgwrn cefn dderbyn y map nodweddiadol, mae'n derbyn y fector nodweddiadol trwy haen gronni gyfartalog. Ar ôl i'r fector fynd trwy'r haen BN, mae'n cyfrifo'r swyddogaeth golled LT, a'i fformiwla gyfrifo yw:

lle mae P yn cynrychioli nifer yr IDau person mewn swp, gan ddewis lluniau K ar hap ar gyfer pob ID person. Mae A yn cynrychioli'r pwynt angori, mae p yn cynrychioli'r sampl positif, ac mae n yn cynrychioli'r sampl negyddol. A yw'r set o samplau positif a B yw'r set o samplau negyddol. Mae maxda,p yn cynrychioli'r sampl positif anoddaf, ac mae maxda,n yn cynrychioli'r sampl negyddol anoddaf. yn golygu ymyl ac wedi'i osod i 0.3.

Mae'r swyddogaeth golled LID yn cael ei gyfrifo gan yr eigenvector a geir o'r allbwn haen BN trwy'r haen llinol, Y fformiwla gyfrifo yw:

4. Arbrofion

Yn y bennod hon, byddwn yn profi effeithiolrwydd y dull arfaethedig o'r canlyniadau arbrofol. Felly, rydym wedi cynllunio cyfres o arbrofion abladiad. Bydd y model arfaethedig yn cael ei brofi ar setiau data Market1501 a DukeMTMC-reID i wirio cyffredinolrwydd y dull yn y papur hwn. O gymharu ein dull â'r dulliau uwch mewn ymchwil Re-ID yn ystod y blynyddoedd diwethaf, mae gan ein dull gystadleurwydd penodol o hyd.

4.1. Setiau Data a Manylion Gweithredu

Dewisom ddwy set ddata a ddefnyddir amlaf mewn ymchwil Re-ID ar gyfer arbrofion. Mae set ddata Market1501 [29] yn cynnwys 1,501 o wahanol ddulliau adnabod cerddwyr, 751 ID cerddwyr yn y set hyfforddi, a 750 o IDau cerddwyr yn y set brawf, gyda chyfanswm o 32,217 o ddelweddau. Mae set ddata DukeMTMC-reID [30] yn cynnwys 1812 o wahanol ddulliau adnabod cerddwyr, 702 ID cerddwyr yn y set hyfforddi, a 1110 o IDau cerddwyr yn y set brawf. Yn eu plith, rydym yn cyfeirio'n bennaf at yr arbrawf abladiad gyda setiau data Market1501 a DukeMTMC-reID. Yn yr arbrawf, rydym yn defnyddio'r model RCF i dynnu cyfuchlin y set ddata ac adeiladu'r set ddata cyfuchliniau cerddwyr.

Cyn hyfforddiant rhwydwaith, byddwn yn perfformio gweithrediadau gwella data ar ddelweddau gwreiddiol RGB a delweddau cyfuchlin cerddwyr, gan gynnwys clipio ar hap, fflipio llorweddol, a gweithrediadau gwella delwedd cyffredin eraill, ac i uno gwahanol setiau data, rydym yn addasu'r delweddau mewnbwn i 256 × 128 picsel. Yn y broses hyfforddi, rydym yn defnyddio'r optimizer Adam i osod y gyfradd ddysgu i 8 × 10−4, y gyfradd dadfeilio pwysau i 5 × 10−4, y cylch hyfforddi i 600, a maint y swp i 32. Ar ôl yr hyfforddiant, ni wnaethom ddefnyddio dulliau megis ail-raddio i optimeiddio'r didoli. Yn y cyfnod profi, defnyddiwyd y nodweddion paru cronnol (CMC) [31] o Radd 1 a thrachywiredd cyfartalog cymedrig (mAP) [29] i werthuso'r perfformiad, fel y rhan fwyaf o'r ymchwil ar Re-ID.

4.2. Astudiaeth Ablation

4.2.1. Angenrheidrwydd Gwybodaeth Gyfuchlin

Mewn dau fodel gwaelodlin gwahanol, rydym yn defnyddio'r map cyfuchlin i gerddwyr yn uniongyrchol fel y map nodwedd i'w fewnosod yn haen ganol y rhwydwaith a'i enwi fel y dull mewnosod cyfuchlin (CEM). Enwir y ddau fodel gwaelodlin gwahanol hyn yn llinell sylfaen1 a llinell sylfaen2. Mae llinell sylfaen1 yn fodel gwaelodlin gwan, ei rwydwaith asgwrn cefn yw ResNet-50, ac mae gweithrediad lleihau dimensiwn yr haen weddilliol olaf wedi'i gadw. Defnyddiwch y paramedrau a hyfforddwyd ymlaen llaw ar ImageNet cyn hyfforddiant rhwydwaith. Mae llinell sylfaen 2 yn fodel gwaelodlin cryf. Ei rwydwaith asgwrn cefn yw ResNet-50, sy'n dileu gweithrediad lleihau dimensiwn yr haen weddilliol olaf. Cyn hyfforddi, mae'r rhwydwaith yn defnyddio paramedrau sydd wedi'u hyfforddi ymlaen llaw sy'n fwy addas ar gyfer ymchwil Re-ID. Y gweithrediad penodol yw mewnosod y map cyfuchlin i gerddwyr yn safle allbwn y pedair haen weddilliol o ResNet-50 yn y ffordd o adio lefel elfen ar ôl lleihau dimensiwn trwy'r haen convolution, i wirio bod y rhwydwaith CNN yn anwybyddu'r gwybodaeth gyfuchlin yn y broses o echdynnu nodweddion delwedd. Mae Tabl 1 yn dangos data arbrofol ein llinell sylfaen1 gwannach, llinell sylfaen1-CEM, llinell sylfaen fwy pwerus2, a llinell sylfaen2-CEM, gallwn gael y sylwadau a ganlyn:

1. Yn ein hymchwil ar Re-ID, mae diffyg echdynnu nodweddion cyfuchliniau a mynegiant gwybodaeth gyfuchlin ar rwydwaith CNN. Gellir gweld hyn o'r gymhariaeth rhwng gwaelodlin1 a gwaelodlin1+CEM. Er nad yw'r gyfradd gydnabyddiaeth derfynol yn uchel iawn, mae effaith ychwanegu'r map cyfuchlin yn glir. Er enghraifft, ar set ddata Market1501, mae llinell sylfaen1 wedi'i hychwanegu gyda CEM 0.8% yn uwch ar y map a 1.3% yn uwch ar y Safle-1 na'r gwreiddiol;

2. Ar gyfer y llinell sylfaen pwerus 2, efallai oherwydd optimeiddio paramedrau rhwydwaith sydd wedi'u hyfforddi ymlaen llaw, ni all y dull CEM wella cyfradd adnabod derfynol y rhwydwaith, ac ni all y dull o ddefnyddio'r map cyfuchlin yn uniongyrchol wneud i'r rhwydwaith CNN dalu sylw yn effeithiol. i fwy o wybodaeth gyfuchlin, bydd hyd yn oed yn lleihau'r perfformiad cydnabod gwreiddiol. Er mwyn gwneud i'r rhwydwaith roi sylw i'r wybodaeth gyfuchlin ar y llinell sylfaen gref, cynigir y modiwl echdynnu gwybodaeth gyfuchlin.

4.2.2. Dewiswch y Safle i Ychwanegu CIEM
O nodweddion y rhwydwaith niwral convolutional presennol, mae ymyl, cyfuchlin a gwybodaeth nodwedd arall a gynhwysir mewn delwedd i gyd yn fynegiadau nodwedd bas, ac mae canlyniadau delweddu mapiau nodwedd pob haen o'r rhwydwaith CNN hefyd yr un peth. Felly, mae angen yr arbrofion canlynol i wirio ble i roi'r modiwl echdynnu gwybodaeth cyfuchlin a sut i'w ddefnyddio. Byddwn yn defnyddio'r modiwl echdynnu gwybodaeth cyfuchlin yn safleoedd allbwn y pedair haen weddilliol o ResNet-50, ac yn enwi'r pedair safle hyn L1-L4. Dangosir y canlyniadau arbrofol yn Nhabl 2, a gallwn dderbyn yr arsylwadau canlynol.

Mae'r dull o ddefnyddio'r modiwl echdynnu gwybodaeth cyfuchlin yn dra gwahanol i'r dyfalu cyn yr arbrawf. O'r data arbrofol, pan fyddwn ond yn ychwanegu'r modiwl echdynnu gwybodaeth gyfuchlin ar ôl y tair haen weddilliol gyntaf, nid yw gwelliant y canlyniadau arbrofol yn amlwg. Gan gymryd set ddata Market1501 fel enghraifft, gradd 1 olaf y modiwl echdynnu gwybodaeth gyfuchlin a ddefnyddir mewn lleoliadau allbwn L1 a L2 yw 94.3%, a rheng 1 olaf y modiwl echdynnu gwybodaeth gyfuchlin a ddefnyddir mewn lleoliadau allbwn L1, L2, a L3. yn 94.5%; mae effaith cydnabod y ddau ddull hyn yn well nag un y model gwaelodlin, ond nid yw'r gwelliant yn fawr, ac mae'r canlyniadau'n debyg. Pan ddefnyddir y modiwl echdynnu gwybodaeth gyfuchlin ar ôl y pedair haen weddilliol, effaith gydnabyddiaeth derfynol y rhwydwaith yw 83.8% ar rank1 a 95.1% ar y map, sydd wedi'i wella'n sylweddol o'i gymharu â'r ddau flaenorol, ac mae hefyd yn fwy na'r model gwaelodlin ni defnydd. Felly, rydym yn cael pensaernïaeth enghreifftiol derfynol yr erthygl hon.

Yn gyntaf oll, o'i gymharu â'r model gwaelodlin, gall ein dull barhau i wella'r effaith gydnabyddiaeth derfynol ar fodel sylfaenol pwerus iawn; gan gymryd set ddata Market1501 fel enghraifft, mae ein dull 1.7% yn uwch na'r model gwaelodlin yn mAP ac 1.3% yn uwch na'r model gwaelodlin yn Rank-1. Ar ben hynny, o gymharu ag algorithmau Ail-ID clasurol, megis SVDNet, PCB, ac ati, mae ein dull wedi dangos mantais gystadleuol gref ac mae ganddo fanteision absoliwt mewn mAP a Rank-1, dau ddangosydd a ddefnyddir yn gyffredin. O'i gymharu â rhai dulliau mwy datblygedig a gynigiwyd yn ystod y blynyddoedd diwethaf, mae gan ein dull ei fanteision i ryw raddau. Yn yr arbrofion perthnasol ar set ddata Market1501, mae gan ein dull fantais benodol yn y dangosydd Rank-1, er enghraifft, o'i gymharu â BoT, DGNet, a dulliau eraill, mae gan ein dull fantais o tua 0.5%. O ran y dangosydd mAP, mae ein dull yn dal i fod yn debyg i'r rhan fwyaf, ond mae bwlch penodol o hyd o'i gymharu â DG-Net. Ar set ddata DukeMTMC-reID, mae'r canlyniadau a gyflwynir gan y dull hwn yn dal yr un fath. Mae gan ein dull rai manteision dros ddulliau eraill o ran safle mynegai gwerthuso-1, ond nid yw'n foddhaol o ran mAP, sef cyfeiriad ein hymchwil a'n gwelliant nesaf hefyd. Ar gyfer y gweddill, nid yw ein dull yn defnyddio'r dechnoleg ail-ranking, ond o'i gymharu â dulliau eraill sy'n defnyddio'r dechnoleg ail-ranking, megis cam a dare, mae gan ein dull rai manteision o hyd.

5. Casgliadau

Yn y papur hwn, rydym yn cynnig dull Ail-ID yn seiliedig ar fewnosod gwybodaeth gyfuchlin. Gyda'r syniad o fecanwaith sylw a'r berthynas rhwng map nodwedd CNN a'r map cyfuchlin, mae'r modiwl echdynnu gwybodaeth cyfuchlin yn cael ei adeiladu. Rydym yn defnyddio ResNet-50, sef y rhwydwaith asgwrn cefn a ddefnyddir amlaf mewn ymchwil Re-ID, ac yn defnyddio'r modiwl echdynnu gwybodaeth cyfuchlin yn ei safle allbwn haen weddilliol fel y gall y rhwydwaith dalu mwy o sylw i'r gyfuchlin. gwybodaeth yn y broses o echdynnu nodwedd. Mae ein dull yn ddatblygiad arloesol sy'n ceisio defnyddio gwybodaeth gyfuchlin, a gall barhau i gyflawni effaith adnabod dda iawn ar rwydwaith sylfaenol pwerus iawn. Nid yw'r defnydd o wybodaeth gyfuchlin yn gyfyngedig i hyn, a gobeithiwn gael mwy o ymchwil ar gyfuchlin cerddwyr ym maes adnabod cerddwyr.

Cyfraniadau Awdur:

Cysyniadoli, HC, ac YZ; methodoleg, HC; dilysu, HC, YZ, a SW; dadansoddiad ffurfiol, SW; ymchwiliad, SW; adnoddau, YZ a SW; curadu data, HC; ysgrifennu — paratoi drafft gwreiddiol, HC; ysgrifennu — adolygu a golygu, YZ a SW Mae pob awdur wedi darllen a chytuno i fersiwn gyhoeddedig y llawysgrif.

Ariannu:

Cefnogir y gwaith hwn gan Sefydliad Cenedlaethol Gwyddoniaeth Naturiol Tsieina (Rhif 61631009, Rhif 61771220), a Rhaglen Ymchwil a Datblygu Allweddol Cenedlaethol Tsieina (Rhif 2017YFB1002900, Rhif 2017YFB0404800).

Datganiad y Bwrdd Adolygu Sefydliadol:

Ddim yn berthnasol.

Datganiad Cydsyniad Gwybodus:

Ddim yn berthnasol.

Datganiad Argaeledd Data:

Ddim yn berthnasol.

Gwrthdaro Buddiannau:

Nid yw'r awduron yn datgan unrhyw wrthdaro buddiannau.

Cyfeiriadau

1. Ye, M. ; Shen, J.; Lin, G. ; Xiang, T.; Hoi, S. Dysgu Dyfnion i Ail-adnabod Person: Arolwg a Rhagolygon. IEEE Traws. Patrwm rhefrol. Mach. deallus. 2021, 44, 2872–2893. [CrossRef] [PubMed]

2. Zhang, L.; Li, W. ; Yu, L. ; Haul, L. ; Ning, X. GmFace: Swyddogaeth benodol ar gyfer cynrychioli delwedd wyneb. Yn dangos 2021, 68, 102022. [CrossRef]

3. Niu, C. ; Nan, F. ; Wang, X. Model cynhyrchu wyneb blaen uwch-ddatrys yn seiliedig ar 3DDFA a CBAM. Yn dangos 2021, 69, 102043. [CrossRef]

4. Ruan, LH; Han, YX; Haul, JR; Chen, QC; Li, JQ Cydnabod mynegiant wyneb mewn senarios achludiad wyneb: Aml-rwydwaith dewis llwybr. Yn dangos 2022, 74, 102245. [CrossRef]

5. Chen, KW; Lai, CC; Lee, PJ; Chen, CS; Huang, YP Dysgu Addasol ar gyfer Olrhain Targedau a Gwir Gysylltu Darganfod Ar Draws Camerâu Lluosog nad ydynt yn Gorgyffwrdd. IEEE Traws. Amlaidd. 2011, 13, 625–638. [CrossRef]

6. Khamis, S.; Kuo, CH; Singh, VK; Shet, VD; Davis, LS Cyd-ddysgu ar gyfer Ail-Adnabod Person sy'n Cyson i Briodoledd. Yn Nhrafodion y Gynhadledd Ewropeaidd ar Weledigaeth Cyfrifiadurol, Zurich, y Swistir, 6–12 Medi 2014; pp. 134–146.

7. Yang, X. ; Wang, M.; Tao, D. Ail-Adnabod Person â Dysgu Metrig gan Ddefnyddio Gwybodaeth Freintiedig. IEEE Traws. Proses Delwedd. 2018, 27, 791–805. [CrossRef] [PubMed]

8. Haul, Y. ; Zheng, L. ; Yang, Y.; Tian, ​​Q. ; Wang, S. Modelau Tu Hwnt i Ran: Adalw Person gyda Phwlio Rhan Mireinio. Yn Nhrafodion y Gynhadledd Ewropeaidd ar Weledigaeth Cyfrifiadurol, Munich, yr Almaen, 8–14 Medi 2018; tt 501–518.

9. Zhao, H.; Tian, ​​M.; Haul, S. ; Jing, S.; Tang, X. Spindle Net: Ail-adnabod Person gyda Rhanbarth Corff Dynol Nodwedd dan Arweiniad Dadelfeniad a Chyfuniad. Yn Nhrafodion Cynhadledd IEEE 2017 ar Weledigaeth Cyfrifiadurol a Chydnabyddiaeth Patrymau (CVPR), Honolulu, HI, UDA, 21–26 Gorffennaf 2017; 907–915.

10. Zhu, J.; Yang, H.; Wang, J.; Zhang, W. Chwilio person yn seiliedig ar ddisgrifiad gyda rhwydweithiau paru aml-graen. Yn dangos 2021, 69, 102039. [CrossRef]

11. Guo, N. ; Di, K.; Liu, H.; Wang, Y.; Qiao, J. Cyfunodd ymagwedd feta-ddysgu seiliedig ar fetrig mecanwaith sylw a dysgu ensemble ar gyfer dysgu ychydig ergydion. Disp. Technol. Appl. 2021, 70, 102065. [CrossRef]

12. Geirrhos, R. ; Rubisch, P.; Michaelis, C.; Bethge, M.; Wichmann, FA; Brendel, W. Mae CNNs a hyfforddwyd gan ImageNet yn gogwyddo tuag at wead; mae tueddiad siâp cynyddol yn gwella cywirdeb a chadernid. Yn Nhrafodion y Gynhadledd Ryngwladol ar Gynrychiolaeth Dysgu, New Orleans, LA, UDA, 6–9 Mai 2019.

13. Jiang, Z.; Yuan, Y.; Wang, Q. Rhwydwaith sy'n ymwybodol o gyfuchliniau ar gyfer segmentu semantig trwy ddyfnder addasol. Neurogyfrifiadura 2018, 284, 27–35. [CrossRef]

14. Wei, XL; Hu, GAN; Gao, TS; Wang, J.; Deng, B. Rhwydwaith niwral convolutional aml-raddfa ar gyfer adnabod gwead. Yn dangos 2022, 75, 102324. [CrossRef]

15. Ru, HA; Lei, MA; Jh, B. ; Xc, C. T-GAN: Fframwaith dysgu dwfn ar gyfer rhagfynegi rhwydweithiau cymhleth amseryddol gyda chyfluniad graff addasol a mecanwaith sylw. Yn dangos 2021, 68, 102023.

For more information:1950477648nn@gmail.com