Gwell Echdynnu Paramedr Nodwedd O Arwyddion Lleferydd Gan Ddefnyddio Algorithm Dysgu Peiriant(2)

3.7. Set ddata Perfformiwyd prosesau casglu a chynhyrchu setiau data fel a ganlyn. Yn yr astudiaeth hon, defnyddiwyd y set ddata gyda 120 h o sain ar gyfer yr hyfforddiant model. Mae'r set ddata yn cynnwys recordiadau sain llafar sy'n cynnwys brawddegau ag uchafswm o 15 gair sy'n cynnwys cyfanswm o tua 120 h.

ginseng anialwch

Yn ogystal, mae'r set ddata yn cynnwys llawer iawn o wahanol destun i'w ddefnyddio wrth ddatblygu'r model iaith. Casglwyd dros 90,650 o ymadroddion, 415,780 o eiriau, a 65,810 o eiriau unigryw a gynhwyswyd yn y corpws testun, gan arwain at oddeutu 120 h o ddata lleferydd wedi'i drawsgrifio. Rhannwyd y set ddata yn setiau hyfforddi, dilysu a phrofion. Ystadegau'r set ddata

cael eu hadrodd yn Nhabl 3.

Tabl 3. Manylebau'r set ddata.

Rhannwyd y set ddata yn dri ffolder sy'n cyfateb i'r setiau hyfforddi, dilysu a phrofion. Mae pob ffolder yn cynnwys recordiadau sain a thrawsgrifiadau. Mae'r enwau ffeiliau sain a thrawsgrifio cyfatebol yr un fath, ac eithrio bod y recordiadau sain yn cael eu storio fel ffeiliau WAV, tra bod y trawsgrifiadau'n cael eu storio fel ffeiliau TXT gan ddefnyddio'r amgodio UTF-8. Cynrychiolir yr holl drawsgrifiadau gan ddefnyddio'r wyddor Ladin sy'n cynnwys 29 llythyren a symbol collnod. Er mwyn atal gorffitio, gwnaethom gymhwyso technegau cynyddu data yn seiliedig ar aflonyddiad cyflymder a gwella sbectrol.

Cistanche deserticola

4. Dull Arfaethedig

Tasg bwysig i raglenwyr wrth ddatblygu systemau adnabod lleferydd yw creu'r dull gorau posibl ar gyfer mynegiant parametrig signalau lleferydd [45]. Mae'r dull hwn yn galluogi gwahanu seiniau a geiriau llafar yn rhagorol tra'n sicrhau bod siaradwyr yn ansensitif i batrymau ynganu a newidiadau yn yr amgylchedd acwstig. Mae’r rhan fwyaf o wallau mewn adnabod geiriau yn cael eu hachosi gan newid yng nghywair y signal oherwydd newid yn y meicroffon neu wahaniaeth yn nhrawf yr ynganiad [46]. Achos cyffredin arall o gamgymeriadau yw anffurfiadau aflinol ar hap o siâp y sbectrwm, sydd bob amser yn bresennol yn signal lleferydd siaradwr [47,48]. Felly, un o'r tasgau pwysicaf wrth greu systemau adnabod lleferydd effeithiol yw dewis cynrychiolaeth sy'n ddigonol ar gyfer cynnwys y signal a ddadansoddwyd yn ogystal ag ansensitif i leisiau siaradwyr ac amgylcheddau acwstig amrywiol.

Atodiad Cistanche ger fi-Gwella Cof

Yn nodweddiadol mae gan y system a ddefnyddir ar gyfer echdynnu paramedrau nodwedd y gofynion canlynol. Rhaid i'r cynnwys gwybodaeth, hynny yw, y set o baramedrau nodwedd, sicrhau adnabyddiaeth ddibynadwy o elfennau lleferydd adnabyddadwy. Ar ben hynny, rhaid lleihau'r cryfder, hynny yw, cywasgiad uchaf y signal sain, a chydberthynas anstatudol y paramedrau. Rhaid hefyd sicrhau annibyniaeth oddi wrth y siaradwr, hynny yw, tynnu cymaint â phosibl o wybodaeth sy'n ymwneud â nodweddion y siaradwr o fector cymeriadau. Yn olaf, rhaid darparu homogenedd, sy'n cyfeirio at y paramedrau sydd â'r un amrywiant cyfartalog a'r gallu i ddefnyddio metrigau syml i bennu'r affinedd rhwng setiau nodau [49]. Fodd bynnag, nid yw bob amser yn bosibl bodloni'r holl ofynion ar yr un pryd oherwydd bod gofynion o'r fath yn groes i'w gilydd. Dylai'r disgrifiad parametrig o'r elfennau lleferydd fod yn ddigon manwl i'w gwahaniaethu'n ddibynadwy a dylai fod mor laconig â phosib.

cistanche perlysiau Superman

Yn ymarferol, mae'r signal lleferydd a dderbynnir o feicroffon yn cael ei ddigideiddio ar gyfradd samplu o 8 i 22 kHz. Rhennir gwerthoedd rhifiadol cyfresol yn ddarnau lleferydd (fframiau) sy'n para 10 i 30 ms, sy'n cyfateb i rannau lleferydd lled-sefydlog. Mae fector o nodweddion yn cael ei gyfrifo o bob ffrâm, a ddefnyddir wedyn ar lefel acwstig adnabod lleferydd. Ar hyn o bryd, mae ystod eang o ddulliau ar gael ar gyfer cynrychioliad parametrig signalau yn seiliedig ar ddadansoddiad awto-gydberthynas, hidlo llinellol caledwedd, dadansoddiad sbectrol, a LPC. Y dull mwyaf cyffredin o baramedroli lleferydd yw dadansoddiad sbectrol o ddarnau signal a chyfrifo eu cyfernodau ceptral.

Mae MFCCs wedi cael eu defnyddio fel nodweddion addysgiadol ar gyfer y signal lleferydd [41]. Defnyddir y nodweddion hyn yn helaeth mewn adnabod lleferydd ac maent yn seiliedig ar ddau brif gysyniad: graddfeydd ceptral a Mel. Prif fanteision yr algorithm yw ei lefel uchel o gynefindra a rhwyddineb lleferydd. Mae nodweddion MFCC wedi'u gwahanu oddi wrth y signalau lleferydd a gofnodwyd. Mae algorithm MFCC yn defnyddio canlyniadau'r phonogram a'r algorithmau newid sbectrwm. Mae’r algorithm clasurol a ddefnyddir i gyfrifo’r MFCCs i’w weld yn Ffigur 5.

Ffigur 5. Cynllun clasurol ar gyfer cyfrifo MFCCs.

Mae'r astudiaeth hon yn cyflwyno dull cyflym o dynnu paramedrau swyddogaeth o signal lleferydd. Dangosir yr algorithm arfaethedig ar gyfer cyfrifo’r MFCCs yn gyflym yn Ffigur 6.

Ffigur 6. Fframwaith arfaethedig ar gyfer cyfrifo MFCCs.

Rydym yn ystyried dilyniant gweithredu'r algorithm arfaethedig ar gyfer echdynnu'n gyflym y paramedrau ffwythiant o signal lleferydd

4.1. Rhannu'n Fframiau

Yn dilyn hidlo rhagarweiniol, mae'r signal lleferydd wedi'i rannu'n fframiau 16 ms. Mae pob ffrâm (ac eithrio'r gyntaf) yn cynnwys 10 ms olaf y ffrâm flaenorol. Mae'r broses hon yn parhau tan ddiwedd y signal. Yn yr astudiaeth hon, oherwydd bod cyfradd samplu'r signal lleferydd yn 16 kHz, hyd y ffrâm yw N=256, a'r hyd gwrthbwyso yw M=160. Y gorgyffwrdd yw 62.5 y cant o hyd y ffrâm. Yn gyffredinol, argymhellir cwmpas o 50 y cant i 75 y cant o hyd y ffrâm.

4.2. Hanning Window a Gwerthoedd Gostyngol

Defnyddiwyd maint ffenestr Hanning o 1D. Gelwir y ffenestr Hanning hefyd yn ffenestr cosin uchel. Gellir meddwl am ffenestr Hanning fel swm sbectrwm amledd tair ffenestr amser hirsgwar. Gall ddefnyddio'r llabedau ochr i ganslo ei gilydd, gan ddileu ymyrraeth amledd uchel a gollyngiadau ynni. Mae ffenestri Hanning yn swyddogaethau ffenestr defnyddiol iawn.

Atodiad Cistanche ger fi-Gwella Cof

Cliciwch yma i weld cynnyrch Cistanche Gwella Cof ac Atal Clefyd Alzheimer

【Gofyn am fwy】 E-bost:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

Defnyddir blwch pwysau i leihau afluniad a llyfnu'r fframiau unigol. Mae'r signal arnofio sy'n cael ei archwilio yn yr astudiaeth hon yn cynnwys tôn drwchus. Mae maint y tôn gwastad yn cael ei bennu gan faint y tôn pur ar amlder f, sy'n cael ei hidlo trwy ffenestr Hanning.

Agwedd hollbwysig ar y ffenestr hon yw ei bod yn gosod ffiniau'r fframiau i sero. Yn yr achos hwn, gellir cyfrifo'r egni byr wrth basio trwy'r ffenestr, a gellir eu trosglwyddo o'r dilyniant a ddefnyddir i gyfrifo'r egni amplitude isaf. Y nod yw tynnu signalau ynni isel o'r signal trwy gyfrifo egni'r signal wrth lyfnhau'r signal o'r ffenestr hon. Mae'r broses hon yn gofyn am yr hafaliad egni signal canlynol:

lle En yw egni'r darn signal mewnbwn, a xi yw gwerth y signal.

Yn ogystal â'r broses ffenestr gan ddefnyddio (11), caiff y signal ei brosesu yn y cam nesaf, sy'n lleihau'n sylweddol nifer y gwerthoedd sy'n mynd i mewn i'r prosesydd. Mae Ffigur 7 yn cyflwyno'r algorithm prosesu cyfochrog.

Mae maint y ffenestr yn cynrychioli nifer o samplau a hyd. Dyma brif baramedr y dadansoddiad. Mae maint y ffenestr yn dibynnu ar amlder sylfaenol, dwyster a newidiadau yn y signal.

Ffigur 7. Hanning ffenestr algorithm ar gyfer cael gwared ar rannau tawel. 4.3. Switshis Trawsnewid Fourier Amser Byr (STFT) Mae dealltwriaeth reddfol yn bodoli o ystyr uchder uchel neu isel. Mae STFT yn drawsnewidiad Fourierrelated a ddefnyddir i bennu amlder sinwsoidaidd a chynnwys cam rhannau lleol signal wrth iddo newid dros amser. Yn ymarferol, mae cyfrifiant STFT yn golygu rhannu signal amser hirach yn segmentau byrrach o hyd cyfartal, wedi'i ddilyn gan gyfrifiad ar wahân o'r trawsffurfiad Fourier ar bob segment byrrach. Mae hyn yn datgelu sbectrwm Fourier pob segment byrrach. Mae signalau amser arwahanol yn a ddefnyddir yn ymarferol. Mae'r trawsnewidiad amledd amser cyfatebol yn drawsnewidiad Fourier arwahanol, sy'n disgrifio hyd y signal Xn fel un sy'n cynrychioli parth amledd gwerth cymhleth y cyfernodau N. Mae STFT, sy'n disgrifio esblygiad y cydrannau amledd dros amser, yn un o'r offer a ddefnyddir fwyaf ar gyfer dadansoddi a phrosesu lleferydd [50]. Yn debyg i'r sbectrwm ei hun, un fantais i STFT yw bod gan ei baramedrau ddehongliadau corfforol a greddfol. Fel arfer caiff STFT ei ddelweddu gan ddefnyddio sbectra log 20log10 (X(h, k)). Yna gellir gweld sbectra boncyff 2D o'r fath gan ddefnyddio map thermol a elwir yn sbectrogram. Yn nhrydydd cam yr algorithm, mae gweithdrefn newid sbectrol STFT yn cael ei gymhwyso i'r fframiau sy'n cael eu pasio trwy'r ffenestr bwysau. Ceir STFT y signal trwy agor y ffenestri a phennu DFT pob ffenestr. Yn benodol, pennir y trawsnewidiad ar gyfer ffenestri Xn ac Wn y signal mewnbwn fel a ganlyn:

lle mae'r mynegai k yn cyfateb i'r gwerthoedd amlder, ac wn yw'r swyddogaeth ffenestr, sydd fel arfer yn ffenestr Hanning neu ffenestr Gaussian sydd wedi'i chanoli o gwmpas sero.

4.4. Mel Trawsnewid

Yn y pedwerydd cam, mae'r signal sy'n cael ei drosglwyddo i'r band amledd wedi'i rannu'n ystodau gan ddefnyddio ffiiltrau trionglog. Cyfrifir ffiniau'r hidlydd gan ddefnyddio'r amledd sialc. Mae'r trawsnewidiad i'r fifield amledd sialc yn seiliedig ar yr hafaliad canlynol:

lle f yw'r amrediad amledd.

Mae'r switsh gwrthdro yn cael ei bennu fel a ganlyn:

Ystyriwch NN fel nifer y ffiilterau (defnyddir 26 ffiledwyr yn gyffredinol) a llifoedd fflyd, mor uchel â'r ystod amledd dan sylw. Mae'r amrediad hwn yn cael ei drosglwyddo i raddfa Mel a'i rannu'n ystodau croestoriadol NN wedi'u dosbarthu'n gyfartal. Mae'r ffiniau llinol sy'n briodol i'r amledd yn cael eu pennu o fewn y fifield, tra bod y cyfernodau pwysoli a geir yn seiliedig ar ffiltro yn cael eu dynodi gan H. Yn dilyn hynny, mae'r ffidlwyr yn cael eu cymhwyso i fodwlws sgwâr y cyfernodau a gafwyd o'r trawsffurfiad Fourier. Mae'r gwerthoedd a geir yn logarithmig oherwydd y mynegiad canlynol:

Gweithredir yr algorithm dadelfennu gwerth unigol yn y cam terfynol o gyfrifo'r MFCCs.

5. Canlyniadau Arbrofol

Fe wnaethom weithredu a phrofi'r dull arfaethedig yn Visual Studio 2019 C plus plus ar gyfrifiadur personol gyda CPU 4.90 GHz, 32 GB o RAM, a dau GPU Nvidia GeForce 2080Ti, fel y dangosir yn Nhabl 4. Profwyd y system mewn gwahanol amgylcheddau dyfais i gwerthuso perfformiad y dull echdynnu nodwedd signal. Yn yr arbrofion, yn ystod gweithrediad yr algorithm (Ffigur 8), pan oedd dilyniant arwynebau'r signal yn n=15, gostyngwyd nifer y gwerthoedd 40-50 y cant, a chynyddodd yr amser prosesu 1. 2-plyg. O ganlyniad, dangosodd yr algorithm hwn effeithlonrwydd sylweddol uwch. Ar ben hynny, roedd yr algorithm hwn yn galluogi gwahanu a dileu ardaloedd o dawelwch wrth fynd trwy ffenestr Hanning.

Mae sawl ffordd bosibl ar gael i osgoi gwastraffu lled band cof. Rydym yn cynnig datrysiad newydd sy'n cynyddu perfformiad cyfrifiadura trwy gyfateb maint y fframiau signal â maint bloc o gof storfa. Gall y math hwn o optimeiddio effeithio'n sylweddol ar y perfformiad prosesu cyfochrog cyffredinol. Fodd bynnag, gellir ei ddefnyddio mewn prosesu signal digidol trwy rannu'r signal yn fframiau trwy weithrediadau ar broseswyr aml-graidd. Fodd bynnag, yn ymarferol, mae'r detholiad fel arfer yn cael ei berfformio ar raddfa fach, sy'n cyfateb i led y bws data sy'n cysylltu'r cof storfa i'r prif gof a maint ei bloc. Mae ein dull yn gweithredu'r defnydd gorau posibl o'r atgofion hyn mewn cyfrifiadura cyfochrog. Mae trefniadaeth y cof storfa yn chwarae rhan hanfodol mewn algorithmau prosesu cyfochrog wrth rannu data yn ffrydiau. Yn benodol, dylid addasu presenoldeb effeithiau fector-matrics mewn prosesu signal digidol a maint eu ffrydiau yn ôl maint y blociau storfa. Gellir cyflawni hyn gan ddefnyddio’r dull arfaethedig, fel y dangosir yn Ffigur 9.

Tabl 4. Manylebau manwl y gosodiad arbrofol.

ffigur 8. (a) Signal cychwynol sy'n dod i mewn a (b) ymddangosiad signal ar ôl cymhwyso'r algorithm arfaethedig.

Ffigur 9. Strwythur cyfrifiadurol cyfochrog gan ddefnyddio proseswyr RK3288.

Yn yr adran hon, rydym yn trafod dadansoddiad meintiol i gymharu perfformiad systemau gwahanol. Cymharwyd ein dull ag algo rithms adnabod lleferydd adnabyddus yn seiliedig ar ddulliau dysgu dwfn. Mae metrigau gwerthuso yn hanfodol ar gyfer cyfrifiadura strategaethau amrywiol ar gyfer adnabod lleferydd ac asesu perfformiad gwahanol ddulliau. Er i ni ddefnyddio canlyniadau astudiaethau eraill i gymharu, nid ydym yn sicr a ydynt yn wir oherwydd nid yw codau ffynhonnell a setiau data'r dulliau hyn ar gael i'r cyhoedd i wirio'r perfformiad gwirioneddol. Mae Ffigur 10 yn dangos canlyniad ail-symud y rhannau tawel yn ystod taith darn signal lleferydd trwy ffenestr Han ning yn seiliedig ar yr algorithm cyflym arfaethedig. Mae’r canlyniadau cyflymder a gafwyd o’r dadansoddiad i’w gweld yn Nhabl 5.

Ffigur 10. k gwerth algorithm KNN (gyda dewis nodwedd).

Tabl 5. Canlyniadau arbrofol y dull arfaethedig.

Mae ystod wedi'i phennu er mwyn canfod graddau'r gymdogaeth sy'n rhoi'r gwerth cywirdeb gorau yn yr algorithm KNN. Mae'r ystod benodedig yn cwmpasu 1-25. Yn Ffigur 10, defnyddiwyd graff yr algorithm KNN gyda dewis nodwedd. Pan archwiliwyd y graff, pan oedd gwerth y gymdogaeth yn 1 ar y dechrau, roedd y cywirdeb hyfforddi yn llawer uwch na chywirdeb y prawf. Yn yr algorithm KNN a grëwyd gan ddefnyddio'r nodweddion a ddewiswyd trwy gydberthynas, penderfynwyd bod cywirdeb y model yn 99.15 y cant yn y set ddata hyfforddi a 97.35 y cant yn y set ddata prawf.

Defnyddir y gyfradd gwallau geiriau (WER) neu gyfradd gwallau nod yn nodweddiadol i werthuso cywirdeb echdynnu nodwedd o signal lleferydd. Mae'r rhain yn fatricsau gwrthrychol sy'n ddefnyddiol ar gyfer cymhariaeth deg o dechnegau adnabod. Yn ein hastudiaethau blaenorol [51-56], fe wnaethom gyfrifo metrigau fel y mesur F (FM), manwl gywirdeb, a galw i gof. Y FM yw'r cyfartaledd pwysol sy'n cydbwyso'r mesuriadau rhwng y cyfraddau manwl gywirdeb a'r cyfraddau galw i gof. Y cywirdeb yw cymhareb nifer yr arsylwadau cadarnhaol a ragfynegwyd yn gywir i gyfanswm nifer yr arsylwadau cadarnhaol a ragfynegwyd. Yr adalw yw cymhareb nifer yr arsylwadau cadarnhaol a ragfynegwyd yn gywir i gyfanswm nifer yr arsylwadau yn y dosbarth gwirioneddol, fel y nodir yn (9). Gellir defnyddio’r hafaliadau canlynol i gyfrifo cywirdeb cyfartalog a chyfraddau dwyn i gof dulliau echdynnu nodweddion:

lle mae TP yn dynodi nifer y positifau gwirioneddol, mae FP yn dynodi nifer y positifau ffug, ac mae FN yn dynodi nifer y negatifau ffug.

Cyfrifir y FM gan ddefnyddio (10), gan ystyried trachywiredd a galw i gof.

Cyfartaledd FM, adalw, a manwl gywirdeb y dull arfaethedig oedd 98.4 y cant . Digwyddodd canfod ffug mewn 1.6 y cant o achosion oherwydd sŵn diangen signalau wrth y meicroffon. Roedd ystod cywirdeb y model rhwng 0 ac 1, a chyrhaeddodd y sgoriau amcangyfrif metrig eu gwerthoedd gorau yn 1. Cyflwynir gwerthusiad o'n dull a dulliau echdynnu nodwedd lleferydd eraill a gyhoeddwyd yn ddiweddar yn Nhabl 6. Yr un nifer defnyddiwyd nodweddion ar gyfer cymhariaeth deg. Dadansoddwyd cyfanswm o 325 o samplau lleferydd o bob grŵp o bynciau â chefndir nodwedd tebyg. Archwiliwyd hefyd effeithiau gwahanol hyd ffrâm yn ôl nifer y cloddiau hidlo yn y MFCC a gwahanol hyd ffrâm yn nhrefn y LPC i gael gwell cywirdeb.

Tabl 6. Canlyniadau cywirdeb meintiol echdynnu nodwedd lleferydd.

Fel y soniwyd yn flaenorol, y WER yw'r mesur mwyaf cyffredin ar gyfer perfformiad adnabod lleferydd. Fe'i cyfrifir trwy gymharu trawsgrifiad cyfeirio ag allbwn yr adnabyddydd lleferydd. Yn seiliedig ar y gymhariaeth hon, mae'n bosibl cyfrifo nifer y gwallau, sydd fel arfer yn perthyn i dri chategori: (1) mewnosodiadau pan nad yw gair yn bresennol yn y cyfeiriad yn allbwn yr adnabyddiaeth lleferydd awtomatig (ASR), (2) dileadau pan fydd gair yn cael ei fethu yn yr allbwn ASR, a (3) amnewidiadau pan ddrysir gair â gair arall. Gellir cyfrifo'r WER fel a ganlyn.

lle S yw nifer yr amnewidiadau geiriau a gydnabyddir yn anghywir, D yw nifer y dileadau, I yw nifer y mewnosodiadau, ac N yw nifer y geiriau yn y trawsgrifiad cyfeirio. Y prif fater wrth gyfrifo'r sgôr hwn yw'r aliniad rhwng y dilyniannau dau air. Gellir pennu hyn trwy raglennu deinamig gan ddefnyddio pellter Levenshtein [67].

Yn seiliedig ar Dabl 6, gwnaethom ddadansoddiad ystadegol i ddangos cywirdeb cyfartalog y dulliau a gymharwyd gan ddefnyddio metrig gwerthuso WER, fel y dangosir yn Ffigur 11. Roedd yr echdynnwr nodwedd gwell yn rhoi cywirdeb o tua 98.4 y cant, tra bod y dulliau eraill wedi rhoi cywirdeb rhwng 78 y cant a 96 y cant . Defnyddiwyd y canlyniadau a ddarparwyd yn y papurau perthnasol i'w cymharu; fodd bynnag, nid yw'n hawdd gwirio cywirdeb y gwerthoedd hyn oherwydd nid yw codau ffynhonnell a setiau data'r dulliau hyn ar gael i'r cyhoedd i gadarnhau eu perfformiad gwirioneddol. Serch hynny, yn achos golygfeydd safonol, dangoswyd y dull arfaethedig yn arbrofol i ddarparu cywirdeb echdynnu nodweddion lleferydd rhagorol trwy leihau'r amser cyfrifiannol, hyd yn oed pan fo'r data lleferydd yn swnllyd neu o ansawdd isel.

Ffigur 11. Canlyniadau meintiol dulliau echdynnu nodwedd signal lleferydd gan ddefnyddio graffiau fertigol.

Ar ben hynny, gwnaethom werthuso canlyniadau ffug-bositif y dulliau a ddewiswyd. Fel y gellir ei weld o Ffigur 12, roedd gan y dull arfaethedig y nifer lleiaf o wallau. At hynny, roedd y dull cyfrifiant cyfochrog hynod effeithlon wedi lleihau'n sylweddol y dewis nodwedd signal sain a gwallau echdynnu. Roedd gorffitio yn un o'r prif faterion yn ystod yr hyfforddiant, ac mae bron pob model dysgu peiriant yn dioddef ohono. Fe wnaethom geisio lleihau'r risg o orffitio gan ddefnyddio techneg dewis nodwedd sy'n anelu yn lle hynny at raddio pwysigrwydd y nodweddion presennol yn y set ddata a thaflu rhai llai pwysig (nid oes unrhyw nodweddion newydd yn cael eu creu).

Ffigur 12. Canlyniadau gweladwy o arbrofion echdynnu nodwedd signal lleferydd ffug-positif.

Mae Tabl 7 yn dangos canlyniadau perfformiad y dulliau a ddefnyddiwyd mewn amgylcheddau adnabod lleferydd yn seiliedig ar wahanol briodweddau. Nid yw ein hymagwedd arfaethedig yn dioddef o sŵn cefndir diangen a diangen ac nid yw lleisiau dynol o ansawdd isel fel lleisiau cryg, lleisiau a gynhyrchir â dolur gwddf, neu hyd yn oed synau gan bobl sy'n colli llais yn llwyr, yn effeithio arno. Mae ein dull yn anelu at oresgyn y problemau o offer recordio annigonol, sŵn cefndir, acenion a thafodieithoedd anodd, a gwahanol gyweiriau mewn llais. Mewn amgylchedd arferol, cafwyd y canlyniadau gorau ar gyfer canfod ac echdynnu heriau nodwedd lleferydd yn gywir gan ddefnyddio'r dull arfaethedig gyda llai o amser prosesu.

Tabl 7. Adolygiad o berfformiad canfod ac echdynnu nodweddion lleferydd gan ddefnyddio nodweddion amrywiol.

Dosbarthwyd canlyniadau'r dulliau adnabod lleferydd yn bwerus, normal, neu wan ar gyfer y saith categori. Mae'r maen prawf pwerus yn dangos y gall yr algorithm oresgyn pob math o heriau. Mewn cyferbyniad, mae'r maen prawf arferol yn nodi y gall yr algorithm fethu mewn rhai achosion oherwydd nad yw'r ffiniau geiriau wedi'u diffinio ymlaen llaw. Yn olaf, mae'r maen prawf gwan yn awgrymu bod yr algorithm yn annibynadwy o dan sŵn cefndir neu ddirgryniadau.

6. Cyfyngiadau

Mae'n anodd dod i'r casgliad nad yw'r dulliau a gynigir hyd yma yn dangos unrhyw ddiffygion. Gall ein dull arfaethedig hefyd arwain at gamgymeriadau oherwydd amrywiol amgylcheddau sŵn. Er mwyn goresgyn y broblem hon, ein nod oedd lleihau nifer y nodweddion yn y set ddata trwy greu nodweddion newydd o nodweddion presennol [69]. Gan mai gorffitio oedd un o'r prif faterion ar gyfer hyfforddi gwahanol fodelau yn ystod y gystadleuaeth, gallai cyfoethogi'r data hyfforddi trwy ychwanegu samplau data o wahanol adnoddau fod yn ateb posibl ar gyfer gwella'r canlyniadau. Waeth beth fo'r problemau a grybwyllwyd uchod, datgelodd y canlyniadau arbrofol fod ein dull yn gadarn ac yn effeithiol iawn ar gyfer tasgau echdynnu nodwedd lleferydd, gyda chywirdeb cyfartalog o 98.4 y cant a FM o 99.5 y cant.

7. Casgliadau

Mae dull cyfrifiadurol cyfochrog perfformiad uchel newydd wedi'i gynnig ar gyfer systemau adnabod lleferydd gan ddefnyddio dull dysgu peirianyddol. Gellir datrys problemau cyflymu mewn peiriannau ag adnoddau cyfrifiadurol cyfyngedig gan ddefnyddio systemau gwasgaredig. Gellir cynyddu'r cyflymder cyfrifiant mewn systemau adnabod signal, a gellir gwella perfformiad llwyfannau aml-graidd trwy greu a defnyddio algo rithms effeithlon a chyflym. Mae'r canlyniadau'n dangos bod y model arfaethedig yn lleihau'r amser prosesu ac yn gwella cywirdeb echdynnu nodwedd 98.4 y cant trwy ddefnyddio MFCCs yn effeithiol. Gwelwyd bod y nodweddion â gwerthoedd cydberthyniad isel a dynnwyd trwy ddethol nodweddion hefyd yn effeithiol yn llwyddiant y model. Perfformiwyd y dadansoddiad ystadegol ar y data a broseswyd ymlaen llaw, a chynhyrchwyd gwybodaeth ystyrlon o'r data gan ddefnyddio algorithm dysgu peiriant K-cymdogion agosaf (KNN).

Bydd astudiaethau yn y dyfodol yn canolbwyntio ar wella cywirdeb ein dull trwy ddefnyddio dulliau dysgu dwfn a gwneud y gorau o gof storfa proseswyr aml-graidd i ganfod a thynnu signalau lleferydd heb golli ansawdd yn sylweddol. At hynny, rydym yn bwriadu adeiladu model dadansoddi sbectrol yn seiliedig ar brosesu cyfochrog gyda pherfformiad dadansoddi cadarn a fydd yn galluogi sefydlu dyfeisiau wedi'u mewnosod ag adnoddau cyfrifiannol isel gan ddefnyddio setiau data lleferydd Taris [70] yn yr Amgylchedd 3D CNN a 3D U-Net [71 - 75]

Cyfeiriadau

1. Meng, YJ; Liu, WJ; Zhang, RZ; Du, HS Nodwedd Lleferydd Paramedr Echdynnu a Chydnabyddiaeth Seiliedig ar Rhyngosod. Appl. Mech. Mater. 2014, 602–605, 2118–2123. [CrossRef] 2. Musaev, M.; Rakhimov, M. Hyfforddiant Carlam ar gyfer Rhwydweithiau Niwral Convolutional. Yn Nhrafodion Cynhadledd Ryngwladol 2020 ar Wyddor Gwybodaeth a Thechnolegau Cyfathrebu (ICISCT), Tashkent, Uzbekistan, 4-6 Tachwedd 2020; tt 1–5. [CrossRef] 3. Ye, F.; Yang, J. Model Rhwydwaith Niwral Dwfn ar gyfer Adnabod Siaradwyr. Appl. Sci. 2021, 11, 3603. [CrossRef] 4. Musaev, M.; Rakhimov, M. Dull o Fapio Bloc o'r Prif Gof i'r Cache wrth Brosesu'r Arwydd Lleferydd yn Gyfochrog. Yn Nhrafodion Cynhadledd Ryngwladol 2019 ar Wyddor Gwybodaeth a Thechnolegau Cyfathrebu (ICISCT), Karachi, Pacistan, 9–10 Mawrth 2019; tt 1–4. [CrossRef] 5. Jiang, N.; Liu, T. Algorithm segmentu a chlystyru lleferydd gwell yn seiliedig ar SOM a k-moddion. Math. Problem. Eng. 2020, 2020, 3608286. [CrossRef] 6. Hu, W.; Yang, Z.; Chen, C. ; Haul, B. ; Xie, C. Dull segmentu dirgryniad ar gyfer y system aml-weithredu o dyred rheoli rhifiadol. Proses Fideo Delwedd Signal. 2021, 16, 489–496. [CrossRef]

7. Popescu, TD; Aiordachioaie, D. Canfod namau Bearings elfen dreigl gan ddefnyddio segmentiad gorau posibl o signalau dirgrynol. Mech. Syst. Proses Arwyddion. 2019, 116, 370–391. [CrossRef] 8. Shihab, MSH; Aditya, S.; Setu, JH; Imtiaz-Ud-Din, KM; Efat, MIA Techneg Echdynnu Nodwedd GRU-CNN Hybrid ar gyfer Adnabod Siaradwr. Yn Nhrafodion 2020 23dedd Gynhadledd Ryngwladol ar Gyfrifiadureg a Thechnoleg Gwybodaeth (ICCIT), Dhaka, Bangladesh, 19–21 Rhagfyr 2020; tt 1–6. [CrossRef] 9. Korkmaz, O.; Atasoy, A. Adnabod emosiwn o signal lleferydd gan ddefnyddio cyfernodau ceptral amledd mel. Mewn Trafodion y 9fed Gynhadledd Ryngwladol ar Beirianneg Drydanol ac Electroneg (ELECO), Bursa, Twrci, 26–28 Tachwedd 2015; pp. 1254–1257. 10. Ayvaz, U. ; Gürüler, H.; Khan, F.; Ahmed, N.; Whangbo, T.; Abdusalomov, A. Cydnabod Siaradwr Awtomatig Gan Ddefnyddio Cyfernodau Cepstral Mel-Amlder Trwy Ddysgu Peiriannau. CMC-Cyfrifiadur. Mater. Parhewch. 2022, 71, 5511–5521. 11. Al-Qaderi, M.; Lahamer, E.; Rad, A. System Adnabod Siaradwr Dwy Lefel trwy Cyfuno Dosbarthwyr Heterogenaidd a Chydweithrediad Nodwedd Gyflenwol. Synwyr 2021, 21, 5097. [CrossRef] 12. Batur Dinler, Ö.; Aydin, N. Set Paramedr Nodwedd Orau yn Seiliedig ar Rwydweithiau Niwral Cylchol Unedol Gât ar gyfer Canfod Segment Lleferydd. Appl. Sci. 2020, 10, 1273. [CrossRef] 13. Kim, H.; Shin, Gwella Lleferydd Deuol-Mic JW Yn Seiliedig ar TF-GSC gydag Atal Gollyngiadau ac Adfer Signalau. Appl. Sci. 2021, 11, 2816. [CrossRef] 14. Lee, S.-J.; Kwon, H.-Y. Strategaeth Rhagbrosesu ar gyfer Dadwneud Data Lleferydd yn Seiliedig ar Ganfod Segment Lleferydd. Appl. Sci. 2020, 10, 7385. [CrossRef] 15. Rusnac, A.-L.; Grigore, O. Pensaernïaeth CNN a Dulliau Echdynnu Nodwedd ar gyfer Cydnabod Lleferydd Dychmygol EEG. Synwyr 2022, 22, 4679. [CrossRef] [PubMed] 16. Wafa, R.; Khan, MQ; Malik, F. ; Abdusalomov, AB; Cho, YI; Odarchenko, R. Effaith Methodoleg Ystwyth ar Lwyddiant Prosiect, gyda Rôl Gymedrol o Ffit Swydd Person yn Niwydiant TG Pacistan. Appl. Sci. 2022, 12, 10698. [CrossRef] 17. Aggarwal, A. ; Srivastava, A.; Agarwal, A. ; Chahal, N.; Singh, D.; Alnuaim, AA; Alhadlaq, A.; Lee, H.-N. Echdynnu Nodwedd Dwy Ffordd ar gyfer Cydnabod Emosiwn Lleferydd Gan Ddefnyddio Dysgu Dwfn. Synwyr 2022, 22, 2378. [CrossRef] [PubMed] 18. Marini, M. ; Vanello, N.; Fanucci, L. Optimeiddio Paramedrau Echdynnu Nodwedd Siaradwr-Dibynnol i Wella Perfformiad Adnabod Lleferydd Awtomatig ar gyfer Pobl â Dysarthria. Synwyr 2021, 21, 6460. [CrossRef] 19. Tiwari, S.; Jain, A. ; Sharma, AK; Almustafa, KM Phonocardiogram System Cymorth Penderfyniad Diagnostig Cardiaidd Aml-ddosbarth Seiliedig ar Arwydd. Mynediad IEEE 2021, 9, 110710–110722. [CrossRef] 20. Mohtaj, S.; Schmitt, V. ; Möller, S. Model sy'n seiliedig ar Echdyniad Nodwedd ar gyfer Adnabod Lleferydd Casineb. arXiv 2022, arXiv: 2201.04227. 21. Kuldoshbay, A. ; Abdusalomov, A.; Mukhidinov, M.A.; Baratov, N.; Makhmudov, F.; Cho, YI Gwelliant ar gyfer y dull dosbarthu awtomatig ar gyfer delweddau uwchsain a ddefnyddir ar CNN. Int. J. Wavelets Multiresolution Inf. Proses. 2022, 20, 2150054. 22. Passricha, V. ; Aggarwal, RK Cyfuniad o CNN dwfn a LSTM deugyfeiriadol ar gyfer adnabod lleferydd yn awtomatig. J. Deallus. Syst. 2020, 29, 1261–1274. [CrossRef] 23. Mukhamadiyev, A.; Khujayarov, I.; Djuraev, O.; Cho, J. Dull Adnabod Lleferydd Awtomatig yn Seiliedig ar Ddulliau Dysgu Dwfn ar gyfer Iaith Wsbeceg. Synwyr 2022, 22, 3683. [CrossRef] [PubMed] 24. Li, F.; Liu, M.; Zhao, Y.; Kong, L.; Dong, L.; Liu, X. ; Hui, M. Echdynnu a dosbarthu sain y galon gan ddefnyddio rhwydweithiau niwral troellog 1D. EURASIP J. Adv. Proses Arwyddion. 2019, 2019, 59. [CrossRef] 25. Chang, L.-C.; Hung, J.-W. Astudiaeth Ragarweiniol o Echdyniad Nodweddion Lleferydd Cadarn yn Seiliedig ar Fwyhau Tebygolrwydd Cyflyrau Mewn Modelau Acwstig Dwfn. Appl. Syst. Innov. 2022, 5, 71. [CrossRef] 26. Ramírez, J.; Górriz, JM; Segura, Canfod Gweithgaredd Llais JC. Yr Hanfodion a Chadernid y System Adnabod Lleferydd. Mewn Cydnabod a Deall Lleferydd Cadarn; Grimm, M., Kroschel, K., eds.; I-TECH Education and Publishing: Llundain, DU, 2007; tt 1–22. 27. O, S. Echdynnu Nodwedd Lleferydd Cadarn Seiliedig DNN a Dull Dileu Sŵn Signalau Gan Ddefnyddio Hidlydd LMS Rhagfynegiad Cyfartalog Gwell ar gyfer Cydnabod Lleferydd. J. Converg. Inf. Technol. 2021, 11, 1–6. [CrossRef] 28. Abbaschian, BJ; Sierra-Sosa, D.; Elmaghraby, A. Technegau Dysgu Dwfn ar gyfer Adnabod Emosiynau Lleferydd, o Gronfeydd Data i Fodelau. Synwyr 2021, 21, 1249. [CrossRef] 29. Rakhimov, M.; Mamadjanov, D.; Mukhidinov, A. Dull Cyfochrog Perfformiad Uchel at Brosesu Delweddau mewn Cyfrifiadura Dosbarthedig. Yn Nhrafodion 14eg Cynhadledd Ryngwladol IEEE 2020 ar Gymhwyso Technolegau Gwybodaeth a Chyfathrebu (AICT), Uzbekistan, Tashkent, 7-9 Hydref 2020; tt 1–5. [CrossRef] 30. Abdusalomov, A.; Mukhidinov, M.A.; Djuraev, O.; Khamdamov, U.S.; Whangbo, TK Echdynnu Gwrthrych Amlwg Awtomatig yn Seiliedig ar Drothwy Addasol Lleol i Gynhyrchu Graffeg Gyffyrddol. Appl. Sci. 2020, 10, 3350. [CrossRef] 31. Abdusalomov, A.; Whangbo, TK Gwelliant ar gyfer y dull adnabod blaendir gan ddefnyddio techneg tynnu cysgodion ar gyfer amgylcheddau dan do. Int. J. Wavelets Multiresolution Inf. Proses. 2017, 15, 1750039. [CrossRef] 32. Abdusalomov, A.; Whangbo, TK Canfod a Dileu Cysgodion Gwrthrych Symudol Gan Ddefnyddio Geometreg a Gwybodaeth Lliw ar gyfer Ffrydiau Fideo Dan Do. Appl. Sci. 2019, 9, 5165. [CrossRef] 33. Mery, D. Gweledigaeth Cyfrifiadurol ar gyfer Profi Pelydr-X; Springer International Publishing: Cham, y Swistir, 2015; p. 271, ISBN 978-3319207469. 34. Mark, S. Mae delweddaeth lleferydd yn ailgalibradu ffiniau canfyddiad lleferydd. Mynychu. Percept. Seicoffys. 2016, 78, 1496–1511. [CrossRef] 35. Mudgal, E. ; Mukuntharaj, A.S.; Modak, MU; Rao, Templed YS Cydnabod Lleferydd Amser Real Gan Ddefnyddio Hidlau Digidol ar DSP-TMS320F28335. Yn Nhrafodion Pedwerydd Cynhadledd Ryngwladol 2018 ar Reoli Cyfathrebu Cyfrifiadurol ac Awtomeiddio (ICCUBEA), Pune, India, 16-18 Awst 2018; tt 1–6. [CrossRef]