base di conoscenza
CTRL+F per cercare la tua parola chiave

Labiolettura

La lettura delle labbra , nota anche come lipreading o speechreading , è una tecnica per comprendere il linguaggio interpretando visivamente i movimenti delle labbra, del viso e della lingua quando il suono normale non è disponibile. Si basa anche sulle informazioni fornite dal contesto, dalla conoscenza della lingua e da qualsiasi udienza residua. Sebbene apparentemente usato da persone sorde e con problemi di udito, la maggior parte delle persone con udito normale elabora alcune informazioni sul parlato dalla vista della bocca in movimento.

Processi

Sebbene la percezione del parlato sia considerata un'abilità uditiva, è intrinsecamente multimodale, poiché la produzione del parlato richiede all'oratore di eseguire movimenti delle labbra, dei denti e della lingua che sono spesso visibili nella comunicazione faccia a faccia. Le informazioni provenienti dalle labbra e dal viso supportano la comprensione uditiva e la maggior parte degli ascoltatori fluenti di una lingua sono sensibili alle azioni vocali osservate (vedi effetto McGurk). La misura in cui le persone fanno uso delle azioni vocali viste varia in base alla visibilità dell'azione vocale e alla conoscenza e abilità del percettore.

Fonemi e visemi

Il fonema è la più piccola unità di suono rilevabile in una lingua che serve a distinguere le parole l'una dall'altra. / pit / e / pik / differiscono per un fonema e si riferiscono a concetti diversi. L'inglese parlato ha circa 44 fonemi. Per la lettura delle labbra, il numero di unità visivamente distintive - visemi - è molto più piccolo, quindi diversi fonemi si mappano su alcuni visemi. Questo perché molti fonemi sono prodotti all'interno della bocca e della gola e non possono essere visti. Questi includono consonanti glottali e la maggior parte dei gesti della lingua. Le coppie sonore e non sonore sembrano identiche, come e, e, e, e, e e; allo stesso modo per la nasalizzazione (es. vs.). Gli omofeni sono parole simili quando si leggono le labbra, ma che contengono diversi fonemi. Poiché ci sono circa tre volte più fonemi dei visemi in inglese, si afferma spesso che solo il 30% dei discorsi può essere letto. Gli omofeni sono una fonte cruciale di lettura del labbro.

Co-articolazione

I visemi possono essere catturati come immagini fisse, ma il discorso si svolge nel tempo. L'articolazione regolare dei suoni del parlato in sequenza può significare che i modelli di bocca possono essere "modellati" da un fonema adiacente: il "th" suono in "dente" e in "denti" appare molto diverso a causa del contesto vocale. Questa caratteristica della lettura dinamica del discorso influisce sulla lettura delle labbra "oltre il visema".

Come può "funzionare" con così pochi visemi?

La distribuzione statistica dei fonemi all'interno del lessico di una lingua non è uniforme. Mentre ci sono gruppi di parole che sono fonemicamente simili tra loro ("vicini lessicali", come sputo / sorso / sedere / bastone ... ecc.), Altri sono diversi da tutte le altre parole: sono "unici" in termini di la distribuzione dei loro fonemi ('ombrello' può essere un esempio). Gli utenti abili della lingua sfruttano queste conoscenze nell'interpretazione del discorso, quindi è generalmente più difficile identificare una parola ascoltata con molti vicini lessicali rispetto a una con pochi vicini. Applicando questa intuizione al discorso visto, alcune parole nella lingua possono essere lette in modo inequivocabile anche quando contengono pochi visemi - semplicemente perché nessuna altra parola potrebbe "adattarsi".

Variazione nella leggibilità e abilità

Numerosi fattori influenzano la visibilità di una faccia parlante, tra cui illuminazione, movimento della testa / telecamera, frequenza dei fotogrammi dell'immagine in movimento e distanza dallo spettatore (vedere ad es.). Il movimento della testa che accompagna il linguaggio normale può anche migliorare la lettura delle labbra, indipendentemente dalle azioni orali. Tuttavia, quando la lettura del labbro connette il discorso, la conoscenza dello spettatore della lingua parlata, la familiarità con l'oratore e lo stile del discorso e il contesto del materiale di lettura del labbro sono importanti quanto la visibilità del parlante. Mentre la maggior parte delle persone che ascoltano sono sensibili al parlato visto, c'è una grande variabilità nelle abilità individuali di lettura del parlato. I bravi lipreader sono spesso più precisi dei poveri lipreaders nell'identificare i fonemi dal linguaggio visivo.

Alcuni ricercatori hanno messo in dubbio una semplice misura visiva della "lipreadability". La misura della "classe di equivalenza dei fonemi" tiene conto della struttura statistica del lessico e può anche compensare le differenze individuali nella capacità di leggere le labbra. In linea con questo, l'eccellente lipreading è spesso associato a competenze cognitive di più ampia portata, tra cui competenza linguistica generale, funzione esecutiva e memoria di lavoro.

Lipreading e apprendimento delle lingue nell'udito e nei bambini

I primi mesi

Vedere la bocca gioca un ruolo nella sensibilità precoce del bambino molto giovane al linguaggio e li prepara a diventare oratori a 1-2 anni. Per imitare, un bambino deve imparare a modellare le labbra secondo i suoni che sentono; vedere l'oratore può aiutarli a farlo. I neonati imitano i movimenti della bocca degli adulti come sporgere la lingua o aprire la bocca, che potrebbe essere un precursore di ulteriori imitazioni e di un successivo apprendimento delle lingue. I bambini sono disturbati quando il discorso audiovisivo di un oratore familiare è desincronizzato e tendono a mostrare schemi diversi per volti familiari che non familiari quando abbinati a voci (registrate). I bambini sono sensibili alle illusioni di McGurk mesi prima di aver imparato a parlare. Questi studi e molti altri indicano un ruolo per la visione nello sviluppo della sensibilità al linguaggio (uditivo) nel primo semestre di vita.

I prossimi sei mesi; un ruolo nell'apprendimento di una lingua madre

Fino all'età di circa sei mesi, la maggior parte dei bambini che ascoltano sono sensibili a una vasta gamma di gesti del linguaggio - compresi quelli che possono essere visti in bocca - che possono o meno essere parte della fonologia della loro lingua madre. Ma nel secondo semestre di vita, il bambino in ascolto mostra un restringimento percettivo della struttura fonetica della propria lingua - e può perdere la sensibilità precoce a schemi della bocca che non sono utili. I suoni del parlato / v / e / b / che sono visibilmente distinti in inglese ma non nello spagnolo castigliano sono accuratamente distinti nei bambini esposti in spagnolo e esposti in inglese fino all'età di circa 6 mesi. Tuttavia, i bambini più anziani esposti in Spagna perdono la capacità di "vedere" questa distinzione, mentre vengono mantenuti per i bambini esposti in inglese. Tali studi suggeriscono che piuttosto che l'udito e la visione si sviluppano in modo indipendente durante l'infanzia, l'elaborazione multimodale è la regola, non l'eccezione, nello sviluppo (del linguaggio) del cervello infantile.

Produzione linguistica precoce: da uno a due anni

Dati i numerosi studi che indicano un ruolo della visione nello sviluppo del linguaggio nel bambino pre-linguale, gli effetti della cecità congenita sullo sviluppo del linguaggio sono sorprendentemente piccoli. I diciottenni imparano più rapidamente nuove parole quando le ascoltano e non le imparano quando vengono mostrati i movimenti del linguaggio senza sentire. Tuttavia, i bambini non vedenti dalla nascita possono confondere / m / e / n / nella loro prima produzione di parole inglesi - una confusione raramente osservata nei bambini con udito vedente, dal momento che / m / e / n / sono visibilmente distintivi, ma auditorillymente confusi. Il ruolo della visione nei bambini di età compresa tra 1 e 2 anni può essere meno critico per la produzione della loro lingua madre, poiché, a quell'età, hanno raggiunto le capacità di cui hanno bisogno per identificare e imitare i suoni del linguaggio. Tuttavia, ascoltare una lingua non madrelingua può spostare l'attenzione del bambino sull'impegno visivo e uditivo attraverso la lettura e l'ascolto delle labbra al fine di elaborare, comprendere e produrre parole.

Durante l'infanzia

Gli studi con neonati e bambini pre-linguali usano misure indirette non verbali per indicare la sensibilità al parlato visto. La lettura esplicita delle labbra può essere testata in modo affidabile ascoltando i bambini in età prescolare chiedendo loro di "dire ad alta voce ciò che dico in silenzio". Nei bambini in età scolare, si può facilmente suscitare la lettura di parole familiari a caratteri chiusi come numeri. Le differenze individuali nell'abilità di leggere le labbra, come testato chiedendo al bambino di 'pronunciare la parola che leggi le labbra' o abbinando un'espressione di lettura delle labbra a un'immagine, mostrano una relazione tra abilità di lettura delle labbra ed età.

Nell'udire gli adulti: considerazioni sulla durata della vita

Mentre il parlato silenzioso con labbro delle labbra rappresenta una sfida per la maggior parte delle persone che ascoltano, l'aggiunta della vista dell'oratore al discorso ascoltato migliora l'elaborazione del parlato in molte condizioni. I meccanismi per questo, e i modi precisi in cui aiuta la lettura delle labbra, sono argomenti della ricerca attuale. Vedere l'oratore aiuta a tutti i livelli dell'elaborazione del parlato dalla discriminazione delle caratteristiche fonetiche all'interpretazione delle espressioni pragmatiche. Gli effetti positivi dell'aggiunta della visione al parlato sono maggiori negli ambienti rumorosi rispetto a quelli silenziosi, dove facilitando la percezione del parlato, vedendo chi parla può liberare risorse cognitive, consentendo un'elaborazione più profonda del contenuto del parlato.

Poiché l'udito diventa meno affidabile nelle persone anziane può tendere a fare maggiormente affidamento sulla lettura delle labbra e sono incoraggiati a farlo. Tuttavia, una maggiore dipendenza dalla lettura delle labbra potrebbe non sempre compensare gli effetti della perdita dell'udito legata all'età. Il declino cognitivo dell'invecchiamento può essere preceduto e / o associato a perdita uditiva misurabile. Pertanto, il lipreading potrebbe non essere sempre in grado di compensare completamente l'udito combinato e i decrementi cognitivi legati all'età.

In popolazioni (udenti) specifiche

Numerosi studi riportano anomalie del lipreading in popolazioni con distinti disturbi dello sviluppo. Autismo: le persone con autismo possono mostrare ridotte capacità di leggere le labbra e ridotta dipendenza dalla visione nella percezione del parlato audiovisivo. Ciò può essere associato ad anomalie faccia a faccia in queste persone. Sindrome di Wiliam: le persone con sindrome di Williams mostrano alcuni deficit nella lettura del linguaggio che possono essere indipendenti dalle loro difficoltà visuo-spaziali. Compromissione del linguaggio specifico: sono riportati anche bambini con SLI per mostrare una ridotta sensibilità al lipreading, così come le persone con dislessia.

Sordità

"Quando sei sordo vivi dentro una bottiglia di vetro ben tappata. Vedi il mondo esterno affascinante, ma non ti raggiunge. Dopo aver imparato a leggere le labbra, sei ancora dentro la bottiglia, ma il tappo è uscito e il mondo esterno lentamente ma sicuramente ti viene in mente ". Il dibattito ha imperversato per centinaia di anni sul ruolo della lettura delle labbra (" orale ") rispetto ad altri metodi di comunicazione (più recentemente, comunicazione totale) nell'educazione delle persone sorde. La misura in cui l'uno o l'altro approccio è vantaggioso dipende da una serie di fattori, tra cui il livello di perdita dell'udito della persona sorda, l'età della perdita dell'udito, il coinvolgimento dei genitori e il / i linguaggio / i dei genitori. Quindi c'è una domanda riguardante gli scopi della persona sorda, della sua comunità e dei suoi caregiver. L'obiettivo dell'educazione è migliorare la comunicazione in generale, sviluppare la lingua dei segni come prima lingua o sviluppare abilità nella lingua parlata della comunità uditiva? I ricercatori ora si concentrano su quali aspetti della lingua e della comunicazione possano essere meglio forniti con quali mezzi e in quali contesti, dato lo stato uditivo del bambino e della sua famiglia e i loro piani educativi. Il bilinguismo bimodale (competenza sia nel linguaggio vocale che in quello dei segni) è un approccio attuale dominante nell'educazione linguistica per il bambino sordo.

Le persone sorde sono spesso migliori lettori di labbra rispetto alle persone con udito normale. Alcune persone sorde si esercitano come lipreaders professionisti, ad esempio nel lipreading forense. Nelle persone sorde che hanno un impianto cocleare, l'abilità di lettura delle labbra pre-impianto può prevedere l'elaborazione del parlato post-impianto (uditivo o audiovisivo). Per molte persone non udenti, l'accesso alla comunicazione vocale può essere aiutato quando un messaggio vocale viene trasmesso tramite un oratore professionale e qualificato .

In connessione con il lipreading e lo sviluppo dell'alfabetizzazione, i bambini nati sordi mostrano in genere uno sviluppo ritardato delle capacità di alfabetizzazione che possono riflettere difficoltà nell'acquisire elementi della lingua parlata. In particolare, un'affidabile mappatura fonema-grafema può essere più difficile per i bambini sordi, che devono essere abili lettori di discorsi per padroneggiare questo necessario passo nell'acquisizione dell'alfabetizzazione. L'abilità di leggere le labbra è associata alle capacità di alfabetizzazione negli adulti e nei bambini non udenti e l'allenamento nella lettura delle labbra può aiutare a sviluppare abilità di alfabetizzazione.

Cued Speech usa il lipreading con forme delle mani di accompagnamento che chiariscono la forma visiva (consonante) delle labbra. Si dice che il linguaggio orale sia più facile da imparare per i genitori rispetto a una lingua dei segni, e studi, principalmente dal Belgio, dimostrano che un bambino sordo esposto al linguaggio artificiale durante l'infanzia può fare progressi più efficaci nell'apprendimento di una lingua parlata che dal solo lipreading. È probabile che l'uso della sintesi vocale nell'impianto cocleare per la sordità sia positivo. Un approccio simile, che prevede l'uso di handshapes che accompagnano il parlato visto, è Visual Phonics, che viene utilizzato da alcuni educatori per supportare l'apprendimento della lingua scritta e parlata.

Insegnamento e formazione

Lo scopo dell'insegnamento e dell'addestramento al lipreading è quello di sviluppare la consapevolezza della natura del lipreading e di praticare modi per migliorare la capacità di percepire il linguaggio "ad occhio". Le lezioni di lipreading, spesso chiamate lipreading e gestione delle lezioni di perdita dell'udito , sono principalmente rivolte agli adulti con perdita dell'udito. La percentuale più alta di adulti con perdita dell'udito ha una perdita legata all'età o al rumore, e con entrambi i suoni ad alta frequenza vengono persi per primi. Poiché molte delle consonanti nel linguaggio sono suoni ad alta frequenza, il linguaggio diventa distorto. Gli apparecchi acustici aiutano, ma potrebbero non curarlo. Le lezioni di lipreading hanno dimostrato di essere utili negli studi nel Regno Unito commissionati dall'associazione benefica, Action on Hearing Loss nel 2012.

I formatori riconoscono che il lipreading è un'arte inesatta. Agli studenti viene insegnato a guardare i movimenti delle labbra, della lingua e della mascella, a seguire lo stress e il ritmo del linguaggio, a usare il loro udito residuo, con o senza apparecchi acustici, a guardare l'espressione e il linguaggio del corpo e usare la loro capacità di mettere due e due insieme. Viene loro insegnato l'alfabeto dei lipreader, gruppi di suoni che si assomigliano sulle labbra (visemi) come p, b, m o f, v. Lo scopo è quello di ottenere l'essenza, in modo da avere la fiducia necessaria per unirsi alla conversazione, ed evitare di danneggiare l'isolamento sociale che spesso accompagna la perdita dell'udito. Le lezioni di lipreading sono consigliate a chiunque abbia difficoltà a sentire il rumore e aiutano ad adattarsi alla perdita dell'udito. ATLA (l'associazione per l'insegnamento del lipreading agli adulti) è l'associazione professionale nel Regno Unito per tutor qualificati di lipreading.

test

La maggior parte dei test di lipreading sono stati ideati per misurare le differenze individuali nell'esecuzione di specifiche attività di elaborazione del parlato e per rilevare i cambiamenti nelle prestazioni dopo l'allenamento. I test di lipreading sono stati utilizzati con gruppi relativamente piccoli in contesti sperimentali o come indicatori clinici con singoli pazienti e clienti. Cioè, i test di lipreading fino ad oggi hanno una validità limitata come marcatori di abilità di lipreading nella popolazione generale.

Lipreading e lip-speak in macchina

La lettura automatica delle labbra è stata un argomento di interesse per l'ingegneria computazionale, nonché per i film di fantascienza. L'ingegnere computazionale Steve Omohundro, tra gli altri, è stato il pioniere del suo sviluppo. Nell'animazione facciale, l'obiettivo è generare azioni facciali realistiche, in particolare i movimenti della bocca, che simulano le azioni del linguaggio umano. Gli algoritmi informatici per deformare o manipolare immagini di volti possono essere guidati da un linguaggio sentito o scritto. I sistemi possono essere basati su modelli dettagliati derivati ​​dai movimenti facciali (motion capture); sulla modellizzazione anatomica delle azioni della mascella, della bocca e della lingua; o sulla mappatura delle proprietà note del visema. L'animazione facciale è stata utilizzata nell'allenamento di lettura del parlato (dimostrando come i diversi suoni "sembrano"). Questi sistemi sono un sottoinsieme di modelli di sintesi vocale che mirano a fornire risultati affidabili di tipo "text-to- (seen) -speech". Un obiettivo complementare - il contrario di far muovere i volti nel linguaggio - è sviluppare algoritmi informatici in grado di fornire interpretazioni realistiche del parlato (cioè una trascrizione scritta o una registrazione audio) dai dati video naturali di un volto in azione: questo è il riconoscimento vocale del volto. Anche questi modelli possono provenire da una varietà di dati. Il riconoscimento vocale automatico dal video ha avuto un discreto successo nel distinguere lingue diverse (da un corpus di dati di lingua parlata). I modelli dimostrativi, utilizzando algoritmi di apprendimento automatico, hanno avuto un certo successo nel lipreading di elementi vocali, come parole specifiche, da video e per identificare fonemi difficili da leggere da azioni visive visivamente simili. La lettura vocale basata su macchine sta ora utilizzando con successo algoritmi basati su reti neurali che utilizzano grandi database di oratori e materiale vocale (seguendo il modello di successo per il riconoscimento vocale automatico uditivo).

Gli utilizzi per il lipreading automatico potrebbero includere la lipreading automatizzata di registrazioni di soli video, la lipreading automatizzata di altoparlanti con tratti vocali danneggiati e l'elaborazione del parlato in video faccia a faccia (ad es. Da dati di videocitofono). La lettura automatica delle labbra può aiutare a elaborare discorsi rumorosi o non familiari. Il lipreading automatizzato può contribuire all'identificazione della persona biometrica, sostituendo l'identificazione basata su password.

Il cervello

In seguito alla scoperta che le regioni cerebrali uditive, incluso il giro di Heschl, sono state attivate dal parlato visto, è stato dimostrato che i circuiti neurali per la lettura del parlato includono regioni di elaborazione sovramodale, in particolare il solco temporale superiore (tutte le parti) e le regioni occipitale-temporale inferiore posteriore tra cui regioni specializzate per l'elaborazione di volti e movimenti biologici. In alcuni ma non in tutti gli studi, l'attivazione dell'area di Broca è segnalata per la lettura del parlato, suggerendo che i meccanismi articolatori possono essere attivati ​​nel discorso. Gli studi sull'andamento temporale dell'elaborazione del parlato audiovisivo hanno dimostrato che la vista del parlato può innescare le regioni di elaborazione uditiva prima del segnale acustico. Una migliore abilità di lipreading è associata a una maggiore attivazione nel solco temporale superiore (sinistro) e nelle regioni temporali (visive) inferiori adiacenti nelle persone udenti. Nelle persone non udenti, i circuiti dedicati alla lettura del parlato sembrano essere molto simili a quelli dell'udito, con associazioni simili di attivazione temporale (sinistra) superiore e abilità di lipreading.