Bærbar ring oversetter tegnspråk til tekst

Forskere ved Cornell University har utviklet en bærbar enhet, «SpellRing», som ved hjelp av kunstig intelligens og mikrosonar-teknologi kan oversette amerikansk tegnspråk (ASL) til tekst i sanntid.

ASL brukes av rundt 400.000 personer i USA, inkludert mange barn av døve foreldre (CODA). Siden språket krever mange års læring og øvelse, er det fortsatt begrenset til døve og hørselshemmede, og teknologiske løsninger har hittil vært upraktiske.

Det skriver Popular Science.

Les mer: Eksperter gjør stort gjennombrudd: Oxford-forskere oppnår teleportasjon med kvantesuperdatamaskin

Kompakt og brukervennlig løsning

Ifølge forsker Hyunchul Lim har tidligere ASL-teknologier vært for store og upraktiske. SpellRing er en enkel og diskret løsning – en liten ring som registrerer de komplekse håndbevegelsene i ASL.

Forskerne ved Cornell har tidligere utviklet lignende teknologier, inkludert verktøy for ansiktsuttrykkstolkning, virtuell virkelighet og lydløs talegjenkjenning.

Slik fungerer SpellRing

SpellRing bygger på en tidligere modell kalt «Ring-a-Pose» og bruker sensorer for å tolke fingerspelling. Enheten består av et lite 3D-printet hus med en mikrofon og en høyttaler, og bæres rundt tommelen.

Når brukeren fingerspeller, sender høyttaleren ut ikke-hørbare lydbølger som fanges opp av mikrofonen, mens en gyrosensor registrerer håndbevegelser. Dataene analyseres av en dyp lærings-algoritme og oversettes i sanntid til tekst på en skjerm.

SpellRing er testet med 20 personer, som stavet over 20.000 ord. Nøyaktigheten varierte fra 82 til 92 prosent, avhengig av ordets kompleksitet.

Potensial og begrensninger

Ifølge forsker Cheng Zhang er det ofte et gap mellom teknologiske utviklere og sluttbrukere. SpellRing bidrar til å redusere dette gapet, men teknologien har fortsatt begrensninger.

Foreløpig kan enheten kun tolke fingerspelling, som utgjør en liten del av ASL. Språket inkluderer også ansiktsuttrykk, kroppsspråk og over 4.000 tegn for hele ord.

«Fingerspelling utgjør bare en liten del av ASL, og vi har en lang vei å gå før vi kan utvikle en fullverdig ASL-tolker», sier Jane Lu, doktorgradsstudent i lingvistikk og medforfatter av studien.

Veien videre

Forskerne jobber nå med å videreutvikle teknologien slik at mikrosonar-systemet kan brukes i briller som fanger opp ansiktsuttrykk og overkroppsbevegelser, noe som kan bringe teknologien nærmere en fullverdig ASL-tolker.

SpellRing: A @CornellCIS-led team has developed an #ArtificialIntelligence-powered ring equipped with micro-sonar technology that can continuously and in real time track fingerspelling in American Sign Language. VIDEO @TheOfficialACM @NSF @CornellGrad https://t.co/tpeWsBwyPa

— Cornell Chronicle (@CornellNews) March 17, 2025

Les mer: Kvinners manglende anerkjennelse: 14 viktige oppfinnelser som faktisk ble laget av kvinner