Blinde Mark Morad kan met eigen app weer ‘zien’ door AI-bril

Je loopt over de campus. Je kent de route inmiddels goed. Dezelfde gebouwen, dezelfde bomen en dezelfde plekken waar je dagelijks langskomt. Maar hoe ziet die omgeving er eigenlijk uit als je niets kunt zien?

Voor de Egyptische Mark Morad is dat al vijf jaar werkelijkheid. Door een zeldzame aandoening aan zijn oogzenuw verloor hij zijn zicht. Toch ontdekte hij een manier om weer informatie uit zijn omgeving te krijgen. Niet dankzij een medische doorbraak, maar dankzij technologie die hij zelf ontwikkelde: ScribeMe.

De AI-app werkt samen met een camera en kan de omgeving van de gebruiker beschrijven. Inmiddels werkt ScribeMe ook samen met Meta smart glasses. De camera zit daardoor letterlijk op je gezicht. De informatie komt vervolgens rechtstreeks via audio binnen.

En juist de kleine momenten maken het bijzonder.

Ineens weet hij wat er langs de route staat

In een video laat Morad zien hoe ScribeMe op zijn eigen campus werkt. Hij loopt over een route die hij al jaren kent. De weg weet hij inmiddels uit zijn hoofd. Toch krijgt hij nu informatie die hij vroeger nooit kon waarnemen.

De AI vertelt hem bijvoorbeeld over de bomen langs de route. Bomen waar hij waarschijnlijk honderden keren voorbij is gelopen. Nu weet hij eindelijk wat daar staat en hoe zijn omgeving eruitziet.

Dat lijkt misschien een klein detail. Voor iemand die blind is, betekent het veel meer.

Zijn campus wordt ineens meer dan alleen een bekende route. De AI voegt context toe aan de wereld om hem heen.

Van praktisch probleem naar eigen oplossing

Morad begon niet met het plan om een bekende AI-app te bouwen. Hij liep simpelweg tegen een probleem aan waar bestaande hulpmiddelen geen goede oplossing voor boden.

Tekst voorlezen lukt inmiddels prima met verschillende hulpmiddelen. Visuele informatie is lastiger. Denk aan grafieken, diagrammen, foto’s of objecten in een ruimte. Voor een ziende student is veel daarvan direct duidelijk. Voor iemand die blind is, ontbreekt die informatie volledig.

Dus besloot Morad zelf iets te bouwen.

Hij leerde programmeren via online tutorials en ontwikkelde ScribeMe vanuit zijn eigen behoefte. De eerste versie verscheen in 2023. Daarna groeide het project steeds verder uit.

De app kan inmiddels live meekijken met de camera. Gebruikers kunnen vragen stellen over wat er om hen heen gebeurt. De AI probeert vervolgens de relevante informatie te herkennen en hardop te beschrijven.

“Let op een grijze auto”

Een van de mooiste voorbeelden is misschien ook meteen de meest normale.

Morad kan de AI namelijk een specifieke opdracht geven. Bijvoorbeeld wanneer zijn vader hem bij school komt ophalen.

Hij kan vragen om te letten op een grijze auto.

Daarmee verandert de ervaring behoorlijk. Hij hoeft niet eerst zijn telefoon te pakken. Ook hoeft hij niet steeds foto’s te maken en die afzonderlijk te laten analyseren.

De bril kijkt mee terwijl hij gewoon doorloopt.

Zodra de relevante informatie wordt herkend, kan de AI hem daarover informeren.

Dat is precies waarom smart glasses voor dit soort toepassingen interessant zijn. De technologie zit niet meer in je hand. Ze beweegt met je mee.

De AI maakt het begrijpelijk

Een camera op een bril is op zichzelf natuurlijk niet nieuw. Het interessante gedeelte begint daarna.

De camera verzamelt beeld. AI probeert dat beeld vervolgens te begrijpen. Niet alleen door te zeggen wat er letterlijk voor de camera staat, maar door informatie te koppelen aan de vraag van de gebruiker.

Een boom is dan niet zomaar een boom.

De gebruiker kan vragen wat voor object er naast hem staat. Of waar een ingang is. Of wat er verderop gebeurt. De AI kan vervolgens proberen precies die informatie te geven die op dat moment relevant is.

Dat maakt een smartbril veel meer dan een draagbare camera.

Het wordt een soort gesproken laag over de fysieke wereld.

Meta maakt die ervaring handsfree

ScribeMe werkte aanvankelijk vooral via smartphones. Dat was al nuttig, maar een telefoon brengt ook beperkingen met zich mee.

Je moet hem vasthouden. De camera moet ongeveer op de juiste plek worden gericht. En ondertussen wil je je aandacht juist bij je omgeving houden.

Met Meta smart glasses verandert dat.

De camera zit op ooghoogte. De bril kan beelden verzamelen vanuit het perspectief van de gebruiker. De antwoorden komen via de speakers terug.

Dat maakt de technologie een stuk natuurlijker.

Voor iemand die bijvoorbeeld een taststok gebruikt, is dat extra belangrijk. Beide handen blijven vrij en de gebruiker hoeft niet voortdurend met een telefoon bezig te zijn.

Ook buiten de campus krijgt de technologie betekenis

Het verhaal van Morad stopt niet bij zijn eigen universiteit.

Zijn zus Karen gebruikt ScribeMe eveneens. Tijdens een reis naar Kenia gebruikte zij de technologie bijvoorbeeld tijdens een safari. De AI beschreef de dieren om haar heen en gaf informatie over waar ze stonden en wat ze deden.

Daardoor kreeg ze een beeld van een omgeving die ze zelf niet kon zien.

Het laat goed zien hoe breed de toepassing kan worden.

Op school gaat het misschien om een diagram of een gebouw. Buiten kan het gaan om een auto, een straat of een dier. De technologie verandert mee met de situatie.

Smart glasses krijgen hiermee een andere betekenis

Smart glasses worden vaak vooral gezien als de volgende gadget.

Muziek luisteren. Foto’s maken. Berichten beantwoorden. Een AI-assistent gebruiken.

ScribeMe laat een heel andere kant zien.

Voor iemand als Morad is een smartbril geen gadget om iets extra’s te kunnen. Het is een hulpmiddel om informatie terug te krijgen die hij door zijn blindheid mist.

Een boom herkennen langs een bekende route. Weten wat er voor je staat. Een specifieke auto kunnen herkennen.

Het zijn geen spectaculaire functies.

Maar juist daardoor voelt het verhaal zo sterk.

Technologie hoeft niet altijd iets compleet nieuws te doen. Soms is het belangrijkste wat technologie kan doen simpelweg informatie toegankelijk maken die voor anderen vanzelfsprekend is.

Dit maakt ScribeMe bijzonder

• De AI beschrijft de omgeving live via een camera.
• ScribeMe werkt met Meta smart glasses, waardoor de telefoon niet continu nodig is.
• Gebruikers kunnen zelf opdrachten geven over wat de AI moet herkennen.
• De informatie komt via audio binnen, waardoor de handen vrij blijven.
• Morad ontwikkelde de app vanuit zijn eigen behoefte na het verliezen van zijn zicht.
• Ook zijn zus gebruikt ScribeMe, onder meer tijdens een safari in Kenia.
• De technologie wordt inmiddels internationaal gebruikt en ondersteunt meerdere talen.

Voor Morad gaat het uiteindelijk niet om een bril die letterlijk weer laat zien.

Het gaat om iets anders.

Om weer te weten wat er om je heen gebeurt.

Om details te ontdekken op plekken die je al jaren kent. Om zelfstandig een vraag te kunnen stellen en meteen antwoord te krijgen.

En misschien laat juist dit zien waar smart glasses uiteindelijk echt interessant kunnen worden.

Niet wanneer ze nóg meer schermen toevoegen.

Maar wanneer ze de wereld om ons heen begrijpelijker maken.