Daag je geheugen uit! Speel de nieuwe N-Back-game in de Emotiv App
Daag je geheugen uit! Speel de nieuwe N-Back-game in de Emotiv App
Daag je geheugen uit! Speel de nieuwe N-Back-game in de Emotiv App
Hoe je op grote schaal praktijkgericht neurowetenschappelijk onderzoek uitvoert: een casestudy met EmotivLABS.
Quoc Minh Lai
-
Delen:
Dr Nikolas Williams,
EMOTIV-onderzoekswetenschapper.
Wanneer je denkt aan neurowetenschappelijk onderzoek, zie je waarschijnlijk beelden voor je van wetenschappers in witte jassen die grote, dure medische machines bedienen aan een universiteit of in een ziekenhuis. Zeker, sommige neurowetenschappelijke methoden, zoals positronemissietomografie (PET), functionele magnetische-resonantiebeeldvorming (fMRI) en magneto-encefalografie (MEG), vereisen deze grote, complexe systemen met eveneens hoge prijskaartjes. Elektro-encefalografie (EEG)-systemen zijn daarentegen over het algemeen kleiner en minder duur. De technologie is geëvolueerd van papieren registraties en grote computers naar draadloze, mobiele, eenvoudig op te zetten en relatief betaalbare systemen. Naast de kleinere fysieke en financiële belasting is EEG uitgegroeid tot een toonaangevend instrument voor het decoderen van hersenactiviteit dankzij de hoge temporele resolutie. Waar PET en fMRI veranderingen in hersenactiviteit over seconden meten, kan EEG veranderingen detecteren die binnen milliseconden optreden, waardoor processen kunnen worden geïndexeerd die anders mogelijk onopgemerkt blijven.
Wat meet EEG?
Wanneer je neuronen vuren, geven ze kleine hoeveelheden elektriciteit af. Wanneer veel neuronen tegelijk in hetzelfde gebied vuren, bijvoorbeeld wanneer je ergens over nadenkt, is het resulterende elektrische veld buiten de schedel detecteerbaar. EEG-systemen benutten dit fenomeen door simpelweg spanningsveranderingen in de tijd te meten met arrays van sensoren die op de hoofdhuid worden geplaatst. Je kunt deze sensoren zien als kleine microfoons die het elektrische geluid van je hersenen meten. Daarna kunnen we deze signalen omzetten naar digitale vorm, op een computer verzamelen, en verwerken en analyseren om betekenisvolle patronen af te leiden.
Waarom is EEG belangrijk?
Vaak kunnen we dingen niet meten door mensen simpelweg te vragen of hun gedrag te observeren. Zelfs wanneer we het kunnen vragen, rapporteren mensen niet nauwkeurig. EEG geeft ons een venster op de hersenen; een venster dat niet wordt beïnvloed door vooroordelen, attitudes of overtuigingen. Als je bijvoorbeeld iemand vraagt of die zich ontspannen voelt, kan diegene, zelfs als dat niet zo is, geneigd zijn ja te zeggen omdat mensen vaak niet graag toegeven dat ze angstig zijn.
Door hun EEG te observeren, kan een onderzoeker mogelijk vaststellen dat de persoon, in tegenstelling tot wat hij of zij beweert, in feite een hoge arousal ervaart die wijst op een niet-ontspannen toestand. In het laboratorium wordt EEG vaak gebruikt om laag-niveau cognitieve processen te meten, zoals auditieve of visuele perceptie, wat onderzoekers kan helpen deze processen beter te begrijpen of te begrijpen hoe aandoeningen de hersenen beïnvloeden. Dit type technologie is cruciaal voor het begrijpen van fenomenen die niet kunnen worden gerapporteerd of waarschijnlijk verkeerd worden gerapporteerd.
Waarom zouden we EEG buiten het lab doen?
EEG-technologie is uitstekende technologie voor het begrijpen van hersenprocessen. Een groot deel van het EEG-onderzoek in het lab is gericht op het onderzoeken van laag-niveau functies zoals perceptie en cognitie. Labs zijn hiervoor een ideale omgeving omdat het sterk gecontroleerde plaatsen zijn waar onderzoekers externe variabelen kunnen verklaren en verwijderen. We brengen ons leven echter niet door in een lab. We zijn wandelende, pratende, interacterende wezens die dynamische levens leiden, gekenmerkt door rijke en gevarieerde ervaringen. Dit maakt het moeilijk om labstudies te generaliseren naar ongecontroleerde omgevingen. Door de technologie uit het lab te halen, kunnen we mensen en hun hersenactiviteit onderzoeken in real-world omgevingen die dichter liggen bij de manier waarop we daadwerkelijk leven.
Nog niet zo lang geleden was het ondenkbaar om EEG-experimenten buiten het lab uit te voeren. De systemen waren groot en moesten verbonden zijn met versterkers, voedingen en gegevensoverdrachteenheden. Daarnaast was het opzetten van deze systemen tijdrovend en vaak oncomfortabel voor deelnemers. Grote technologische vooruitgangen hebben ervoor gezorgd dat systemen kleiner, goedkoper en draadloos konden worden gebouwd. Dankzij deze grotere draagbaarheid en lagere prijs hebben kosteneffectieve en gebruiksvriendelijke EEG-systemen zich sterk verspreid. EMOTIV is al meer dan tien jaar een leider op dit gebied en bracht als eerste een commercieel verkrijgbaar EEG-systeem op de markt. In die tijd heeft EMOTIV zes verschillende systemen uitgebracht, variërend van tweekanaals oordopjes tot 32-kanaals onderzoekscaps.
De ontwikkeling van deze commerciële systemen had nog een effect: een dramatisch toegenomen toegankelijkheid van neurowetenschappelijke methoden. Neurowetenschap is niet langer uitsluitend voor academici of clinici. Iedereen heeft nu de middelen om deze systemen aan te schaffen voor thuisgebruik. De motivaties daarvoor verschillen per demografie en omvatten recreatieve gebruikers, hobbyisten en burgerwetenschappers. Daarnaast merken commerciële ondernemingen snel op dat ze deze systemen kunnen inzetten in hun sectoren zonder behoefte aan toegewijde interne neurowetenschapsafdelingen.
Wat zijn de real-world toepassingen van EEG?
EEG-toepassingen buiten het lab zijn talrijk en divers. Als klinisch hulpmiddel kan EEG worden gebruikt om de cognitieve functie van mensen longitudinaal te monitoren zonder dat zij een faciliteit hoeven te bezoeken. Onderzoek ondersteunt bijvoorbeeld EEG als biomarker voor dementie (Chatzikonstantinou et al., 2021). Verder kan het zelfs worden gebruikt om de overgang van milde cognitieve stoornis naar dementie te voorspellen (Engedal et al., 2020). Consistente EEG-metingen thuis zouden bijzonder nuttig zijn voor deze populaties, die voornamelijk uit oudere volwassenen bestaan voor wie regelmatig reizen naar een onderzoeksfaciliteit mogelijk niet haalbaar is.
Een ander actueel voorbeeld van een EEG-toepassing in de praktijk is de recente aandacht voor traumatisch hersenletsel in sport. In contactsporten met hoge impact, zoals professioneel voetbal, zijn hersenschuddingen een veelvoorkomend letsel. Hersenschuddingen zijn zorgwekkend omdat ze vaak klinische detectie ontlopen en een schadelijke impact kunnen hebben op het cognitief functioneren van individuen. Bewijs ondersteunt het gebruik van EEG ter ondersteuning van de diagnose van hersenschudding en klinisch management na letsel (Corbin-Berrigan et al., 2020). Zeker, de aanwezigheid van draagbare EEG langs de zijlijn zou een krachtig hulpmiddel zijn om teams te helpen goede beslissingen te nemen over het welzijn van hun spelers.
Commerciële ondernemingen hebben ook veel te winnen met real-world EEG. Neuromarketing is een brede term, maar wordt over het algemeen geassocieerd met het verkrijgen van insight in consumentenvoorkeuren en het voorspellen van gedrag door neurale of andere fysiologische signalen te meten. De waarde van EEG voor het onderzoeken van consumentwensen ligt in het vermogen van de methode om objectieve reacties te indexeren. Soms is wat mensen rapporteren niet hoe zij zich werkelijk voelen, omdat mensen onderhevig zijn aan een grote verscheidenheid aan vooroordelen. Ze kunnen ook een sterke wens hebben om anderen te plezieren of schaamte te vermijden. Zelfs de manier waarop een vraag is geformuleerd kan beïnvloeden hoe iemand een product waarneemt. EEG stelt onderzoekers in staat deze kenmerken te omzeilen en biedt een ongefilterde blik op de manier waarop een individu informatie verwerkt. Door deze datastromen te benutten, kunnen bedrijven traditionele marketinginstrumenten aanvullen of vervangen.
Wat zijn enkele obstakels voor real-world EEG?
Kosten zijn misschien wel de grootste barrière voor het uitvoeren van real-world EEG-experimenten. Hoewel goedkoper dan andere hersenbeeldvormingsinstrumenten, kunnen EEG-systemen nog steeds groot en duur zijn. Om de grote hoeveelheid data te begrijpen zijn verwerkings- en analysepijplijnen nodig. De datasets moeten ook op een veilige manier worden opgeslagen. Dit plaatst interne neurowetenschap buiten bereik van veel kleinere bedrijven.
De kosten van het uitvoeren van real-world EEG worden verder vergroot wanneer we een van de kritieke tekortkomingen van menselijk onderzoek in aanmerking nemen: het probleem van representatieve steekproeven. Veel studies worden beperkt door de realiteit van deelnemerswerving, die vaak terugvalt op gemak (bijv. universiteitsstudenten). Hierdoor wordt veel onderzoek geplaagd door het “WEIRD”-probleem, waarbij de meeste deelnemers wit en opgeleid zijn, uit geïndustrialiseerde regio’s komen, rijk zijn en in democratieën wonen. Alleen EEG buiten het lab brengen lost dit probleem niet op, en de last van het werven van steekproeven met mensen met verschillende culturen, opleidingsniveaus, interesses en ervaringen kan financieel en logistiek onhaalbaar zijn.
Hoe kan ik real-world EEG op schaal uitvoeren?
Gezien de kosten van real-world EEG nemen velen aan dat neurowetenschappelijke studies het domein blijven van goed gefinancierde academische instellingen en bedrijven. Naast het revolutioneren van het landschap met draagbare, goedkope EEG-systemen heeft EMOTIV echter de platforms EmotivPRO Builder en EmotivLABS gelanceerd waarmee bedrijven grootschalige neurowetenschappelijke experimenten kunnen ontwerpen en uitvoeren. EmotivPRO Builder is een intuïtieve, grafische interface die gebruikers volledige controle over een experiment geeft en gebruikers van alle niveaus ondersteunt bij het ontwerpen van EEG-studies. De meer technisch onderlegde gebruiker kan ook PsychoPy-experimenten importeren die zijn geschreven in de programmeertaal Python.
Na het bouwen van een experiment kunnen gebruikers deze uitrollen op EmotivLABS. Dit is niet simpelweg een presentatieplatform, maar stroomlijnt ook de deelnemerswerving via dashboards en geeft onderzoekers toegang tot de brede EMOTIV-contributorpool. Betalingen aan deelnemers kunnen ook via het platform worden afgehandeld. De EMOTIV-contributorpool komt momenteel uit 84 landen. Bijna de helft is tweetalig en omvat mensen met zeer uiteenlopende opleidingsachtergronden.
Voor bedrijven die niet zeker weten hoe ze het best kunnen profiteren van de kracht van neurowetenschap, kan het EMOTIV Research as a Service-team worden ingeschakeld voor advies. Het onderzoeksteam identificeert de kernvragen, ontwerpt een experiment, werft deelnemers, verzamelt, verwerkt en analyseert de data en levert gepersonaliseerde rapporten over de bevindingen. Jouw input is welkom bij elke stap. Je samenwerking met het EMOTIV-onderzoeksteam vertegenwoordigt een echte end-to-end oplossing om deel te nemen aan de neurowetenschappelijke revolutie.
Om een specifieke use-case te illustreren, presenteren we hieronder een casestudy van een recente samenwerking.
The Mentimeter Effect: Een casestudy van real-world EEG met EmotivLABS
Mentimeter is een softwareplatform voor multimediale presentaties. De meeste mensen kennen Microsoft Powerpoint. Ontelbare uren zijn besteed aan het geven van Powerpoint-presentaties waarbij het publiek een passieve rol speelt. Mentimeter stelt gebruikers ook in staat informatie over te brengen met tekst, afbeeldingen, audio en video, maar met een twist. Waar Mentimeter zich onderscheidt, zijn de functies die live, interactieve betrokkenheid van het publiek mogelijk maken. Naast de gebruikelijke slides kunnen presentatoren gebeurtenissen opnemen waarmee het publiek kan interageren met hun persoonlijke apparaten. Publieksleden kunnen bijvoorbeeld stemmen op welke inhoud zij willen uitdiepen in de presentatie. Of ze kunnen hun mening geven over een bepaald onderwerp of quizvragen beantwoorden over wat ze zojuist hebben gezien. Op deze manier maakt Mentimeter dynamischere, levendigere presentaties mogelijk dan Powerpoint.
Mentimeter wist dat ze een bijzonder product hadden en dat mensen het waarschijnlijk boeiender zouden vinden. Ze wilden echter niet uitsluitend vertrouwen op subjectieve rapportages van hun gebruikers. Ze wilden objectieve, gedetailleerde data die precies zouden laten zien wat Mentimeter bijzonder maakt. Ze benaderden EMOTIV om een onderzoeksproject uit te voeren om hier antwoorden op te vinden. Samen met ons onderzoeksteam identificeerden we kernvragen die de essentie van Mentimeters geheime ingrediënt zouden raken.
Kernvragen:
Hoeveel boeiender is een presentatie op Mentimeter in vergelijking met een meer traditionele powerpointpresentatie?
Welke van de speciale functies van Mentimeter trekken de meeste aandacht van het publiek?
Hoe verandert aandacht gedurende de presentatie? Neemt die af zoals te verwachten is bij een lange Powerpoint-presentatie?
Wat is de relatie tussen betrokkenheid en aandacht? Letten mensen meer op wanneer ze betrokken zijn?
Colleges en presentaties gaan vaak over het leren van nieuwe informatie en het onthouden ervan. Helpt Mentimeter ons beter te leren?
Om deze vragen te beantwoorden, ontwikkelde het EMOTIV-onderzoeksteam een op maat gemaakt experiment. Normaal gesproken zou dit type studie worden gedaan door individuen in een ruimte te verzamelen en EEG-data te verzamelen op een lokale computer terwijl deelnemers een traditionele presentatie versus een Mentimeter-presentatie bekijken. Deelnemers uit één gebied werven en hen in een beperkte ruimte verzamelen was om verschillende redenen niet wenselijk.
De eerste reden was simpele logistiek. Om naar onze locatie te komen moesten deelnemers reizen, wat het aantal vrijwilligers kon beperken. Ook kon het werven van deelnemers uit één regio resulteren in een niet-representatieve steekproef. Het tweede probleem was volksgezondheid. Midden in een pandemie was EEG-onderzoek sterk beperkt vanwege het nauwe interpersoonlijke contact dat nodig is om de systemen op te zetten. Door een remote studie te organiseren die de EMOTIV-gebruikersbasis benutte en deze op het EmotivLABS-platform uit te rollen, konden we deze problemen omzeilen. Dit stelde ons in staat een veilige studie uit te voeren die data verzamelde van gebruikers over de hele wereld en EMOTIV’s geavanceerde machine-learningalgoritmen gebruikte om publieksbetrokkenheid, aandacht, interesse en cognitieve stress in real time te beoordelen.
De studie
Om het Mentimeter-effect te evalueren, ontwierpen we een experiment waarin mensen twee presentaties bekeken: één gemaakt met Mentimeter en de andere met Powerpoint. Terwijl ze naar de presentaties keken, verzamelden we op afstand EEG-data en beoordeelden we hun hersenactiviteit op de domeinen betrokkenheid, aandacht, interesse en cognitieve stress. We verzamelden ook demografische data en zelfrapportage-enquêtegegevens.
Deelnemers
Achtentwintig deelnemers werden voor de studie gerekruteerd uit het klantenbestand van EMOTIV, online via e-mailcommunicatie en online formulieren. Deze steekproefomvang was kleiner dan we hadden gewild. We zaten echter onder een strakke planning voor het project en daarom is het opmerkelijk dat we dit aantal in korte tijd konden werven, wat de efficiëntie van deelnemerswerving met EmotivLABS weerspiegelt. Met toestemming werden demografische gegevens verzameld zodat Mentimeter kon begrijpen hoe deze effecten verschillende mensen zouden beïnvloeden.
Deelnemers uit meer dan 15 verschillende landen werden gerekruteerd, met leeftijden variërend van 21 tot 64 jaar. Online, wereldwijde werving stelde ons ook in staat een diverse reeks opleidingsniveaus, beroepen, muzikale vaardigheden en expertise in de relevante onderwerpen vast te leggen. Zie figuren 1 -3 voor deelnemerskenmerken.
Figuur 1. Demografie van deelnemers.
Figuur 2. Opleidingsniveau en muzikale vaardigheid van deelnemers.
Figuur 3. Zelfgerapporteerde beoordelingen van kennis over onderwerpen.
Methode
Via e-mail werd een wervingsenquête verstuurd naar het EMOTIV-klantenbestand voor iedereen die mogelijk geïnteresseerd was in deelname aan een online studie. Met videoconferencingsoftware begonnen we met een oriëntatiesessie waarin we deelnemers de basis uitlegden van hoe het experiment zou worden uitgevoerd. Alle deelnemers stelden hun EMOTIV EPOC, EPOC+ of EPOCX (https://www.emotiv.com/epoc-x/) in vóór de oproep en na een snelle datakwaliteitscontrole door Emotiv’s Director of Research volgde de EmotivLABS-software automatisch hun signaalkwaliteit gedurende de opname.
Het volledige experiment werd gebouwd met de EMOTIV web-platform experiment builder (https://www.emotiv.com/emotivpro/build/). Het EmotivLABS-platform begeleidde de deelnemers door de baseline (stil zitten met ogen open en ogen gesloten), enkele vragenlijsten om vast te stellen of er iets was dat die dag het EEG kon beïnvloeden, en vroeg hen daarna met hun eerste presentatie te beginnen. Een vertegenwoordiger van Mentimeter, Oscar, presenteerde een webinar over één van 2 onderwerpen. Eén presentatie werd gedaan met Mentimeter en de andere met Powerpoint. De presentaties hadden ook verschillende inhoud; de ene was “The Harmonic Series” en de andere “Artificial Intelligence in Music”. We counterbalanceerden deze presentatiecondities om te zorgen dat eventuele effecten niet aan de inhoud, maar aan de gebruikte software werden toegeschreven (zie Figuur 4).
Figuur 4. Counterbalanced condities voor elke groep.
Na de tweede presentatie vulden deelnemers de vragenlijst in en verzamelden we een laatste sessie van baseline-EEG. Zie Figuur 5 voor een overzicht van het protocol.
Figuur 5. Overzicht van het experiment.
Emotiv Performance Metrics
EMOTIV Performance Metrics (PM) zijn neurofysiologische metingen van cognitieve en affectieve toestanden. Het zijn propriëtaire machine-learningalgoritmen die real-time waarden leveren van geaggregeerde elektro-encefalografie (EEG)-metingen; variërende hersengolfamplitudes, ruimtelijke verdelingen, vermogens en frequenties van vurende neuronen in de hersenen.
EEG-data van honderden individuen in gecontroleerde psychologische experimenten en real-life settings zijn verzameld en gebruikt om deze algoritmen te bouwen. Elk van de performance metrics is geschaald en toegespitst op de individuele gebruiker op basis van diens eigen “bereik” van hersenactiviteit (zie Figuur 6 voor een overzicht van de PM’s die in deze studie zijn gebruikt).
Figuur 6. Overzicht van EMOTIV Performance Metrics
Bevindingen
Mentimeter vs Powerpoint: algemene PM-patronen
We onderzochten eerst hersenactiviteit op groepsniveau over elk van de presentaties als geheel. Figuur 7 toont het gemiddelde van elke PM voor Mentimeter-presentaties en Powerpoint-presentaties. Vergeleken met Powerpoint vertoonden individuen statistisch significant lagere niveaus van verveling en hogere niveaus van betrokkenheid, aandacht en cognitieve belasting. Er was geen statistisch verschil in interesseniveaus; de numerieke trend wees echter op meer interesse in de Mentimeter-presentatie.
Figuur 7. Gemiddelde PM over de gehele presentatie vergeleken per presentatieplatform.
Daarna keken we hoe individuen reageerden gedurende elk van de presentaties. In Figuur 8 geven “bredere” vormen meer individuele PM-observaties op die waarde aan en “smallere” vormen minder PM-observaties op die waarde. Deze patronen suggereerden dat Mentimeter-presentaties homogenere reacties opriepen dan Powerpoint. Met andere woorden: mensen reageerden vergelijkbaar op Mentimeter maar vonden Powerpoint meer polariserend.
Figuur 8. Verdelingen van individuele gemiddelde PM vergeleken per presentatieplatform.
Mentimeter vs Powerpoint: PM’s over de tijd
Om een beeld te krijgen van hoe mensen reageerden gedurende de presentatie, berekenden we gemiddelde groeps-PM-waarden per slide voor elk platform (Mentimeter vs Powerpoint) en voor elke inhoud (AI vs Harmonics). Figuur 9 toont de meest opvallende patronen.
Figuur 9. Tijdsverloop van PM’s over slides.
Voor de AI-inhoud waren vervelingsniveaus lager over de gehele presentatie. We zagen een interessant vervelingspatroon in de Harmonics-inhoud, waarbij verveling opliep richting het midden van de presentatie en daarna weer afnam. Dit suggereerde dat het unieke, boeiende karakter van Mentimeter-“events” hielp om oplopende verveling te verlichten die in de loop van een presentatie kan ontstaan.
We zagen betrokkenheidsniveaus die voor Mentimeter hoger waren bij beide typen inhoud gedurende bijna de hele presentatie. Van de 24 totale slides waren er slechts twee gevallen waarin Mentimeter-betrokkenheid niet hoger was dan Powerpoint.
Het Mentimer-effect: Mentimeter-events vergelijken met Powerpoint-slides
Hoewel we over het algemeen zagen dat mensen positief reageerden op Mentimeter, wilden we dieper graven en bekijken hoe de specifieke Mentimeter-events zich verhouden tot Powerpoint-slides. Mentimeter-events zijn momenten waarop het publiek wordt aangemoedigd te interageren met de presentatie via mobiele apparaten. Deelnemers konden bijvoorbeeld worden gevraagd naar hun mening over een onderwerp, of ze kregen een quizvraag gerelateerd aan de presentatie. Figuur 10 toont de gemiddelde PM voor Mentimeter-events en Powerpoint-slides.
Figuur 10. Vergelijking van PM-waarden voor Mentimeter-events en Powerpoint-slides.
We zagen dat, relatief ten opzichte van Powerpoint-slides, Mentimeter-events resulteerden in minder verveling en hogere betrokkenheid, aandacht, interesse en cognitieve belasting. De grootste effecten waren voor verveling en betrokkenheid, met respectievelijk een daling van 16% en een stijging van 13%.
Het Mentimeter-effect: Hoe vergelijken de verschillende Mentimeter-events?
Hoewel Mentimeter-events over het algemeen positieve reacties opriepen bij het publiek, wilden we weten of sommige events beter waren dan andere. De Mentimeter-presentaties bevatten drie soorten events: Opinion-events, waarbij het publiek naar hun mening over een onderwerp werd gevraagd; Quiz-events, waarbij het publiek vragen kreeg over de inhoud van de presentatie; en video-events, waarbij deelnemers een video bekeken. Figuur 11 toont PM-waarden voor elk eventtype. We namen ook Powerpoint-slides op als vergelijking.
Figuur 11. Gemiddelde PM voor elk Mentimeter-eventtype. Gemiddelde PM voor Powerpoint-slide opgenomen ter vergelijking.
Opinion-events lieten het meest consistente effect zien door de minste verveling en de meeste betrokkenheid, aandacht, interesse en cognitieve belasting op te roepen ten opzichte van de andere events. Interessant genoeg riepen video-events doorgaans de meeste verveling en de minste betrokkenheid en aandacht op.
Het Mentimeter-effect: Een nadere blik op betrokkenheid
Hoewel alle PM’s een trend toonden richting een positieve respons op Mentimeter-presentaties, leek betrokkenheid het meest consistente effect te hebben. Voor nadere analyse indexeerden we het punt waarop elke deelnemer zijn of haar maximale betrokkenheids-PM liet zien. Figuur 12 laat zien dat een groter aantal maximale betrokkenheidswaarden optrad tijdens de Mentimeter-presentatie. Daarnaast trad 70% van de maximale betrokkenheidsscores van deelnemers op tijdens een Mentimeter-event.
Figuur 12. Verdeling van maximale betrokkenheids-PM.
Het Mentimeter-effect: Objectieve en subjectieve metingen vergelijken
Hoewel EEG objectieve reacties op stimuli kan indexeren, vormen situaties waarin deze metingen worden versterkt door zelfrapportages overtuigend bewijs voor effecten. Figuur 13 toont subjectieve betrokkenheidsscores voor de vijf betrokkenheidsgerelateerde vragen aan het einde van het experiment.
Figuur 13. Subjectieve betrokkenheidsscores zoals gerapporteerd door deelnemers op een 1-5 Likertschaal “Helemaal niet” tot “Extreem”.
Antwoorden op alle vragen ondersteunden de bevindingen uit de hersendata. In vergelijking met Powerpoint-presentaties resulteerden Mentimeter-presentaties erin dat deelnemers zich meer betrokken voelden bij presentaties, meer betrokken bij de presentator, meer geïnteresseerd in de inhoud, meer plezier ervoeren tijdens de presentatie en het gevoel hadden dat zij meer nieuwe inhoud hadden geleerd tijdens de presentatie.
Samenvatting
Aan het einde van de studie leverde het EMOTIV-onderzoeksteam een gedetailleerd rapport met bevindingen aan Mentimeter. Dit stelde Mentimeter in staat hun product beter te begrijpen en wat het zo’n positieve ervaring maakte voor hun gebruikers. Mentimeter kreeg niet alleen empirische data die aantoonde dat hun product hogere betrokkenheid, aandacht en cognitieve belasting opriep terwijl verveling afnam, maar het leverde ook toepasbare insight in welke speciale functies het meest boeiend waren voor gebruikers. De Mentimeter-write-up van de studieresultaten is te vinden op https://www.mentimeter.com/campaigns/the-mentimeter-effect?
Studies zoals het Mentimeter Effect vertegenwoordigen slechts een fractie van de mogelijkheden voor remote, gestroomlijnde en gepersonaliseerde EEG-experimenten. Van het evalueren van consumentenvoorkeuren tot het onderzoeken van mentale gezondheidskwesties: de EMOTIV-onderzoekssuite is het ideale platform voor schaalbaar EEG-onderzoek. In samenwerking met ons onderzoeksteam kunnen individuen, bedrijven en instellingen de kracht van neurowetenschap benutten om insight in de menselijke populatie te verkrijgen. Deze oplossing vormt het ideale antwoord op moderne neurowetenschap die immuun is voor volksgezondheidscrises, bestand is tegen krimpende budgetten en breed inclusief is voor een wereldwijde gemeenschap.
Dr Nikolas Williams,
EMOTIV-onderzoekswetenschapper.
Wanneer je denkt aan neurowetenschappelijk onderzoek, zie je waarschijnlijk beelden voor je van wetenschappers in witte jassen die grote, dure medische machines bedienen aan een universiteit of in een ziekenhuis. Zeker, sommige neurowetenschappelijke methoden, zoals positronemissietomografie (PET), functionele magnetische-resonantiebeeldvorming (fMRI) en magneto-encefalografie (MEG), vereisen deze grote, complexe systemen met eveneens hoge prijskaartjes. Elektro-encefalografie (EEG)-systemen zijn daarentegen over het algemeen kleiner en minder duur. De technologie is geëvolueerd van papieren registraties en grote computers naar draadloze, mobiele, eenvoudig op te zetten en relatief betaalbare systemen. Naast de kleinere fysieke en financiële belasting is EEG uitgegroeid tot een toonaangevend instrument voor het decoderen van hersenactiviteit dankzij de hoge temporele resolutie. Waar PET en fMRI veranderingen in hersenactiviteit over seconden meten, kan EEG veranderingen detecteren die binnen milliseconden optreden, waardoor processen kunnen worden geïndexeerd die anders mogelijk onopgemerkt blijven.
Wat meet EEG?
Wanneer je neuronen vuren, geven ze kleine hoeveelheden elektriciteit af. Wanneer veel neuronen tegelijk in hetzelfde gebied vuren, bijvoorbeeld wanneer je ergens over nadenkt, is het resulterende elektrische veld buiten de schedel detecteerbaar. EEG-systemen benutten dit fenomeen door simpelweg spanningsveranderingen in de tijd te meten met arrays van sensoren die op de hoofdhuid worden geplaatst. Je kunt deze sensoren zien als kleine microfoons die het elektrische geluid van je hersenen meten. Daarna kunnen we deze signalen omzetten naar digitale vorm, op een computer verzamelen, en verwerken en analyseren om betekenisvolle patronen af te leiden.
Waarom is EEG belangrijk?
Vaak kunnen we dingen niet meten door mensen simpelweg te vragen of hun gedrag te observeren. Zelfs wanneer we het kunnen vragen, rapporteren mensen niet nauwkeurig. EEG geeft ons een venster op de hersenen; een venster dat niet wordt beïnvloed door vooroordelen, attitudes of overtuigingen. Als je bijvoorbeeld iemand vraagt of die zich ontspannen voelt, kan diegene, zelfs als dat niet zo is, geneigd zijn ja te zeggen omdat mensen vaak niet graag toegeven dat ze angstig zijn.
Door hun EEG te observeren, kan een onderzoeker mogelijk vaststellen dat de persoon, in tegenstelling tot wat hij of zij beweert, in feite een hoge arousal ervaart die wijst op een niet-ontspannen toestand. In het laboratorium wordt EEG vaak gebruikt om laag-niveau cognitieve processen te meten, zoals auditieve of visuele perceptie, wat onderzoekers kan helpen deze processen beter te begrijpen of te begrijpen hoe aandoeningen de hersenen beïnvloeden. Dit type technologie is cruciaal voor het begrijpen van fenomenen die niet kunnen worden gerapporteerd of waarschijnlijk verkeerd worden gerapporteerd.
Waarom zouden we EEG buiten het lab doen?
EEG-technologie is uitstekende technologie voor het begrijpen van hersenprocessen. Een groot deel van het EEG-onderzoek in het lab is gericht op het onderzoeken van laag-niveau functies zoals perceptie en cognitie. Labs zijn hiervoor een ideale omgeving omdat het sterk gecontroleerde plaatsen zijn waar onderzoekers externe variabelen kunnen verklaren en verwijderen. We brengen ons leven echter niet door in een lab. We zijn wandelende, pratende, interacterende wezens die dynamische levens leiden, gekenmerkt door rijke en gevarieerde ervaringen. Dit maakt het moeilijk om labstudies te generaliseren naar ongecontroleerde omgevingen. Door de technologie uit het lab te halen, kunnen we mensen en hun hersenactiviteit onderzoeken in real-world omgevingen die dichter liggen bij de manier waarop we daadwerkelijk leven.
Nog niet zo lang geleden was het ondenkbaar om EEG-experimenten buiten het lab uit te voeren. De systemen waren groot en moesten verbonden zijn met versterkers, voedingen en gegevensoverdrachteenheden. Daarnaast was het opzetten van deze systemen tijdrovend en vaak oncomfortabel voor deelnemers. Grote technologische vooruitgangen hebben ervoor gezorgd dat systemen kleiner, goedkoper en draadloos konden worden gebouwd. Dankzij deze grotere draagbaarheid en lagere prijs hebben kosteneffectieve en gebruiksvriendelijke EEG-systemen zich sterk verspreid. EMOTIV is al meer dan tien jaar een leider op dit gebied en bracht als eerste een commercieel verkrijgbaar EEG-systeem op de markt. In die tijd heeft EMOTIV zes verschillende systemen uitgebracht, variërend van tweekanaals oordopjes tot 32-kanaals onderzoekscaps.
De ontwikkeling van deze commerciële systemen had nog een effect: een dramatisch toegenomen toegankelijkheid van neurowetenschappelijke methoden. Neurowetenschap is niet langer uitsluitend voor academici of clinici. Iedereen heeft nu de middelen om deze systemen aan te schaffen voor thuisgebruik. De motivaties daarvoor verschillen per demografie en omvatten recreatieve gebruikers, hobbyisten en burgerwetenschappers. Daarnaast merken commerciële ondernemingen snel op dat ze deze systemen kunnen inzetten in hun sectoren zonder behoefte aan toegewijde interne neurowetenschapsafdelingen.
Wat zijn de real-world toepassingen van EEG?
EEG-toepassingen buiten het lab zijn talrijk en divers. Als klinisch hulpmiddel kan EEG worden gebruikt om de cognitieve functie van mensen longitudinaal te monitoren zonder dat zij een faciliteit hoeven te bezoeken. Onderzoek ondersteunt bijvoorbeeld EEG als biomarker voor dementie (Chatzikonstantinou et al., 2021). Verder kan het zelfs worden gebruikt om de overgang van milde cognitieve stoornis naar dementie te voorspellen (Engedal et al., 2020). Consistente EEG-metingen thuis zouden bijzonder nuttig zijn voor deze populaties, die voornamelijk uit oudere volwassenen bestaan voor wie regelmatig reizen naar een onderzoeksfaciliteit mogelijk niet haalbaar is.
Een ander actueel voorbeeld van een EEG-toepassing in de praktijk is de recente aandacht voor traumatisch hersenletsel in sport. In contactsporten met hoge impact, zoals professioneel voetbal, zijn hersenschuddingen een veelvoorkomend letsel. Hersenschuddingen zijn zorgwekkend omdat ze vaak klinische detectie ontlopen en een schadelijke impact kunnen hebben op het cognitief functioneren van individuen. Bewijs ondersteunt het gebruik van EEG ter ondersteuning van de diagnose van hersenschudding en klinisch management na letsel (Corbin-Berrigan et al., 2020). Zeker, de aanwezigheid van draagbare EEG langs de zijlijn zou een krachtig hulpmiddel zijn om teams te helpen goede beslissingen te nemen over het welzijn van hun spelers.
Commerciële ondernemingen hebben ook veel te winnen met real-world EEG. Neuromarketing is een brede term, maar wordt over het algemeen geassocieerd met het verkrijgen van insight in consumentenvoorkeuren en het voorspellen van gedrag door neurale of andere fysiologische signalen te meten. De waarde van EEG voor het onderzoeken van consumentwensen ligt in het vermogen van de methode om objectieve reacties te indexeren. Soms is wat mensen rapporteren niet hoe zij zich werkelijk voelen, omdat mensen onderhevig zijn aan een grote verscheidenheid aan vooroordelen. Ze kunnen ook een sterke wens hebben om anderen te plezieren of schaamte te vermijden. Zelfs de manier waarop een vraag is geformuleerd kan beïnvloeden hoe iemand een product waarneemt. EEG stelt onderzoekers in staat deze kenmerken te omzeilen en biedt een ongefilterde blik op de manier waarop een individu informatie verwerkt. Door deze datastromen te benutten, kunnen bedrijven traditionele marketinginstrumenten aanvullen of vervangen.
Wat zijn enkele obstakels voor real-world EEG?
Kosten zijn misschien wel de grootste barrière voor het uitvoeren van real-world EEG-experimenten. Hoewel goedkoper dan andere hersenbeeldvormingsinstrumenten, kunnen EEG-systemen nog steeds groot en duur zijn. Om de grote hoeveelheid data te begrijpen zijn verwerkings- en analysepijplijnen nodig. De datasets moeten ook op een veilige manier worden opgeslagen. Dit plaatst interne neurowetenschap buiten bereik van veel kleinere bedrijven.
De kosten van het uitvoeren van real-world EEG worden verder vergroot wanneer we een van de kritieke tekortkomingen van menselijk onderzoek in aanmerking nemen: het probleem van representatieve steekproeven. Veel studies worden beperkt door de realiteit van deelnemerswerving, die vaak terugvalt op gemak (bijv. universiteitsstudenten). Hierdoor wordt veel onderzoek geplaagd door het “WEIRD”-probleem, waarbij de meeste deelnemers wit en opgeleid zijn, uit geïndustrialiseerde regio’s komen, rijk zijn en in democratieën wonen. Alleen EEG buiten het lab brengen lost dit probleem niet op, en de last van het werven van steekproeven met mensen met verschillende culturen, opleidingsniveaus, interesses en ervaringen kan financieel en logistiek onhaalbaar zijn.
Hoe kan ik real-world EEG op schaal uitvoeren?
Gezien de kosten van real-world EEG nemen velen aan dat neurowetenschappelijke studies het domein blijven van goed gefinancierde academische instellingen en bedrijven. Naast het revolutioneren van het landschap met draagbare, goedkope EEG-systemen heeft EMOTIV echter de platforms EmotivPRO Builder en EmotivLABS gelanceerd waarmee bedrijven grootschalige neurowetenschappelijke experimenten kunnen ontwerpen en uitvoeren. EmotivPRO Builder is een intuïtieve, grafische interface die gebruikers volledige controle over een experiment geeft en gebruikers van alle niveaus ondersteunt bij het ontwerpen van EEG-studies. De meer technisch onderlegde gebruiker kan ook PsychoPy-experimenten importeren die zijn geschreven in de programmeertaal Python.
Na het bouwen van een experiment kunnen gebruikers deze uitrollen op EmotivLABS. Dit is niet simpelweg een presentatieplatform, maar stroomlijnt ook de deelnemerswerving via dashboards en geeft onderzoekers toegang tot de brede EMOTIV-contributorpool. Betalingen aan deelnemers kunnen ook via het platform worden afgehandeld. De EMOTIV-contributorpool komt momenteel uit 84 landen. Bijna de helft is tweetalig en omvat mensen met zeer uiteenlopende opleidingsachtergronden.
Voor bedrijven die niet zeker weten hoe ze het best kunnen profiteren van de kracht van neurowetenschap, kan het EMOTIV Research as a Service-team worden ingeschakeld voor advies. Het onderzoeksteam identificeert de kernvragen, ontwerpt een experiment, werft deelnemers, verzamelt, verwerkt en analyseert de data en levert gepersonaliseerde rapporten over de bevindingen. Jouw input is welkom bij elke stap. Je samenwerking met het EMOTIV-onderzoeksteam vertegenwoordigt een echte end-to-end oplossing om deel te nemen aan de neurowetenschappelijke revolutie.
Om een specifieke use-case te illustreren, presenteren we hieronder een casestudy van een recente samenwerking.
The Mentimeter Effect: Een casestudy van real-world EEG met EmotivLABS
Mentimeter is een softwareplatform voor multimediale presentaties. De meeste mensen kennen Microsoft Powerpoint. Ontelbare uren zijn besteed aan het geven van Powerpoint-presentaties waarbij het publiek een passieve rol speelt. Mentimeter stelt gebruikers ook in staat informatie over te brengen met tekst, afbeeldingen, audio en video, maar met een twist. Waar Mentimeter zich onderscheidt, zijn de functies die live, interactieve betrokkenheid van het publiek mogelijk maken. Naast de gebruikelijke slides kunnen presentatoren gebeurtenissen opnemen waarmee het publiek kan interageren met hun persoonlijke apparaten. Publieksleden kunnen bijvoorbeeld stemmen op welke inhoud zij willen uitdiepen in de presentatie. Of ze kunnen hun mening geven over een bepaald onderwerp of quizvragen beantwoorden over wat ze zojuist hebben gezien. Op deze manier maakt Mentimeter dynamischere, levendigere presentaties mogelijk dan Powerpoint.
Mentimeter wist dat ze een bijzonder product hadden en dat mensen het waarschijnlijk boeiender zouden vinden. Ze wilden echter niet uitsluitend vertrouwen op subjectieve rapportages van hun gebruikers. Ze wilden objectieve, gedetailleerde data die precies zouden laten zien wat Mentimeter bijzonder maakt. Ze benaderden EMOTIV om een onderzoeksproject uit te voeren om hier antwoorden op te vinden. Samen met ons onderzoeksteam identificeerden we kernvragen die de essentie van Mentimeters geheime ingrediënt zouden raken.
Kernvragen:
Hoeveel boeiender is een presentatie op Mentimeter in vergelijking met een meer traditionele powerpointpresentatie?
Welke van de speciale functies van Mentimeter trekken de meeste aandacht van het publiek?
Hoe verandert aandacht gedurende de presentatie? Neemt die af zoals te verwachten is bij een lange Powerpoint-presentatie?
Wat is de relatie tussen betrokkenheid en aandacht? Letten mensen meer op wanneer ze betrokken zijn?
Colleges en presentaties gaan vaak over het leren van nieuwe informatie en het onthouden ervan. Helpt Mentimeter ons beter te leren?
Om deze vragen te beantwoorden, ontwikkelde het EMOTIV-onderzoeksteam een op maat gemaakt experiment. Normaal gesproken zou dit type studie worden gedaan door individuen in een ruimte te verzamelen en EEG-data te verzamelen op een lokale computer terwijl deelnemers een traditionele presentatie versus een Mentimeter-presentatie bekijken. Deelnemers uit één gebied werven en hen in een beperkte ruimte verzamelen was om verschillende redenen niet wenselijk.
De eerste reden was simpele logistiek. Om naar onze locatie te komen moesten deelnemers reizen, wat het aantal vrijwilligers kon beperken. Ook kon het werven van deelnemers uit één regio resulteren in een niet-representatieve steekproef. Het tweede probleem was volksgezondheid. Midden in een pandemie was EEG-onderzoek sterk beperkt vanwege het nauwe interpersoonlijke contact dat nodig is om de systemen op te zetten. Door een remote studie te organiseren die de EMOTIV-gebruikersbasis benutte en deze op het EmotivLABS-platform uit te rollen, konden we deze problemen omzeilen. Dit stelde ons in staat een veilige studie uit te voeren die data verzamelde van gebruikers over de hele wereld en EMOTIV’s geavanceerde machine-learningalgoritmen gebruikte om publieksbetrokkenheid, aandacht, interesse en cognitieve stress in real time te beoordelen.
De studie
Om het Mentimeter-effect te evalueren, ontwierpen we een experiment waarin mensen twee presentaties bekeken: één gemaakt met Mentimeter en de andere met Powerpoint. Terwijl ze naar de presentaties keken, verzamelden we op afstand EEG-data en beoordeelden we hun hersenactiviteit op de domeinen betrokkenheid, aandacht, interesse en cognitieve stress. We verzamelden ook demografische data en zelfrapportage-enquêtegegevens.
Deelnemers
Achtentwintig deelnemers werden voor de studie gerekruteerd uit het klantenbestand van EMOTIV, online via e-mailcommunicatie en online formulieren. Deze steekproefomvang was kleiner dan we hadden gewild. We zaten echter onder een strakke planning voor het project en daarom is het opmerkelijk dat we dit aantal in korte tijd konden werven, wat de efficiëntie van deelnemerswerving met EmotivLABS weerspiegelt. Met toestemming werden demografische gegevens verzameld zodat Mentimeter kon begrijpen hoe deze effecten verschillende mensen zouden beïnvloeden.
Deelnemers uit meer dan 15 verschillende landen werden gerekruteerd, met leeftijden variërend van 21 tot 64 jaar. Online, wereldwijde werving stelde ons ook in staat een diverse reeks opleidingsniveaus, beroepen, muzikale vaardigheden en expertise in de relevante onderwerpen vast te leggen. Zie figuren 1 -3 voor deelnemerskenmerken.
Figuur 1. Demografie van deelnemers.
Figuur 2. Opleidingsniveau en muzikale vaardigheid van deelnemers.
Figuur 3. Zelfgerapporteerde beoordelingen van kennis over onderwerpen.
Methode
Via e-mail werd een wervingsenquête verstuurd naar het EMOTIV-klantenbestand voor iedereen die mogelijk geïnteresseerd was in deelname aan een online studie. Met videoconferencingsoftware begonnen we met een oriëntatiesessie waarin we deelnemers de basis uitlegden van hoe het experiment zou worden uitgevoerd. Alle deelnemers stelden hun EMOTIV EPOC, EPOC+ of EPOCX (https://www.emotiv.com/epoc-x/) in vóór de oproep en na een snelle datakwaliteitscontrole door Emotiv’s Director of Research volgde de EmotivLABS-software automatisch hun signaalkwaliteit gedurende de opname.
Het volledige experiment werd gebouwd met de EMOTIV web-platform experiment builder (https://www.emotiv.com/emotivpro/build/). Het EmotivLABS-platform begeleidde de deelnemers door de baseline (stil zitten met ogen open en ogen gesloten), enkele vragenlijsten om vast te stellen of er iets was dat die dag het EEG kon beïnvloeden, en vroeg hen daarna met hun eerste presentatie te beginnen. Een vertegenwoordiger van Mentimeter, Oscar, presenteerde een webinar over één van 2 onderwerpen. Eén presentatie werd gedaan met Mentimeter en de andere met Powerpoint. De presentaties hadden ook verschillende inhoud; de ene was “The Harmonic Series” en de andere “Artificial Intelligence in Music”. We counterbalanceerden deze presentatiecondities om te zorgen dat eventuele effecten niet aan de inhoud, maar aan de gebruikte software werden toegeschreven (zie Figuur 4).
Figuur 4. Counterbalanced condities voor elke groep.
Na de tweede presentatie vulden deelnemers de vragenlijst in en verzamelden we een laatste sessie van baseline-EEG. Zie Figuur 5 voor een overzicht van het protocol.
Figuur 5. Overzicht van het experiment.
Emotiv Performance Metrics
EMOTIV Performance Metrics (PM) zijn neurofysiologische metingen van cognitieve en affectieve toestanden. Het zijn propriëtaire machine-learningalgoritmen die real-time waarden leveren van geaggregeerde elektro-encefalografie (EEG)-metingen; variërende hersengolfamplitudes, ruimtelijke verdelingen, vermogens en frequenties van vurende neuronen in de hersenen.
EEG-data van honderden individuen in gecontroleerde psychologische experimenten en real-life settings zijn verzameld en gebruikt om deze algoritmen te bouwen. Elk van de performance metrics is geschaald en toegespitst op de individuele gebruiker op basis van diens eigen “bereik” van hersenactiviteit (zie Figuur 6 voor een overzicht van de PM’s die in deze studie zijn gebruikt).
Figuur 6. Overzicht van EMOTIV Performance Metrics
Bevindingen
Mentimeter vs Powerpoint: algemene PM-patronen
We onderzochten eerst hersenactiviteit op groepsniveau over elk van de presentaties als geheel. Figuur 7 toont het gemiddelde van elke PM voor Mentimeter-presentaties en Powerpoint-presentaties. Vergeleken met Powerpoint vertoonden individuen statistisch significant lagere niveaus van verveling en hogere niveaus van betrokkenheid, aandacht en cognitieve belasting. Er was geen statistisch verschil in interesseniveaus; de numerieke trend wees echter op meer interesse in de Mentimeter-presentatie.
Figuur 7. Gemiddelde PM over de gehele presentatie vergeleken per presentatieplatform.
Daarna keken we hoe individuen reageerden gedurende elk van de presentaties. In Figuur 8 geven “bredere” vormen meer individuele PM-observaties op die waarde aan en “smallere” vormen minder PM-observaties op die waarde. Deze patronen suggereerden dat Mentimeter-presentaties homogenere reacties opriepen dan Powerpoint. Met andere woorden: mensen reageerden vergelijkbaar op Mentimeter maar vonden Powerpoint meer polariserend.
Figuur 8. Verdelingen van individuele gemiddelde PM vergeleken per presentatieplatform.
Mentimeter vs Powerpoint: PM’s over de tijd
Om een beeld te krijgen van hoe mensen reageerden gedurende de presentatie, berekenden we gemiddelde groeps-PM-waarden per slide voor elk platform (Mentimeter vs Powerpoint) en voor elke inhoud (AI vs Harmonics). Figuur 9 toont de meest opvallende patronen.
Figuur 9. Tijdsverloop van PM’s over slides.
Voor de AI-inhoud waren vervelingsniveaus lager over de gehele presentatie. We zagen een interessant vervelingspatroon in de Harmonics-inhoud, waarbij verveling opliep richting het midden van de presentatie en daarna weer afnam. Dit suggereerde dat het unieke, boeiende karakter van Mentimeter-“events” hielp om oplopende verveling te verlichten die in de loop van een presentatie kan ontstaan.
We zagen betrokkenheidsniveaus die voor Mentimeter hoger waren bij beide typen inhoud gedurende bijna de hele presentatie. Van de 24 totale slides waren er slechts twee gevallen waarin Mentimeter-betrokkenheid niet hoger was dan Powerpoint.
Het Mentimer-effect: Mentimeter-events vergelijken met Powerpoint-slides
Hoewel we over het algemeen zagen dat mensen positief reageerden op Mentimeter, wilden we dieper graven en bekijken hoe de specifieke Mentimeter-events zich verhouden tot Powerpoint-slides. Mentimeter-events zijn momenten waarop het publiek wordt aangemoedigd te interageren met de presentatie via mobiele apparaten. Deelnemers konden bijvoorbeeld worden gevraagd naar hun mening over een onderwerp, of ze kregen een quizvraag gerelateerd aan de presentatie. Figuur 10 toont de gemiddelde PM voor Mentimeter-events en Powerpoint-slides.
Figuur 10. Vergelijking van PM-waarden voor Mentimeter-events en Powerpoint-slides.
We zagen dat, relatief ten opzichte van Powerpoint-slides, Mentimeter-events resulteerden in minder verveling en hogere betrokkenheid, aandacht, interesse en cognitieve belasting. De grootste effecten waren voor verveling en betrokkenheid, met respectievelijk een daling van 16% en een stijging van 13%.
Het Mentimeter-effect: Hoe vergelijken de verschillende Mentimeter-events?
Hoewel Mentimeter-events over het algemeen positieve reacties opriepen bij het publiek, wilden we weten of sommige events beter waren dan andere. De Mentimeter-presentaties bevatten drie soorten events: Opinion-events, waarbij het publiek naar hun mening over een onderwerp werd gevraagd; Quiz-events, waarbij het publiek vragen kreeg over de inhoud van de presentatie; en video-events, waarbij deelnemers een video bekeken. Figuur 11 toont PM-waarden voor elk eventtype. We namen ook Powerpoint-slides op als vergelijking.
Figuur 11. Gemiddelde PM voor elk Mentimeter-eventtype. Gemiddelde PM voor Powerpoint-slide opgenomen ter vergelijking.
Opinion-events lieten het meest consistente effect zien door de minste verveling en de meeste betrokkenheid, aandacht, interesse en cognitieve belasting op te roepen ten opzichte van de andere events. Interessant genoeg riepen video-events doorgaans de meeste verveling en de minste betrokkenheid en aandacht op.
Het Mentimeter-effect: Een nadere blik op betrokkenheid
Hoewel alle PM’s een trend toonden richting een positieve respons op Mentimeter-presentaties, leek betrokkenheid het meest consistente effect te hebben. Voor nadere analyse indexeerden we het punt waarop elke deelnemer zijn of haar maximale betrokkenheids-PM liet zien. Figuur 12 laat zien dat een groter aantal maximale betrokkenheidswaarden optrad tijdens de Mentimeter-presentatie. Daarnaast trad 70% van de maximale betrokkenheidsscores van deelnemers op tijdens een Mentimeter-event.
Figuur 12. Verdeling van maximale betrokkenheids-PM.
Het Mentimeter-effect: Objectieve en subjectieve metingen vergelijken
Hoewel EEG objectieve reacties op stimuli kan indexeren, vormen situaties waarin deze metingen worden versterkt door zelfrapportages overtuigend bewijs voor effecten. Figuur 13 toont subjectieve betrokkenheidsscores voor de vijf betrokkenheidsgerelateerde vragen aan het einde van het experiment.
Figuur 13. Subjectieve betrokkenheidsscores zoals gerapporteerd door deelnemers op een 1-5 Likertschaal “Helemaal niet” tot “Extreem”.
Antwoorden op alle vragen ondersteunden de bevindingen uit de hersendata. In vergelijking met Powerpoint-presentaties resulteerden Mentimeter-presentaties erin dat deelnemers zich meer betrokken voelden bij presentaties, meer betrokken bij de presentator, meer geïnteresseerd in de inhoud, meer plezier ervoeren tijdens de presentatie en het gevoel hadden dat zij meer nieuwe inhoud hadden geleerd tijdens de presentatie.
Samenvatting
Aan het einde van de studie leverde het EMOTIV-onderzoeksteam een gedetailleerd rapport met bevindingen aan Mentimeter. Dit stelde Mentimeter in staat hun product beter te begrijpen en wat het zo’n positieve ervaring maakte voor hun gebruikers. Mentimeter kreeg niet alleen empirische data die aantoonde dat hun product hogere betrokkenheid, aandacht en cognitieve belasting opriep terwijl verveling afnam, maar het leverde ook toepasbare insight in welke speciale functies het meest boeiend waren voor gebruikers. De Mentimeter-write-up van de studieresultaten is te vinden op https://www.mentimeter.com/campaigns/the-mentimeter-effect?
Studies zoals het Mentimeter Effect vertegenwoordigen slechts een fractie van de mogelijkheden voor remote, gestroomlijnde en gepersonaliseerde EEG-experimenten. Van het evalueren van consumentenvoorkeuren tot het onderzoeken van mentale gezondheidskwesties: de EMOTIV-onderzoekssuite is het ideale platform voor schaalbaar EEG-onderzoek. In samenwerking met ons onderzoeksteam kunnen individuen, bedrijven en instellingen de kracht van neurowetenschap benutten om insight in de menselijke populatie te verkrijgen. Deze oplossing vormt het ideale antwoord op moderne neurowetenschap die immuun is voor volksgezondheidscrises, bestand is tegen krimpende budgetten en breed inclusief is voor een wereldwijde gemeenschap.
Dr Nikolas Williams,
EMOTIV-onderzoekswetenschapper.
Wanneer je denkt aan neurowetenschappelijk onderzoek, zie je waarschijnlijk beelden voor je van wetenschappers in witte jassen die grote, dure medische machines bedienen aan een universiteit of in een ziekenhuis. Zeker, sommige neurowetenschappelijke methoden, zoals positronemissietomografie (PET), functionele magnetische-resonantiebeeldvorming (fMRI) en magneto-encefalografie (MEG), vereisen deze grote, complexe systemen met eveneens hoge prijskaartjes. Elektro-encefalografie (EEG)-systemen zijn daarentegen over het algemeen kleiner en minder duur. De technologie is geëvolueerd van papieren registraties en grote computers naar draadloze, mobiele, eenvoudig op te zetten en relatief betaalbare systemen. Naast de kleinere fysieke en financiële belasting is EEG uitgegroeid tot een toonaangevend instrument voor het decoderen van hersenactiviteit dankzij de hoge temporele resolutie. Waar PET en fMRI veranderingen in hersenactiviteit over seconden meten, kan EEG veranderingen detecteren die binnen milliseconden optreden, waardoor processen kunnen worden geïndexeerd die anders mogelijk onopgemerkt blijven.
Wat meet EEG?
Wanneer je neuronen vuren, geven ze kleine hoeveelheden elektriciteit af. Wanneer veel neuronen tegelijk in hetzelfde gebied vuren, bijvoorbeeld wanneer je ergens over nadenkt, is het resulterende elektrische veld buiten de schedel detecteerbaar. EEG-systemen benutten dit fenomeen door simpelweg spanningsveranderingen in de tijd te meten met arrays van sensoren die op de hoofdhuid worden geplaatst. Je kunt deze sensoren zien als kleine microfoons die het elektrische geluid van je hersenen meten. Daarna kunnen we deze signalen omzetten naar digitale vorm, op een computer verzamelen, en verwerken en analyseren om betekenisvolle patronen af te leiden.
Waarom is EEG belangrijk?
Vaak kunnen we dingen niet meten door mensen simpelweg te vragen of hun gedrag te observeren. Zelfs wanneer we het kunnen vragen, rapporteren mensen niet nauwkeurig. EEG geeft ons een venster op de hersenen; een venster dat niet wordt beïnvloed door vooroordelen, attitudes of overtuigingen. Als je bijvoorbeeld iemand vraagt of die zich ontspannen voelt, kan diegene, zelfs als dat niet zo is, geneigd zijn ja te zeggen omdat mensen vaak niet graag toegeven dat ze angstig zijn.
Door hun EEG te observeren, kan een onderzoeker mogelijk vaststellen dat de persoon, in tegenstelling tot wat hij of zij beweert, in feite een hoge arousal ervaart die wijst op een niet-ontspannen toestand. In het laboratorium wordt EEG vaak gebruikt om laag-niveau cognitieve processen te meten, zoals auditieve of visuele perceptie, wat onderzoekers kan helpen deze processen beter te begrijpen of te begrijpen hoe aandoeningen de hersenen beïnvloeden. Dit type technologie is cruciaal voor het begrijpen van fenomenen die niet kunnen worden gerapporteerd of waarschijnlijk verkeerd worden gerapporteerd.
Waarom zouden we EEG buiten het lab doen?
EEG-technologie is uitstekende technologie voor het begrijpen van hersenprocessen. Een groot deel van het EEG-onderzoek in het lab is gericht op het onderzoeken van laag-niveau functies zoals perceptie en cognitie. Labs zijn hiervoor een ideale omgeving omdat het sterk gecontroleerde plaatsen zijn waar onderzoekers externe variabelen kunnen verklaren en verwijderen. We brengen ons leven echter niet door in een lab. We zijn wandelende, pratende, interacterende wezens die dynamische levens leiden, gekenmerkt door rijke en gevarieerde ervaringen. Dit maakt het moeilijk om labstudies te generaliseren naar ongecontroleerde omgevingen. Door de technologie uit het lab te halen, kunnen we mensen en hun hersenactiviteit onderzoeken in real-world omgevingen die dichter liggen bij de manier waarop we daadwerkelijk leven.
Nog niet zo lang geleden was het ondenkbaar om EEG-experimenten buiten het lab uit te voeren. De systemen waren groot en moesten verbonden zijn met versterkers, voedingen en gegevensoverdrachteenheden. Daarnaast was het opzetten van deze systemen tijdrovend en vaak oncomfortabel voor deelnemers. Grote technologische vooruitgangen hebben ervoor gezorgd dat systemen kleiner, goedkoper en draadloos konden worden gebouwd. Dankzij deze grotere draagbaarheid en lagere prijs hebben kosteneffectieve en gebruiksvriendelijke EEG-systemen zich sterk verspreid. EMOTIV is al meer dan tien jaar een leider op dit gebied en bracht als eerste een commercieel verkrijgbaar EEG-systeem op de markt. In die tijd heeft EMOTIV zes verschillende systemen uitgebracht, variërend van tweekanaals oordopjes tot 32-kanaals onderzoekscaps.
De ontwikkeling van deze commerciële systemen had nog een effect: een dramatisch toegenomen toegankelijkheid van neurowetenschappelijke methoden. Neurowetenschap is niet langer uitsluitend voor academici of clinici. Iedereen heeft nu de middelen om deze systemen aan te schaffen voor thuisgebruik. De motivaties daarvoor verschillen per demografie en omvatten recreatieve gebruikers, hobbyisten en burgerwetenschappers. Daarnaast merken commerciële ondernemingen snel op dat ze deze systemen kunnen inzetten in hun sectoren zonder behoefte aan toegewijde interne neurowetenschapsafdelingen.
Wat zijn de real-world toepassingen van EEG?
EEG-toepassingen buiten het lab zijn talrijk en divers. Als klinisch hulpmiddel kan EEG worden gebruikt om de cognitieve functie van mensen longitudinaal te monitoren zonder dat zij een faciliteit hoeven te bezoeken. Onderzoek ondersteunt bijvoorbeeld EEG als biomarker voor dementie (Chatzikonstantinou et al., 2021). Verder kan het zelfs worden gebruikt om de overgang van milde cognitieve stoornis naar dementie te voorspellen (Engedal et al., 2020). Consistente EEG-metingen thuis zouden bijzonder nuttig zijn voor deze populaties, die voornamelijk uit oudere volwassenen bestaan voor wie regelmatig reizen naar een onderzoeksfaciliteit mogelijk niet haalbaar is.
Een ander actueel voorbeeld van een EEG-toepassing in de praktijk is de recente aandacht voor traumatisch hersenletsel in sport. In contactsporten met hoge impact, zoals professioneel voetbal, zijn hersenschuddingen een veelvoorkomend letsel. Hersenschuddingen zijn zorgwekkend omdat ze vaak klinische detectie ontlopen en een schadelijke impact kunnen hebben op het cognitief functioneren van individuen. Bewijs ondersteunt het gebruik van EEG ter ondersteuning van de diagnose van hersenschudding en klinisch management na letsel (Corbin-Berrigan et al., 2020). Zeker, de aanwezigheid van draagbare EEG langs de zijlijn zou een krachtig hulpmiddel zijn om teams te helpen goede beslissingen te nemen over het welzijn van hun spelers.
Commerciële ondernemingen hebben ook veel te winnen met real-world EEG. Neuromarketing is een brede term, maar wordt over het algemeen geassocieerd met het verkrijgen van insight in consumentenvoorkeuren en het voorspellen van gedrag door neurale of andere fysiologische signalen te meten. De waarde van EEG voor het onderzoeken van consumentwensen ligt in het vermogen van de methode om objectieve reacties te indexeren. Soms is wat mensen rapporteren niet hoe zij zich werkelijk voelen, omdat mensen onderhevig zijn aan een grote verscheidenheid aan vooroordelen. Ze kunnen ook een sterke wens hebben om anderen te plezieren of schaamte te vermijden. Zelfs de manier waarop een vraag is geformuleerd kan beïnvloeden hoe iemand een product waarneemt. EEG stelt onderzoekers in staat deze kenmerken te omzeilen en biedt een ongefilterde blik op de manier waarop een individu informatie verwerkt. Door deze datastromen te benutten, kunnen bedrijven traditionele marketinginstrumenten aanvullen of vervangen.
Wat zijn enkele obstakels voor real-world EEG?
Kosten zijn misschien wel de grootste barrière voor het uitvoeren van real-world EEG-experimenten. Hoewel goedkoper dan andere hersenbeeldvormingsinstrumenten, kunnen EEG-systemen nog steeds groot en duur zijn. Om de grote hoeveelheid data te begrijpen zijn verwerkings- en analysepijplijnen nodig. De datasets moeten ook op een veilige manier worden opgeslagen. Dit plaatst interne neurowetenschap buiten bereik van veel kleinere bedrijven.
De kosten van het uitvoeren van real-world EEG worden verder vergroot wanneer we een van de kritieke tekortkomingen van menselijk onderzoek in aanmerking nemen: het probleem van representatieve steekproeven. Veel studies worden beperkt door de realiteit van deelnemerswerving, die vaak terugvalt op gemak (bijv. universiteitsstudenten). Hierdoor wordt veel onderzoek geplaagd door het “WEIRD”-probleem, waarbij de meeste deelnemers wit en opgeleid zijn, uit geïndustrialiseerde regio’s komen, rijk zijn en in democratieën wonen. Alleen EEG buiten het lab brengen lost dit probleem niet op, en de last van het werven van steekproeven met mensen met verschillende culturen, opleidingsniveaus, interesses en ervaringen kan financieel en logistiek onhaalbaar zijn.
Hoe kan ik real-world EEG op schaal uitvoeren?
Gezien de kosten van real-world EEG nemen velen aan dat neurowetenschappelijke studies het domein blijven van goed gefinancierde academische instellingen en bedrijven. Naast het revolutioneren van het landschap met draagbare, goedkope EEG-systemen heeft EMOTIV echter de platforms EmotivPRO Builder en EmotivLABS gelanceerd waarmee bedrijven grootschalige neurowetenschappelijke experimenten kunnen ontwerpen en uitvoeren. EmotivPRO Builder is een intuïtieve, grafische interface die gebruikers volledige controle over een experiment geeft en gebruikers van alle niveaus ondersteunt bij het ontwerpen van EEG-studies. De meer technisch onderlegde gebruiker kan ook PsychoPy-experimenten importeren die zijn geschreven in de programmeertaal Python.
Na het bouwen van een experiment kunnen gebruikers deze uitrollen op EmotivLABS. Dit is niet simpelweg een presentatieplatform, maar stroomlijnt ook de deelnemerswerving via dashboards en geeft onderzoekers toegang tot de brede EMOTIV-contributorpool. Betalingen aan deelnemers kunnen ook via het platform worden afgehandeld. De EMOTIV-contributorpool komt momenteel uit 84 landen. Bijna de helft is tweetalig en omvat mensen met zeer uiteenlopende opleidingsachtergronden.
Voor bedrijven die niet zeker weten hoe ze het best kunnen profiteren van de kracht van neurowetenschap, kan het EMOTIV Research as a Service-team worden ingeschakeld voor advies. Het onderzoeksteam identificeert de kernvragen, ontwerpt een experiment, werft deelnemers, verzamelt, verwerkt en analyseert de data en levert gepersonaliseerde rapporten over de bevindingen. Jouw input is welkom bij elke stap. Je samenwerking met het EMOTIV-onderzoeksteam vertegenwoordigt een echte end-to-end oplossing om deel te nemen aan de neurowetenschappelijke revolutie.
Om een specifieke use-case te illustreren, presenteren we hieronder een casestudy van een recente samenwerking.
The Mentimeter Effect: Een casestudy van real-world EEG met EmotivLABS
Mentimeter is een softwareplatform voor multimediale presentaties. De meeste mensen kennen Microsoft Powerpoint. Ontelbare uren zijn besteed aan het geven van Powerpoint-presentaties waarbij het publiek een passieve rol speelt. Mentimeter stelt gebruikers ook in staat informatie over te brengen met tekst, afbeeldingen, audio en video, maar met een twist. Waar Mentimeter zich onderscheidt, zijn de functies die live, interactieve betrokkenheid van het publiek mogelijk maken. Naast de gebruikelijke slides kunnen presentatoren gebeurtenissen opnemen waarmee het publiek kan interageren met hun persoonlijke apparaten. Publieksleden kunnen bijvoorbeeld stemmen op welke inhoud zij willen uitdiepen in de presentatie. Of ze kunnen hun mening geven over een bepaald onderwerp of quizvragen beantwoorden over wat ze zojuist hebben gezien. Op deze manier maakt Mentimeter dynamischere, levendigere presentaties mogelijk dan Powerpoint.
Mentimeter wist dat ze een bijzonder product hadden en dat mensen het waarschijnlijk boeiender zouden vinden. Ze wilden echter niet uitsluitend vertrouwen op subjectieve rapportages van hun gebruikers. Ze wilden objectieve, gedetailleerde data die precies zouden laten zien wat Mentimeter bijzonder maakt. Ze benaderden EMOTIV om een onderzoeksproject uit te voeren om hier antwoorden op te vinden. Samen met ons onderzoeksteam identificeerden we kernvragen die de essentie van Mentimeters geheime ingrediënt zouden raken.
Kernvragen:
Hoeveel boeiender is een presentatie op Mentimeter in vergelijking met een meer traditionele powerpointpresentatie?
Welke van de speciale functies van Mentimeter trekken de meeste aandacht van het publiek?
Hoe verandert aandacht gedurende de presentatie? Neemt die af zoals te verwachten is bij een lange Powerpoint-presentatie?
Wat is de relatie tussen betrokkenheid en aandacht? Letten mensen meer op wanneer ze betrokken zijn?
Colleges en presentaties gaan vaak over het leren van nieuwe informatie en het onthouden ervan. Helpt Mentimeter ons beter te leren?
Om deze vragen te beantwoorden, ontwikkelde het EMOTIV-onderzoeksteam een op maat gemaakt experiment. Normaal gesproken zou dit type studie worden gedaan door individuen in een ruimte te verzamelen en EEG-data te verzamelen op een lokale computer terwijl deelnemers een traditionele presentatie versus een Mentimeter-presentatie bekijken. Deelnemers uit één gebied werven en hen in een beperkte ruimte verzamelen was om verschillende redenen niet wenselijk.
De eerste reden was simpele logistiek. Om naar onze locatie te komen moesten deelnemers reizen, wat het aantal vrijwilligers kon beperken. Ook kon het werven van deelnemers uit één regio resulteren in een niet-representatieve steekproef. Het tweede probleem was volksgezondheid. Midden in een pandemie was EEG-onderzoek sterk beperkt vanwege het nauwe interpersoonlijke contact dat nodig is om de systemen op te zetten. Door een remote studie te organiseren die de EMOTIV-gebruikersbasis benutte en deze op het EmotivLABS-platform uit te rollen, konden we deze problemen omzeilen. Dit stelde ons in staat een veilige studie uit te voeren die data verzamelde van gebruikers over de hele wereld en EMOTIV’s geavanceerde machine-learningalgoritmen gebruikte om publieksbetrokkenheid, aandacht, interesse en cognitieve stress in real time te beoordelen.
De studie
Om het Mentimeter-effect te evalueren, ontwierpen we een experiment waarin mensen twee presentaties bekeken: één gemaakt met Mentimeter en de andere met Powerpoint. Terwijl ze naar de presentaties keken, verzamelden we op afstand EEG-data en beoordeelden we hun hersenactiviteit op de domeinen betrokkenheid, aandacht, interesse en cognitieve stress. We verzamelden ook demografische data en zelfrapportage-enquêtegegevens.
Deelnemers
Achtentwintig deelnemers werden voor de studie gerekruteerd uit het klantenbestand van EMOTIV, online via e-mailcommunicatie en online formulieren. Deze steekproefomvang was kleiner dan we hadden gewild. We zaten echter onder een strakke planning voor het project en daarom is het opmerkelijk dat we dit aantal in korte tijd konden werven, wat de efficiëntie van deelnemerswerving met EmotivLABS weerspiegelt. Met toestemming werden demografische gegevens verzameld zodat Mentimeter kon begrijpen hoe deze effecten verschillende mensen zouden beïnvloeden.
Deelnemers uit meer dan 15 verschillende landen werden gerekruteerd, met leeftijden variërend van 21 tot 64 jaar. Online, wereldwijde werving stelde ons ook in staat een diverse reeks opleidingsniveaus, beroepen, muzikale vaardigheden en expertise in de relevante onderwerpen vast te leggen. Zie figuren 1 -3 voor deelnemerskenmerken.
Figuur 1. Demografie van deelnemers.
Figuur 2. Opleidingsniveau en muzikale vaardigheid van deelnemers.
Figuur 3. Zelfgerapporteerde beoordelingen van kennis over onderwerpen.
Methode
Via e-mail werd een wervingsenquête verstuurd naar het EMOTIV-klantenbestand voor iedereen die mogelijk geïnteresseerd was in deelname aan een online studie. Met videoconferencingsoftware begonnen we met een oriëntatiesessie waarin we deelnemers de basis uitlegden van hoe het experiment zou worden uitgevoerd. Alle deelnemers stelden hun EMOTIV EPOC, EPOC+ of EPOCX (https://www.emotiv.com/epoc-x/) in vóór de oproep en na een snelle datakwaliteitscontrole door Emotiv’s Director of Research volgde de EmotivLABS-software automatisch hun signaalkwaliteit gedurende de opname.
Het volledige experiment werd gebouwd met de EMOTIV web-platform experiment builder (https://www.emotiv.com/emotivpro/build/). Het EmotivLABS-platform begeleidde de deelnemers door de baseline (stil zitten met ogen open en ogen gesloten), enkele vragenlijsten om vast te stellen of er iets was dat die dag het EEG kon beïnvloeden, en vroeg hen daarna met hun eerste presentatie te beginnen. Een vertegenwoordiger van Mentimeter, Oscar, presenteerde een webinar over één van 2 onderwerpen. Eén presentatie werd gedaan met Mentimeter en de andere met Powerpoint. De presentaties hadden ook verschillende inhoud; de ene was “The Harmonic Series” en de andere “Artificial Intelligence in Music”. We counterbalanceerden deze presentatiecondities om te zorgen dat eventuele effecten niet aan de inhoud, maar aan de gebruikte software werden toegeschreven (zie Figuur 4).
Figuur 4. Counterbalanced condities voor elke groep.
Na de tweede presentatie vulden deelnemers de vragenlijst in en verzamelden we een laatste sessie van baseline-EEG. Zie Figuur 5 voor een overzicht van het protocol.
Figuur 5. Overzicht van het experiment.
Emotiv Performance Metrics
EMOTIV Performance Metrics (PM) zijn neurofysiologische metingen van cognitieve en affectieve toestanden. Het zijn propriëtaire machine-learningalgoritmen die real-time waarden leveren van geaggregeerde elektro-encefalografie (EEG)-metingen; variërende hersengolfamplitudes, ruimtelijke verdelingen, vermogens en frequenties van vurende neuronen in de hersenen.
EEG-data van honderden individuen in gecontroleerde psychologische experimenten en real-life settings zijn verzameld en gebruikt om deze algoritmen te bouwen. Elk van de performance metrics is geschaald en toegespitst op de individuele gebruiker op basis van diens eigen “bereik” van hersenactiviteit (zie Figuur 6 voor een overzicht van de PM’s die in deze studie zijn gebruikt).
Figuur 6. Overzicht van EMOTIV Performance Metrics
Bevindingen
Mentimeter vs Powerpoint: algemene PM-patronen
We onderzochten eerst hersenactiviteit op groepsniveau over elk van de presentaties als geheel. Figuur 7 toont het gemiddelde van elke PM voor Mentimeter-presentaties en Powerpoint-presentaties. Vergeleken met Powerpoint vertoonden individuen statistisch significant lagere niveaus van verveling en hogere niveaus van betrokkenheid, aandacht en cognitieve belasting. Er was geen statistisch verschil in interesseniveaus; de numerieke trend wees echter op meer interesse in de Mentimeter-presentatie.
Figuur 7. Gemiddelde PM over de gehele presentatie vergeleken per presentatieplatform.
Daarna keken we hoe individuen reageerden gedurende elk van de presentaties. In Figuur 8 geven “bredere” vormen meer individuele PM-observaties op die waarde aan en “smallere” vormen minder PM-observaties op die waarde. Deze patronen suggereerden dat Mentimeter-presentaties homogenere reacties opriepen dan Powerpoint. Met andere woorden: mensen reageerden vergelijkbaar op Mentimeter maar vonden Powerpoint meer polariserend.
Figuur 8. Verdelingen van individuele gemiddelde PM vergeleken per presentatieplatform.
Mentimeter vs Powerpoint: PM’s over de tijd
Om een beeld te krijgen van hoe mensen reageerden gedurende de presentatie, berekenden we gemiddelde groeps-PM-waarden per slide voor elk platform (Mentimeter vs Powerpoint) en voor elke inhoud (AI vs Harmonics). Figuur 9 toont de meest opvallende patronen.
Figuur 9. Tijdsverloop van PM’s over slides.
Voor de AI-inhoud waren vervelingsniveaus lager over de gehele presentatie. We zagen een interessant vervelingspatroon in de Harmonics-inhoud, waarbij verveling opliep richting het midden van de presentatie en daarna weer afnam. Dit suggereerde dat het unieke, boeiende karakter van Mentimeter-“events” hielp om oplopende verveling te verlichten die in de loop van een presentatie kan ontstaan.
We zagen betrokkenheidsniveaus die voor Mentimeter hoger waren bij beide typen inhoud gedurende bijna de hele presentatie. Van de 24 totale slides waren er slechts twee gevallen waarin Mentimeter-betrokkenheid niet hoger was dan Powerpoint.
Het Mentimer-effect: Mentimeter-events vergelijken met Powerpoint-slides
Hoewel we over het algemeen zagen dat mensen positief reageerden op Mentimeter, wilden we dieper graven en bekijken hoe de specifieke Mentimeter-events zich verhouden tot Powerpoint-slides. Mentimeter-events zijn momenten waarop het publiek wordt aangemoedigd te interageren met de presentatie via mobiele apparaten. Deelnemers konden bijvoorbeeld worden gevraagd naar hun mening over een onderwerp, of ze kregen een quizvraag gerelateerd aan de presentatie. Figuur 10 toont de gemiddelde PM voor Mentimeter-events en Powerpoint-slides.
Figuur 10. Vergelijking van PM-waarden voor Mentimeter-events en Powerpoint-slides.
We zagen dat, relatief ten opzichte van Powerpoint-slides, Mentimeter-events resulteerden in minder verveling en hogere betrokkenheid, aandacht, interesse en cognitieve belasting. De grootste effecten waren voor verveling en betrokkenheid, met respectievelijk een daling van 16% en een stijging van 13%.
Het Mentimeter-effect: Hoe vergelijken de verschillende Mentimeter-events?
Hoewel Mentimeter-events over het algemeen positieve reacties opriepen bij het publiek, wilden we weten of sommige events beter waren dan andere. De Mentimeter-presentaties bevatten drie soorten events: Opinion-events, waarbij het publiek naar hun mening over een onderwerp werd gevraagd; Quiz-events, waarbij het publiek vragen kreeg over de inhoud van de presentatie; en video-events, waarbij deelnemers een video bekeken. Figuur 11 toont PM-waarden voor elk eventtype. We namen ook Powerpoint-slides op als vergelijking.
Figuur 11. Gemiddelde PM voor elk Mentimeter-eventtype. Gemiddelde PM voor Powerpoint-slide opgenomen ter vergelijking.
Opinion-events lieten het meest consistente effect zien door de minste verveling en de meeste betrokkenheid, aandacht, interesse en cognitieve belasting op te roepen ten opzichte van de andere events. Interessant genoeg riepen video-events doorgaans de meeste verveling en de minste betrokkenheid en aandacht op.
Het Mentimeter-effect: Een nadere blik op betrokkenheid
Hoewel alle PM’s een trend toonden richting een positieve respons op Mentimeter-presentaties, leek betrokkenheid het meest consistente effect te hebben. Voor nadere analyse indexeerden we het punt waarop elke deelnemer zijn of haar maximale betrokkenheids-PM liet zien. Figuur 12 laat zien dat een groter aantal maximale betrokkenheidswaarden optrad tijdens de Mentimeter-presentatie. Daarnaast trad 70% van de maximale betrokkenheidsscores van deelnemers op tijdens een Mentimeter-event.
Figuur 12. Verdeling van maximale betrokkenheids-PM.
Het Mentimeter-effect: Objectieve en subjectieve metingen vergelijken
Hoewel EEG objectieve reacties op stimuli kan indexeren, vormen situaties waarin deze metingen worden versterkt door zelfrapportages overtuigend bewijs voor effecten. Figuur 13 toont subjectieve betrokkenheidsscores voor de vijf betrokkenheidsgerelateerde vragen aan het einde van het experiment.
Figuur 13. Subjectieve betrokkenheidsscores zoals gerapporteerd door deelnemers op een 1-5 Likertschaal “Helemaal niet” tot “Extreem”.
Antwoorden op alle vragen ondersteunden de bevindingen uit de hersendata. In vergelijking met Powerpoint-presentaties resulteerden Mentimeter-presentaties erin dat deelnemers zich meer betrokken voelden bij presentaties, meer betrokken bij de presentator, meer geïnteresseerd in de inhoud, meer plezier ervoeren tijdens de presentatie en het gevoel hadden dat zij meer nieuwe inhoud hadden geleerd tijdens de presentatie.
Samenvatting
Aan het einde van de studie leverde het EMOTIV-onderzoeksteam een gedetailleerd rapport met bevindingen aan Mentimeter. Dit stelde Mentimeter in staat hun product beter te begrijpen en wat het zo’n positieve ervaring maakte voor hun gebruikers. Mentimeter kreeg niet alleen empirische data die aantoonde dat hun product hogere betrokkenheid, aandacht en cognitieve belasting opriep terwijl verveling afnam, maar het leverde ook toepasbare insight in welke speciale functies het meest boeiend waren voor gebruikers. De Mentimeter-write-up van de studieresultaten is te vinden op https://www.mentimeter.com/campaigns/the-mentimeter-effect?
Studies zoals het Mentimeter Effect vertegenwoordigen slechts een fractie van de mogelijkheden voor remote, gestroomlijnde en gepersonaliseerde EEG-experimenten. Van het evalueren van consumentenvoorkeuren tot het onderzoeken van mentale gezondheidskwesties: de EMOTIV-onderzoekssuite is het ideale platform voor schaalbaar EEG-onderzoek. In samenwerking met ons onderzoeksteam kunnen individuen, bedrijven en instellingen de kracht van neurowetenschap benutten om insight in de menselijke populatie te verkrijgen. Deze oplossing vormt het ideale antwoord op moderne neurowetenschap die immuun is voor volksgezondheidscrises, bestand is tegen krimpende budgetten en breed inclusief is voor een wereldwijde gemeenschap.
