Towards a « Neuro-Encryption » system : from understanding the influence of brain oscillations in vision to controlling perception

by Sasskia Brüers

Doctoral thesis in Neurosciences, comportement et cognition

Under the supervision of Rufin VanRullen.

defended on 27-10-2017

in Toulouse 3 , under the authority of École doctorale Comportement, Langage, Éducation, Socialisation, Cognition (Toulouse) , in a partnership with Centre de recherche cerveau et cognition (laboratoire) .


  • Abstract

    Our brain activity is inherently rhythmic: oscillations can be found at all levels of organization. This rhythmicity in brain activity gives a rhythm to what we see: instead of continuously monitoring the environment, our brains take "snapshots" of the external world from 5 to 15 times a second. This creates perceptual cycles: depending on the phase of the underlying oscillation, our perceptual abilities fluctuate. Accumulating evidence shows that brains oscillations at various frequencies are instrumental in shaping visual perception. At the heart of this thesis lies the White Noise Paradigm, which we designed as a tool to better understand the influence of oscillations on visual perception and which ultimately could be used to control visual perception. The White Noise Paradigm uses streams of flashes with random luminance (i.e. white noise) as stimuli, which have been shown to constrain brain oscillations in a predictable manner. The impulse response to WN sequences has a strong (subject specific) oscillatory component at ~10Hz akin to a perceptual echo. Since the impulse response is a model of how our brains respond to one single flash in the sequence, they can be used to reconstruct (rather than record) the brain activity to new stimulation sequences. We then present near-perceptual threshold targets embedded within the WN sequences and extract the time course of these predicted/reconstructed background oscillations around target presentation. Thus, the reconstructed EEG can be used to study the influence of the oscillatory components on visual perception, independently of other types of signals usually recorded in the EEG. First, we validate the White Noise Paradigm by showing that: 1) the WN sequences do modulate behaviour, 2) the perceptual echoes evoked by these WN sequences are stable in time, 3) they are a (relatively) good model of the subject's recorded brain activity and 4) their neuronal basis can be found in the early visual areas. Second, we investigate the relationship between these constrained brain oscillations and visual perception. Specifically, we show that the reconstructed EEG can help us recover the true latency at which (theta) phase influences perception. Moreover, it can help us uncover a causal influence of (alpha) power on target detection, independently from any fluctuation in endogenous factors. Finally, capitalizing on the link between oscillations and perception, we build two algorithms used to control the perception of subjects. First, we build a "universal" forward model which can predict for any observer whether a particular target will be seen or not. Second, we build a subject-dependent model which can predict whether a particular subject (for whom EEG was recorded previously) will perceive a given target or not. Critically, this can be used to present targets optimized to be perceived by one subject only, to the detriment of all other subjects, creating a sort of "Neuro-Encryption" system.

  • Alternative Title

    Vers un système de "neuro-encryption" : de la compréhension de l'influence des oscillations cérébrales en vision au contrôle de la perception


  • Abstract

    L'activité de notre cerveau est intrinsèquement rythmique : des oscillations sont observées à tous les niveaux de son organisation. Cette rythmicité de l'activité cérébrale influence notre perception. En effet, au lieu de superviser continuellement notre environnement, notre cerveau effectue de brèves " clichés " du monde extérieur (entre 5 et 15 par seconde). Cela crée des cycles perpétuels : notre perception visuelle fluctue en fonction de la phase de l'oscillation sous- jacente. De nombreuses données témoignent du fait que les oscillations cérébrales à différentes fréquences sont fondamentales à la formation de notre perception visuelle. Lors de cette thèse, nous avons utilisé le Paradigme de Bruit Blanc comme outil pour comprendre l'influence des oscillations sur la perception visuelle et qui par extension pourra être utilisé pour contrôler cette perception. Le paradigme de bruit blanc visuel utilise des séquences de flashs dont la luminance varie aléatoirement (créant ainsi du " bruit blanc "), comme stimuli, qui contraignent l'activité cérébrale de manière prédictible. Les réponses impulsionnelles à ces séquences de bruit blanc sont caractérisées par une composante oscillatoire forte dans la bande alpha (~10Hz), similaire à un écho perceptuel. Puisque les réponses impulsionnelles sont un modèle de la réponse de notre cerveau à un flash dans la séquence de bruit blanc, elles peuvent être utilisées pour reconstruire (plutôt qu'enregistrer) l'activité cérébrale en réponse à de nouvelles séquences de stimulation. Par ailleurs, des cibles ont été introduites au sein des séquences de bruit blanc à un niveau proche du seuil de perception, et le décours temporel de cette activité reconstruite autour de la présentation des cibles a été extrait. Ainsi, l'EEG reconstruit peut être utilisé pour étudier l'influence de ces oscillations contraintes sur la perception visuelle, indépendamment des autres types de signaux généralement enregistrés dans l'EEG. Dans un premier temps, nous avons validé le paradigme de bruit blanc en montrant que : 1) les séquences de bruits blancs influencent bien la détection des cibles, 2) les échos perceptuels évoqués par les séquences de bruit blancs sont stables dans le temps, 3) ces échos sont un bon modèle de l'activité cérébrale enregistrée par EEG, et 4) leurs bases neuronales se situent dans les aires visuelles primaires. Dans un second temps, nous avons étudié la relation entre ces oscillations cérébrales contrôlées par la séquence de bruit blanc et la détection des cibles. Ici, nous montrons que l'activité EEG reconstruite nous aide à déterminer la véritable latence à laquelle la phase de l'oscillation (thêta) influence la perception. De plus, nous avons aussi montré que l'amplitude de l'oscillation (alpha) influence la détection des cibles et ce, indépendamment des fluctuations des facteurs endogènes (tel que l'attention). Enfin, tirant parti de ce lien entre oscillation et perception, nous construisons deux algorithmes qui permettent de contrôler la perception des sujets. Tout d'abord, nous mettons au point un modèle " universel " de la perception qui permet de prédire, pour n'importe quel observateur, si une cible dans une séquence de bruit blanc sera vue ou non. Ensuite, nous construisons un modèle individuel qui utilise l'écho perceptuel de chaque sujet comme clé de cryptage et nous permet de présenter des cibles à des moments où la cible sera détectée par un sujet seulement au détriment de tous les autres sujets, créant ainsi une sorte de système de cryptage neuronal (" Neuro-Encryption ").


It's available in the institution of thesis defence.

Other version

This thesis has resulted in a publication by in 2017 by Université Paul Sabatier [diffusion/distribution] in Toulouse

Towards a « Neuro-Encryption » system : from understanding the influence of brain oscillations in vision to controlling perception


Consult library

Version is available

Where is this thesis?

  • Library : Université Paul Sabatier. Bibliothèque électronique.
See the Sudoc catalog libraries of higher education and research.

Consult library

This thesis has resulted in a publication by in 2017 by Université Paul Sabatier [diffusion/distribution] in Toulouse

Informations

  • Under the title: Towards a « Neuro-Encryption » system : from understanding the influence of brain oscillations in vision to controlling perception
  • Details : 1 vol. (187 p.)
This thesis is also in paper form.

Where is this thesis?

See the Sudoc catalog libraries of higher education and research.