Michael Arbib - El... · Brain Project Michael Arbib: El Sistema Neuronal Espejo para la Prensión...

Brain Project

Michael Arbib: El Sistema Neuronal Espejo para la Prensión Santiago de Chile - Noviembre 2000 1

Michael Arbib

El Sistema Neuronal Espejo para la Prensión de Objetos

en colaboración conErhan Oztop (Modelado)

Giacomo Rizzolatti (Neurofisiología)

Brain Project


Conceptos Clásicos del Control de la Prensión de Objetos

Jeannerod & Biguer 1979

Preconfiguración de la mano durante la extensióndel brazo para asir un objeto

Brain Project


Programa clásico de Control Coordinado para la prensiónde objetos

entradavisual, cinemáticay táctil

Ubicación Visual

Extensión de la mano

Fase deMovimiento rápido

Preconfig-uración de la mano

Rotaciónde la mano

Prensióndel objeto

Reconocimiento del Tamaño

Reconocimientode la Orientación

tamaño

Prensión

orientación

Activación de býsqueda visual

Entrada visualy cinemática

Posición delobjetivo

Entradavisual

Entradavisual

Fase de Movimientolento

Entradavisual

Criterio dereconocimiento

Activación de la extensión

(Arbib 1981)

EsquemasPerceptivos

EsquemasMotores

Brain Project


Espacios de Oposición y Dedos Virtuales

El éxito de la extensión, preconfiguración y prensión de un objetoestriba en ajustar el eje de oposición definido por los dedos virtualescon el eje de oposición definido por lapermisibilidad(“affordance”) del objeto

(Iberall and Arbib 1990)

oposición lateral ("side opposition”)

oposición dactilar("pad opposition")

oposición palmar ("palm opposition") o

asimiento fuerte ("power grip")

Brain Project


Estado de la Mano

Nuestra representación del estado de la mano define una trayectoria hepta-dimensional F(t) con las siguientes componentes a tiempo t

F(t) = (d(t), v(t), a(t), o1(t), o2(t), o3(t), o4(t)):

d(t): Distancia al objetivov(t): Velocidad tangencial de la muñeca. a(t): Apertura de los dedos virtuales involucrados en la prensión

o1(t): Angulo entre el eje del objeto y el vector que une la punta del dedo pulgar con la punta del índice [relevante para las oposiciones dactilar y palmar]

o2(t): Angulo entre el eje del objeto y el vector que une el nudillo del dedo índice con la punta del pulgar [relevante para la oposición lateral]

o3(t), o4(t): Los dos ángulos que definen cuán próximo el dedo pulgar está del resto de la mano, medido relativo al lateral de la mano y a la palma.

Brain Project


Mecanismos Neuronales Básicos en el Control de la Prensión de Objetos

F5 - órdenes de asiren la cortezapremotora GiacomoRizzolatti

AIP -permisibilidades(“affordances”) de asir, codificadas en la corteza parietal Hideo Sakata

Un aspectofundamental en la coordinación visuo-motora:permisibilidades parietales (AIP) rigen losesquemas motrices frontales (F5)

Control Visual de la Prensión del Objetos en el Mono Macaco

cIPS

cIPS Hideo Sakata

Brain Project


Especialización de neuronas de F5 en distintasformas de asir

agarre tipo pinza

Asimiento fuerte

(Datos de Rizzolatti et al.)

Brain Project


FARS (Fagg-Arbib-Rizzolatti-Sakata)Visión General del Modelo

AIP

F5

dorsal/ventral streams

Task Constraints (F6)

Working Memory (46)

Instruction Stimuli (F2)

Restricciones de laTarea (F6)Memoria de Trabajo(46?)Estímulos Instructores(F2)

AIP

Flujo Dorsal:Permisibilidades

IT

Flujo Ventral:Reconocimiento

Formas de asir esta ‘cosa’

“Es una taza”CPF

AIP extrae permisibilidades =Propiedades del objeto relevantes para la interacción física con él.Corteza Prefrontal proporciona el ‘contexto’ que permite a F5 determinar la opción adecuada

F5

Fagg and Arbib,1998

Brain Project


Neuronas Espejo

Rizzolatti, Fadiga, Gallese, and Fogassi, 1995:Premotor cortex and the recognition of motor actions

Las neuronas espejo constituyen el subconjunto de neuronas premotorasde F5 relacionadas con la acción de asir, que descargan cuando el mono observa un movimiento significativode la mano realizado por él

experimentador u otro mono.F5 está provista de un sistema que casa observación con ejecución [Las neuronas de F5 relacionadas con la acción de asir que no tienen uncomportamiento espejo, son conocidascomo neuronas canónicas de F5.]

Brain Project


Computación de la Respuesta del Sistema Espejo

Modelo FARS:Reconocer las permisibilidades de un objeto y determinar la forma correcta de asirlo.

Modelo del Sistema Neuronal Espejo (SNE):Debemos incorporar el reconocimiento de:

� la trayectoria� la preconfiguración de la mano� las permisibilidades del objeto

y asegurar que los tres son congruentes entre sí.

¿Existen otros sistemas parietales además de AIP adaptados a estatarea?

Brain Project


Otras Regiones Cerebrales Involucradas

cIP

AIP →→→→ F5 canónicoHipótesis: STS →→→→ PF →→→→ F5 espejo

STS PF (7b)

PG (7a)

Brain Project


Criterio fundamental para la Activación de una NeuronaEspejo cuando se observa una acción de asir

a) ¿Corresponde la preconfiguración adoptada por la mano con el tipo de prensión codificada por la neurona espejo?

b) ¿Se ajusta esta preconfiguración con una forma permisible de asir elobjeto deseado?

c) ¿Las distintas imágenes de la mano percibidas indican una trayectoriaque permitirá a la mano asir el objeto?

Desafíos enfrentados en el modelado:i) Lograr que las neuronas espejo se auto-organicen para aprender a reconocer las distintas formas de asir en el repertorio del mono.

ii) Aprender a activar las neuronas espejo a partir de un número cada vezmenor de imágenes a lo largo de una trayectoria.

Brain Project


STS 7a

Reconoci-mientoconfiguración

de la mano

Análisis de laRelación espacial

Mano- Objeto

de

del

AsociaciónPermisibilidad

objeto con Estado de la mano

Extracción de laspermisibilidadesdel objeto

Recono-cimientode la acción

Programasmotoresdel mano

Ejecuciónmotora

Integraciónde asociación

temporal

7bF5canónico

AIP

M1

F5espejo

Característicasdel Objeto

Ubicacióndel objeto

ProgramaMotordel brazo

F4

MIP/LIP/VIP

Cor

teza

Vis

ual

cIPS

Deteccióndelmovimientode la mano

Modelo del Sistema Neuronal Espejo (SNE)

PF

PG

Brain Project


Estado de la Mano

Nuestra representación del estado de la mano define una trayectoria hepta-dimensional F(t) con las siguientes componentes a tiempo t

F(t) = (d(t), v(t), a(t), o1(t), o2(t), o3(t), o4(t)):

d(t): Distancia al objetivov(t): Velocidad tangencial de la muñeca. a(t): Apertura de los dedos virtuales involucrados en la prensión

o1(t): Angulo entre el eje del objeto y el vector que une la punta del dedo pulgar con la punta del índice [relevante para las oposiciones dactilar y palmar]

o2(t): Angulo entre el eje del objeto y el vector que une el nudillo del dedo índice con la punta del pulgar [relevante para la oposición lateral]

o3(t), o4(t): Los dos ángulos que definen cuán próximo el dedo pulgar está del resto de la mano, medido relativo al lateral de la mano y a la palma.

Trabajo realizado por Erhan Oztop

STS 7a

Reconoci-mientoconfiguración

de la mano

Análisis de larelación espacial

Mano- Objeto

de

del

AsociaciónPermisibilidad

objeto con Estado de la mano

Extracción de laspermisibilidadesdel objeto

Recono-cimientode la acción

Programasmotoresdel mano

Ejecuciónmotora

Integraciónde asociación

temporal

7b

F5canónico

AIP

M1

F5espejo

Característicasdel Objeto

Ubicacióndel objeto

ProgramaMotordel brazo

F4

MIP/LIP/VIP

Cor

teza

Vis

ual

cIPS

Deteccióndelmovimientode la mano

1. Análisis de la Entrada Visual

3. El Núcleo del Circuito Espejo

PF

PG

2. Generación de Alcance y Asimiento

Tres Esquemas Grandes del Modelo: Sistema Neuronal Espejo (SNE) Implementación con Redes de Neuronales Artificiales

Brain Project


Reconocimiento de la configuración de la mano 1

Mano Codificadapor Colores

Extracción de características

Primer Paso: El sistema � procesa la mano previamente marcada con colores y � genera un conjunto de características útiles para el

segundo paso.

Brain Project


Modelado de la Mano

Esquema realista de los huesos de la mano.

La mano es modelada con 14 grados de libertad.

Brain Project


Reconocimiento de la Configuración de la Mano 2Ajuste del Modelo tridimensional de la Mano

Resultado de la exctracción de características

Vector de Características

Minimización del error

El algoritmo ajuste del modelo de la mano por minimiza el error entre las características extraídas y el modelo

Brain Project


Brazo y Mano Virtuales y Simulación de Extensión y Prensión

Asimiento fuerte Oposición lateral

agarre tipo pinza

Brain Project


Datos de series temporales del asimiento fuerte

+: apertura; *: ángulo 1; x: ángulo 2; •: 1-despeje1; �:1-despeje2; �: velocidad; �: distancia.

Brain Project


Núcleo del Circuito Espejo

Neuronas Espejo(F5 Espejo)

Neuronas AsociativasPF (7b)

Realimentación espejo

Permisibilidad del objeto

Salida de las neuronas Espejo

Programamotor (F5 canónico)

Hand shape recognition & Hand motion detection

Hand-Object spatial relation analysis

Object affordance -hand state association

Object Affordances

Action recognition (Mirror Neurons)

Motor program

Motor execution

Mirror Feedback

Integrate temporal association

Motor program

F5canonical

F5mirror

Estado de la mano

Brain Project


Código Distribuido (”Coarse Coding")

7b

Realimentación espejo

Permisibilidad del objeto (AIP)

7a

STS

F5 Espejo

Programa Motor (F5 canónico)

Brain Project


Clasificación de una trayectoria

Las trayectorias dibujadas porla muñeca mientras se ase un objeto se muestran mediante trazos cuadrados, donde marcasconsecutivas indican la distancia recorrida a intervalos de tiempo constantes.

Modo en el cual la red clasificala acción como asimiento fuerte

Trayectoria vista desde tres ángulos diferentes →→→→

→→→→

Brain Project


Resolución de un asimiento fuerte y un agarre tipo pinza

(a)

(b)

asimiento fuerte

agarre tipo pinza

Brain Project


Quo Vadis?

1) Tecnología: Aumentar la robustez y las tasas de aprendizaje de los esquemas, mediante la utilización de mejores algoritmos de aprendizaje pararedes de neuronas artificiales.

2) Neurociencia: Implementación de esquemas con redes de neuronas biológicamente plausiblescon el fin de replicar datos neurofisiológicos.

3) Aprender a reconocer variaciones de, y ensamblajes de, acciones familiares.

4) Imitación5) ¡Lenguaje!

Michael Arbib - El... · Brain Project Michael Arbib: El Sistema Neuronal Espejo para la Prensión...

Documents

Transcript of Michael Arbib - El... · Brain Project Michael Arbib: El Sistema Neuronal Espejo para la Prensión...