domingo, 13 de marzo de 2011

Por qué ganó Watson. Velocidad y metacognición


Stephen Baker ha escrito un libro renombrado sobre el encuentro: Final Jeopardy: Man vs. Machine and the Quest to Know Everything. Como es de esperar las preguntas más interesantes se formulan en torno al cerebro humano, no acerca de las máquinas. Cuando nos preguntamos si piensa Watson, nos preguntamos si eso que hace Watson y que conocemos se parece a lo que nosotros hacemos, que no conocemos y que llamamos pensar.
Al fin y al cabo nosotros hemos construido las máquinas y las entendemos (o siempre podemos llamar a alguien que las entienda). Pero el cerebro sigue albergando enormes misterios. Una de las equivocaciones recurrentes a la hora de comparar los ordenadores y los hombres, tanto se trate de Deep Blue ganando al ajedrez a Gary Kasparov como de Watson ganando en Jeopardy es afirmar que los ordenadores se comportan de forma distinta que los cerebros o por decirlo de otra forma, que no imitan a los cerebros: los programas de ajedrez no imitan el comportamiento humano, Watson no se comporta como los humanos. Esto es solo parcialmente cierto. Desde luego no siguen la misma secuencia de pasos que los humanos. Pero los ordenadores solo hacen cosas que los humanos sabemos hacer. Los programadores escriben rutinas que ellos entienden y piden a los ordenadores que las lleven a cabo. La diferencia estriba en la velocidad con la que ejecutan las rutinas. No hay nada que haga un ordenador que un hombre no pueda hacer con papel y lápiz ( aunque necesite para ello siglos y kilómetros de papel ).

En un excelente artículo (como todos los suyos) Mind Hacks se plantea algunas novedades de Watson. Entre los muchos algoritmos que incorpora el artículo se refiere a dos. Uno de ellos es constraint satisfaction o satisfacción de requisitos por el que el sistema encuentra la solución que mejor se ajusta a los requisitos de un problema que no tiene solución matemática exacta. Este es en efecto una de las novedades del sistema ya que se plantean múltiples hipótesis y se elige la mejor, considerando que ninguna es buena al 100%. El otro se denomina local search e indica cuando considerar la búsqueda suficiente y detenerla debido a  que siempre sería posible seguir hurgando en los datos. Estas estrategias que emplea Watson ¿son humanas? Evidentemente sí, responden a aproximaciones que usamos con regularidad.

Un aspecto muy interesante es la metacognición. No solo sabemos cosas. Sabemos que sabemos. Tenemos la sensación de saberlo. Sé que conozco la respuesta antes de dar con ella. Lo tengo en la punta de la lengua (expresión que al parecer es muy similar en muchos idiomas). Sé que si sigo buscando voy a dar con la respuesta. Quizá deba empezar con la A y seguir el alfabeto hasta encontrar el nombre de la persona a la que acabo de saludar. O seguir otras estrategias de recuperación de la información. Pero con una alta probabilidad si creo que lo sé es que lo sé.
Pulsador accionado de forma mecánica por Watson
Watson carece de metacognición (aunque no sería difícil programar estadísticamente algo semejante, no sería metacognición). Hasta que no encuentra la respuesta no sabe que lo sabe. Y en el programa Jeopardy la confianza es fundamental ya que las respuesta erróneas puntúan negativamente.

¿Por qué ganó Watson? Uno de los dos concursantes rivales de Watson, Brad Ruter (el que había ganado más dinero en la historia del concurso) lo explica en Why I Lost to Watson. Los tres concursantes conocen la mayoría de las respuestas, pero Watson es el más rápido con el pulsador. La secuencia en Jeopardy es como sigue:
  1. Se presenta la pregunta visualmente a los participantes.
  2. El presentador lee la pregunta en alto.
  3. Se activa el pulsador. (Si un jugador pulsa antes de tiempo su pulsador se desactiva unos instantes)
En cuanto se presenta la pregunta y mientras el presentador está leyéndola (lo que le lleva unos tres segundos) Watson está procesando datos. Cuando se activa el pulsador, Watson usa entre 4 y 10 milisegundos en apretar el pulsador. Un tiempo imposible de batir para los humanos, aunque sepan la respuesta o tengan metacognición y sepan que lo saben. Watson perdió las preguntas de la categoría "Actores que dirigen". El motivo es que el presentador necesita poco más de 1 segundo en leer el título de la película, Watson no sabe que lo sabe y necesita 3 segundos para encontrar la respuesta, pero antes de ello los humanos se han adelantado.

8 comentarios:

  1. Por ello nos autodenominamos Homo sapiens sapiens, el hombre que sabe que sabe. En la "recursion" está nuestro defecto (vide, Gödel) y, de forma paradójica, nuestra virtud.

    ResponderEliminar
  2. ¡Qué bonito José Manuel! El hombre que sabe que sabe.

    ResponderEliminar
  3. Homo sapiens sapiens no significa "el hombre que sabe que sabe", ni tiene un significado literal. "Homo sapiens" es nuestra especie, y nuestra subespecie es "sapiens". Otras subespecies del homo sapiens serían los Homo sapiens idaltu y, según algunos autores, los Nenderthales.
    Por otra parte, no entiendo tu referencia a Gödel y la "recursión". La incompletitud afecta a cualquier sistema axiomático capaz de representar los números naturales.

    ResponderEliminar
  4. "aunque no sería difícil programar estadísticamente algo semejante, no sería metacognición"
    ¿Ah no? Si algo tiene plumas y hace "pío", yo le llamo pájaro. Si reconoces que estamos muy lejos de conocer el funcionamiento del cerebro ¿Cómo sabes que la metacognición no funciona exactamente en el cerebro como dices que lo haría en el ordenador?
    Por otra parte, la velocidad es lo que hace ganar a los concursantes en general, no solo a Watson, ya que como bien comentas las respuestas suelen conocerse.

    ResponderEliminar
  5. Ludovico, dado que en efecto son muchos los enigmas sobre el cerebro, mucho de lo dicho es especulación. Y en parte se basa en la introspección (antaño muy denostada). Una parte de la metacognición puede ser estadística: sé que no sé nada de escritores chinos del siglo XII y sé que se bastante de los escritores españoles del XIX por lo que estadísticamente puedo arriesgarme a responder una pregunta y no la otra.
    Pero hay otra forma de metacognición en la que parece haber unas claves que me indican que conozco la respuesta antes de dar con ella y este fenómeno no es estadístico. Se trata de la maraña de aspectos relacionados de una idea. Como con las cerezas, al tomar una arrastro a las otras. Verde, sabor ácido, redondo, mmmm, sé que lo sé, mmm, manzana.
    Pero de nuevo es especulación.
    Respecto de la velocidad, ignoraba que los tres concursantes conocieran la respuesta y me maravilla ya que en muchas de ellas yo no sabía ni de qué hablaban (aunque el inglés y la cultura americana tienen un papel determinante en ello.
    Un saludo

    ResponderEliminar
  6. Anónimo, de acuerdo con lo de Homo sapiens sapiens. Pero era demasiado bonito para dejarlo pasar.

    ResponderEliminar
  7. Anónimo, con lo fácil que lo tienes si buscas en algún libro de biología en Internet.

    Vide: http://www.google.es/search?hl=es&biw=1024&bih=388&q=homo%20sapiens%20sapiens%20hombre%20que%20sabe%20que%20sabe&um=1&ie=UTF-8&tbo=u&tbs=bks:1&source=og&sa=N&tab=wp

    Una de las implicaciones filosóficas de los teoremas de incompletitud de Gödel es: ningún sistema consistente (en este caso la mente) se puede usar para demostrarse a sí mismo. Ahí es nada.

    ResponderEliminar
  8. Como Homo ergaster significa hombre trabajador, Homo eretus, se entiende, Australopithecus, mono del sur... en fin, así todo.

    ResponderEliminar