10 septiembre, 2019

Coloquio DCC: 13 de septiembre

El Dpto. de Ciencia de la Computación de la UC. tiene el agrado de invitarlo para este viernes 13 de septiembre en la sala Javier Pinto, Edificio San Agustín 4to. piso, de 11:30 a 13:00 horas, al siguiente Coloquio:

Título: «El Poder Computacional de las Redes Neuronales Modernas»

Expositor: Prof. Jorge Pérez,Profesor Asociado, Departamento de Ciencias de la Computación, UChile, Investigador Asociado, IMFD-Chile

Resumen:
En esta clase estudiaremos el poder computacional de las redes neuronales profundas desde un punto de vista clásico. Nos centraremos en una arquitectura sumamente popular llamada Transformer y que está detrás de varios de los mayores avances actuales de procesamiento de lenguaje natural (NLP). De hecho, el Transformer está en la base de las arquitecturas BERT (de Google), GPT2 (de OpenAI) y XLNet (de Google+CMU) que en el último año han sobrepasado el estado del arte en la mayoría de las tareas clásicas de NLP. A diferencia de las redes neuronales predecesoras para NLP, la mayoría basadas en recurrencias, el Transformer está basado casi completamente en el proceso de atención y autoatención. Después de introducir las particularidades del Transformer y el proceso de (auto)atención, nos centraremos en su poder computacional comparándolo con nociones estándar en teoría de la computación como Autómatas Finitos y Máquinas de Turing. El resultado más importante es que el Transformer es Turing-completo, lo que quiere decir que es capaz de representar cualquier proceso general llevado a cabo por un computador. Este es un resultado teórico pero abre la puerta a la pregunta de si el Transformer puede en la práctica aprender algoritmos solo desde ejemplos. Discutiremos acerca de resultados preliminares respecto de esta pregunta y acerca de nuevas direcciones de investigación.

La charla está basada en el artículo “On The Turing Completeness of Modern Neural Network Architectures” escrito en conjunto con Javier Marinkovic y Pablo Barceló, presentado este año en la International Conference on Learning Representations (ICLR 2019).