Clases 1, 2 Y 3

Modelos Formales No Transformacionales MFNT

Modelos Formales No Transformacionales MFNT Los 3 grandes ejes que articulan toda la materia son: •

Por qué necesitamos Modelos Formales

•

Por qué esos modelos formales deben ser NO transformacionales

•

Cómo este desideratum se ajusta exactamente a la agenda de la lingüística computacional

Modelos Formales No Transformacionales MFNT “Al fin y al cabo, Chomsky es un maestro en la adaptación de las ideas de sus críticos” (Antonio Moreno Sandoval)

“Si bien el componente transformacional resultó ser un engendro epistemológico, el gran mérito de Chomsky fue haber abierto el camino hacia el tratamiento computacional del lenguaje como un sistema de símbolos a manipular” No hacemos lingüística anti-chomskyana sino post-chomskyana

Modelos Formales No Transformacionales MFNT 1.Introducción ¿De qué hablamos cuando hablamos de MFNT? MFNT y Lingüística Computacional

Los mitos del Lenguaje Natural 

Mito 1: El lenguaje natural es tan ambiguo que no puede ser “reducido” a un modelo formal o lenguaje artificial. Verdad: La ambigüedad puede ser modelada por aproximaciones estadísticas



Mito 2: Aun cuando el lenguaje natural pudiera ser formalizado, el uso que hacemos del mismo muestra un poder expresivo o aspecto creativo que no puede ser capturado por ningún modelo formal. Verdad: Recursividad es una forma de lograr infinito poder expresivo a partir de un conjunto discreto de datos



Mito 3: O todo lo contrario, en realidad el lenguaje no es más que una concatenación de unidades significativas integradas en niveles superiores. Basta con entender cada sonido para finalmente entender discurso Verdad: Si bien desde el estructuralismo teórico esto funciona, en la práctica procesar lenguaje natural significa un flujo y reflujo de información continua y discreta top-down y bottom-up, de naturaleza intrinseca y extrinseca

y después de todo, para qué queremos un modelo formal de lenguaje natural…

5

MFNT y Lingüística Computacional 

   

Antecedentes tempranos : Zipf (los ’30) -> regularidad en el discurso -> paradigma cuantitativo-estadístico, por mayor poder de cálculo en los ‘90 Invención de la computadora (1947) Estructuralismo distribucional de Harris (1952) Paradigma Generativismo de Chomsky (1957) Analogía mente/computadora (cognitivismo de los ’60funciones superiores de cognición) Todo esto llevó a la conformación de una nueva transdisciplina … la lingüística computacional como una búsqueda de ingenios o mecanismos para que una computadora procese Lenguaje Natural. Para ello necesitamos un Modelo Formal de Lenguaje Natural

Más incentivos para la búsqueda de modelos formales -> Interfaz hombre-máquina y ciencias cognitivas (Inteligencia Artificial)

6

Cómo procesamos lenguaje los humanos? La estructura por niveles Cuando nos aproximamos al lenguaje desde una perspectiva formal observamos que no se trata de una caja negra inexpugnable, sino pareciera que existen, para empezar, diversos niveles (antecedente Estructuralismo de Benveniste, Los niveles del ánálisis lingüístico, 1969) que se estructuran envolventemente y que presentan fenómenos inherentes característicos. El procesamiento de dichos fenómenos implicaría conocimiento específico sobre el lenguaje que debe ser formalizado con mayor o menor esfuerzo mediante heurísticas apropiadas.

7

Cómo procesamos lenguaje los humanos? La estructura por niveles representación de conocimiento pragmática

nivel lexemático y semántica léxica morfología

estructuralismo

sintaxis

Lingüística tradicional

semántica composicional y forma lógica

fonología fonética Niveles de la estructura

8

Cómo podrían procesar lenguaje las máquinas? Por niveles ? Humm….. Algunos entonces piensan que NLP es un proceso incremental de análisis de niveles jerárquicos, como resolver una expresión algebraica compleja:

7-{4*2+[(x5+log(sen(y+z)))/3]-(x*y)}

7-{4*2+[(x5+log(sen(y+z)))/3]-(x*y)}

9

Buscar la N y comparar con L, en waveform, no alcanza, necesitamos Spectograma con Formantes, ver en vocales

Cómo podrían procesar lenguaje las máquinas? Por niveles ? Humm…. Pero de ser así, ¿cómo pasamos de esto….

Wave Sound

/menkantalalingŋgɯistikakomputacional/

10

Cómo podrían procesar lenguaje las máquinas? Por niveles ? …a entender la oratoria de Cicerón? Quo usque tandem abutere, Catilina, patientia nostra? quam diu etiam furor iste tuus nos eludet? quem ad finem sese effrenata iactabit audacia? Nihilne te nocturnum praesidium Palati, nihil urbis vigiliae, nihil timor populi, nihil concursus bonorum omnium, nihil hic munitissimus habendi senatus locus, nihil horum ora voltusque moverunt?

11

Cómo podrían procesar lenguaje las máquinas? Modelos relacionales En realidad procesar lenguaje natural tiene más que ver según los últimos modelos con información modular disponible en forma temprana y un acceso compartido con procesamiento paralelo. Incluso a nivel del paradigma estadístico se habla de boostrapping de cues o pistas. Por ejemplo, un modelo relacional para un agente comunicativo sería: fonética

fonología

morfología

representación de conocimiento pragmática

semántica composicional y forma lógica nivel lexemático y semántica léxica

sintaxis

Natural Language Understanding Acá empiezan a jugar un papel los parsers como un módulo de procesamiento 12 sintáctico

Mapeo de niveles tradicionales y lingüistica computacional

semántica composicional y forma lógica

parsers correctores gramaticales desambiguación corrector ortográfico lematización para diccionarios

nivel lexemático y semántica léxica

reconocedores de habla

fonología

/vos, quemero botón/ /bosque me robó/

fonética

Fenómenos formalizados y campos de aplicación

sintaxis

morfología

Niveles de la estructura

Lingüística computacional

pragmática

Lingüística tradicional

traducción de máquina

representación de conocimiento

estructuralismo

extracción de información de mundo generación de diálogo inferencias

13

El rol de la lingüistica computacional

14

MFNT y Lingüística Computacional: Foco en Parsers

Objetivos de la materia

Paradigma Lingüistico: generativismo – simbólico (vs. Estadistico y vs. Conexionismo)

Modelo linguistico: NO TRANSFORM

Cuestiones fuera

Formalismo: CFG, DCG, HPSG

Algoritmo Bottom-up Topdown, Chart parser

Implementación prototípica: Python

15

Modelos Formales No Transformacionales MFNT 2.Chomsky 1957: Jerarquía de Lenguajes Formales

Los primeros modelos El modelo de Chomsky ’57





 

Preeminencia de la sintaxis como componente generativo equivalente a una gramática Una gramática como un ingenio computacional que cuenta con un conjunto de reglas operativas (reglas de rescritura de frase) + una serie de transformaciones Estructura profunda – Estructura de superficie Máquina de Turing vs. Máquina de Estados

17

Los primeros modelos El modelo de Chomsky ’57 Reglas de rescritura de frase (REF) Reglas transformacionales obligatorias y optativas

18

Los primeros modelos El modelo de Chomsky ’57 La motivación original de Chomsky al postular el componente transformacional fue dar cuenta de los casos de homonimia estructural E.S. “el deseo de la madre” = 2 E.P.s (transformacion de nominalización)

E.S.1 “La madre ama al hijo” E.S.2 “El hijo es amado por la madre” E.S.3 “A quién ama la madre?” (todas corresponden a una unica estructura profunda- transf. Pasiva e Interrogación pronominal) 19

Algunas transformaciones del Inglés (p.88) Transformación optativa de pregunta parcial Tw:  Tw1 convierte la cadena de la forma X-FN-Y en la correpondiente cadena de la forma FN-X-Y  Tw2 convierte la cadena resultante FN-X-Y en who-X-Y si FN es animado o en what-X-Y si FN es inanimado  Pero Tw debe ser aplicada solo después de Tq (41-42)  Pero Tq debe ser aplicada sólo después de aplicar la transformación obligatoria de auxiliar y morfema de 3 persona!!!! (29i)  Ufa!!!!!

20

Todavía bajo la égida de Chomsky Pese a todo, el paradigma chomskyano trazó las líneas directrices de los primeros formalismos de gramáticas computacionales bajo la forma de parsers





Preeminencia de la sintaxis -> Parsers o analizadores sintácticos Reglas de Rescritura/Estrucura de Frase REF -> Gramáticas Sintagmáticas

21

Jerarquía de lenguajes formales Una de las principales tesis del modelo de Chomsky ’57 es que las propiedades formales de los diversos lenguajes naturales determinan una jerarquía de gramáticas en virtud de su poder expresivo

22

Jerarquía de lenguajes formales Tipo

Lenguaje (Gramática)

Restricciones a la reglas de producción

Implement ación

Limitación

Tipo-0

Recursivamente enumerable (Irrestricta)

Ninguna:

Máquina de Turing

demasiado costosa computacionalmente y sobregeneración

Tipo-1

Dependiente del Contexto

La parte derecha contiene como mínimo los símbolos de la parte izquierda

Autómata linealmente finito

Adecuada en fenomenos fonologicos pero en sintaxis sobregenera AUNQUE concordancia SVO puede resolver NP de S no = a NP de VP en numero

A γ /α_β Tipo-2

Independiente de Contexto

La parte izquierda sólo puede tener un símbolo no terminal

Autómata Push-Down (LIFO Last In First Out)

concordancia SV y subcategorizacion (vt vi) con soluciones parciales. Problemas en constituyentes discontinuos: “He believes him his friend is gonna forgive?” “Las cosas que César creía que Tulio dijo” construct. trabada

Tipo-3

Regular

A través de expresiones regulares

Autómata de estados finitos

cláusulas embebidas (recursividad resuelta sólo a través de constituyentes)

Gramáticas lineales a derecha y/o izquierda serían un tipo intermedio entre 2 y 3 Gramáticas Sintagmáticas Aumentadas (la solución) serían un tipo intermedio entre 1 y 223

Modelos Formales No Transformacionales MFNT 3.No a las Transformaciones

No a las transformaciones!!! 



Con la consolidación de la teoría estándar (década del ’60) la hegemonía chomskyana parecía indiscutible, pero en la década del ’70 surgen escisiones del paradigma generativista con interés más en las propiedades matemáticas y formales del lenguaje que en el problema chomskyano de la adquisición. Bresnan de la semántica generativa postula Lexical Functional Grammar LFG y Gazdar la Generalized Phrase Structure Grammar GPSG son la más acérrimos oponentes a las transformaciones

25

No a las transformaciones!!! 



Complejidad epistemológica categorial apunta contra las transformaciones. Coexistencia de 2 tipos de reglas muy diversas. Mientras las REF operan sobre una categoría a la vez, las transformaciones operan con varias categorías a la vez, lo cual no puede ser fácilmente modelado y agregan un nivel de representación de la estructura innecesario. El mismo Chomsky deja el componente transformacional en su modelo del ´81 (Principios y Parámetros) –aunque cuestion estrictamente el muevase-α puede verse como transformacional. Ante este escenario surgen propuestas superadoras para aproximarse al lenguaje natural desde Modelos Formales No Transformacionales

26

No a las transformaciones!!! 





Evidencia psicolingüística : experimento Marslen-Wilson (1977). Modelo de la Cohorte Ataca el procesamiento en serie que presuponen las transf. Procesamiento incremental con disponibilidad de información semántica temprana. Procesamiento indiferenciado entre oraciones meollares y superficiales Evidencia computacional: Peters & Ritchie (1973) demuestran formalmente que la teoría estandar equivale a una máquina de turing y, por tanto, la complejidad de procesamiento hace prohibitivo su uso en aplicaciones prácticas. http://www.cs.utoronto.ca/~gpenn/csc2517/peters-ritchie73.pdf Grishman describe costosas implementaciones de parsers transformacionales que primero pasaban de ES a EP y luego parseaban

27

Demostración formal de Inadecuación de Transformaciones (Bach, 1974) (parte 1) Sea una Máquina de Turing: •

Un conjunto finito de estados internos E0, E1,

•

Un alfabeto finito a0, a1,

•

Un conjunto determinado de estados iniciales, tomados de 1.

•

Un conjunto determinado de estados finales, tomados de 1.

•

Un conjunto finito de instrucciones, cada una es una cuádrupla Ei ai ak Eh Ei ai D Eh Ei ai I Eh significando: el sistema se halla en el estado Ei ante el signo ai, entonces i) pasar al estado Eh sustituyendo el signo ai por ak, ii) pasar al estado Eh moviéndose un lugar a la Derecha en la cinta de input -tape-, iii) pasar al estado Eh moviéndose un lugar a la izquierda

28

Demostración formal de Inadecuación de Transformaciones (Bach, 1974) (parte 2) Esta definición muestra por qué las gramáticas transformacionales son correspondientes formalmente a máquinas de Turing. Recordemos que el movimiento de constituyentes sintácticos no podría ser llevado a cabo por dispositivos menos poderosos de memoria como pilas o stacks que sólo recordarían el estado interno. Ahora recordemos 2 definiciones de la tabla de jerarquía de lenguajes: •Lenguaje enumerablemente recursivo (tipo-0) : cuando puede probarse que un conjunto finito o infinito de oraciones pertenece a una lengua. Por ejemplo, mediante una lista exhaustiva de todas las oraciones gramaticales. •Lenguaje propiamente recursivo (tipo-1): Cuando además de lo anterior, puede probarse que las oraciones agramaticales NO pertenecen a la lengua

29

Demostración formal de Inadecuación de Transformaciones (Bach, 1974) (parte 3) La correspondencia Máquina de Turing – gramática transformacional comporta un formalismo tan potente que absolutamente para cualquier conjunto de oraciones que sea recursivamente enumerable hay una gramática transformacional. Teniendo en cuenta que este resultado se mantiene para cualesquiera restricciones que se introduzcan en la base (subcomponente no transformacional o sintagmático), la conclusión inevitable es que el exceso de potencia se encuentra en el subcomponente transformacional (hipótesis de la universalidad de la base). La gramáticas transf. NO pueden probar que una oración NO pertenece a la lengua.

Este exceso de poder generador en las gramáticas transformacionales significa que éstas NO constituyen una teoría suficiente para delimitar el concepto de lenguaje humano; y que en cambio, las gramáticas de tipo-1 o 2, al ser más restrictivas pueden dar cuenta del lenguaje humano decidiendo cuándo una oración NO pertenece a la lengua, a la vez que todavía son suficientemente poderosas para expresar la recursividad (lenguaje propiamente recursivo) y la manipulación de constituyentes.

30

Igual, aclaremos Si bien el componente transformacional resultó ser un engendro epistemológico, el gran mérito de Chomsky fue haber abierto el camino hacia el tratamiento computacional del lenguaje como sistema de símbolos a manipular

31

Bibliografía •George K. Zipf, The Psychobiology of Language, Houghton-Mifflin, New York, NY, 1935 at http://citeseer.ist.psu.edu/context/64879/0 •Harris, Zelig S. 1968. Mathematical Structures of Language. Wiley. •Chomsky (1957). Syntactic Structures. The Hague: Mouton. Reprint. Berlin and New York (1985). •Sandoval Moreno, Antonio. 1998. Linguistica Computacional. Madrid. Editorial Sintesis •Sandoval Moreno, Antonio. 2001. Gramáticas de Unificación y Rasgos. Madrid. Editorial Machado •Bach, E., 1974 Syntactic Theory. Holt, Rinehart and Winston. New York •Jurafsky, D y Martin, J. 2000 Speech and Language Processing. New Jersey. Prentice-Hall. Cap. 2

32