Some Reflections on (Automatic) Machine Translation

The blogger in the post above shows with a "visual -tongue-in-cheek" approach (what an amalgation of metaphors!) the deficiencies of  machine translation. It is a fact that Automatic or Machine translation works better with languages that belong to the same family of languages and resemble each other closely in their structures. But even in the case of languages that belong to the same family a lot depends on the sophistication of the algorithms employed and the contextual information the program can access. Ultimately, there are levels of human discourse and semiosis which they might never be able to grasp. 

In the world of Machine translations there are three types: 

Rule based Machine translation

Statistical Machine translation 

 Neuronal Machine translation

Recently, the methods that have been explored more have been  the statistical and the neuronal approaches. Both requiere a certain volume of data to be able to come up with a decent input for a human translator to polish or to revise without much loss of time. That is why, for example,  Google translate can work better for English to Spanish than for languages that are less similar. It also depends heavily on the amount of feedback users feed into the system.  

In the world of Bible translation machine translation can only make sense as in the case of the Paratext Backtranslation feature when there is enough material to compare and from where to draw statistics  or to employ a network of databases.  Of course, we all know that the backtranslation is not a translation as such. Just a helpful tool. 

For most of the languages that are still in need of translation in the world,  which are languages of smaller people groups this is not possible. As a matter of fact it is the very fact of Bible translation itself that that will contribute to the volume needed for any kind of good retro or automatic translation offer.  Most people would agree that this offering  should cannot be anything else,  but a tool for a translator in the task of translation. There are also other key issues  in using such a method in terms of acceptability, theology (encarnation of the Word of God through a machine, without human agency?????) and just the multilayerdness of human communication and thus cognition. 

Indeed, in the article posted here from Carla Parra Escartín  she argues that machine translation at some point can become a helpful tool for the professional translator. We have seen that the paratext backtranslation feature can be very helpful for producing a decent input which will need to be corrected and polished by a mother tongue speaker in a back translation project output. Depending on the consultant or exegetical checker's knowledge of the language of translation this polishing will need to be more intense or less intense. But a lot depends  on the similarity or rather dissimilarity of the language typology. Backtranslations are very useful when they can be used with the input of translators and in  dialogue with them. They are the main protagonists and the subjects of the translation enterprise with whom we translate (Not for whom we translate.)  

I am curious to know how Machine and/or Automatic translation will influence the work of Bible translation in the future, as a useful tool as Carla Parra Escartín argues in her article. I have serious doubts and more than doubt, serious objection , as to whether it will or should replace the translator and the translation community. Maybe that is not the aim anyway.  Automatization processes are very helpful to the translator as Paratext has shown us in becoming an indispensable tool for the translation. But language and cultural  creativity and translation as recreation cannot be accomplished by Automated Translation. Can these tools help the dedicated Bible translator in the future?  Probably in different scenarios, for sure not in all. And it would vary in different degrees.  Translation outcome  should never be reduced to a task that "dehumanizes" the sacred ministry of Bible translation where the human and the divine encounter in the act of cultural transformation and communication.

Extracted text from http://www.lalinternadeltraductor.org/n16/traduccion-automatica.html:

Nmero actual | Nmeros anteriores | Sitio web de Asetrad NMERO 16 EDITORIAL Haciendo las maletas LA VOZ DE ASETRAD Entrevista a Maya Hess, presidenta de Red T CORRECCIN Los otros INTERPRETACIN Experiencias que marcan El punto de inflexin de una carrera profesional TECNOLOGA APLICADA A LA TRADUCCIN Evolucin de la traduccin automtica Okapi Tools: la navaja suiza del traductor TRADUCCIN CIENTFICA La ciencia al pie de la letra: el artculo acadmico Entre las letras y las ciencias: a medio camino y un paso TRADUCCIN JURDICA La traduccin jurdica/judicial/ jurada en Italia TRADUCCIN EDITORIAL La prdida de la inocencia: Charlotte Bront Escritores traductores Lydia Davis Traducir a Lydia Davis: un desafo literario Entrevista a Vctor beda TRADUCCIN AUDIOVISUAL La traduccin del glamur choni tiene nombre y empieza por K PANORAMA Otras asociaciones ATRAE, Asociacin de Traduccin y Adaptacin Audiovisual Entrevista a Benjamin Rouxel, coordinador de traducciones del Museo del Louvre 2. congreso Words to Deeds: El valor de los profesionales de la traduccin jurdica VENA LITERARIA Sonatas extremeas COLOFN No solo de pan... Un guiri y la lengua de Cervantes Las ilustraciones de este nmero La traductora que no saba dibujar CONTEXTO Cuntanos el congreso CONTRAPORTADA Tecnologa aplicada a la traduccin Cmo ha evolucionado la traduccin automtica en los ltimos aos? Carla Parra Escartn Hace (tan solo) siete aos terminaba un artculo para La Linterna del Traductor sobre la historia de la traduccin automtica. En l ya avanzaba cmo la traduccin automtica era un gran tema de investigacin en el mundo acadmico y los traductores debamos estar al tanto de sus ltimos avances para que los posibles cambios que se avecinaban en el sector no nos pillasen desprevenidos. Tambin mencionaba cmo, en esos momentos, varios grupos de investigacin estaban explorando diversas estrategias, desde aquellas basadas en la interlingua (recordemos el proyecto Molto de la UE) hasta los sistemas basados en reglas de transferencia como Apertium, pasando por sistemas puramente estadsticos como Moses.

En este tiempo la traduccin automtica ha irrumpido de pleno en la traduccin profesional. A estas alturas, nadie pone en duda que est aqu para quedarse, pero cmo hemos llegado hasta aqu?

En este artculo nos acercamos al presente para ver cmo la traduccin automtica ha evolucionado en estos siete aos y cules son las tcnicas ms empleadas actualmente. Te interesa? Acompame entonces en este breve recorrido por la historia ms reciente de la traduccin automtica. Empezamos! Carla Parra Escartn es investigadora Marie Skodowska-Curie en Dublin City University (DCU), dentro del centro de investigacin interuniversitario ADAPT. Es doctora en Lingstica Computacional por la Universidad de Bergen (Noruega) y licenciada en Filologa Inglesa, Traduccin e Interpretacin (alemn-ingls-espaol) y Lingstica. Ha trabajado como traductora, revisora y directora de proyectos en plantilla y tambin como traductora autnoma. En su investigacin trata de establecer lazos de unin entre traductores y traduccin automtica. Entre sus artculos ms recientes destacan los enfocados a evaluar la calidad de la traduccin automtica y el impacto de la traduccin automtica en la productividad de los traductores profesionales. Actualmente trabaja en el equipo de Sharon O'Brien en DCU investigando la posibilidad de introducir la traduccin automtica como una herramienta de ayuda para la redaccin de artculos cientficos en ingls por parte de no nativos. Tambin colabora en un proyecto sobre traduccin en situaciones de crisis humanitarias.

Actualmente podra decirse que conviven principalmente tres tipos de traduccin automtica (TA) en el mercado: la que utiliza informacin lingstica (comnmente denominada como TA basada en reglas, o RBMT por sus siglas en ingls: Rule Based Machine Translation), la estadstica (o SMT por sus siglas en ingls: Statistical Machine Translation) y la basada en redes neuronales (o NMT por sus siglas en ingls: Neural Machine Translation). A estos tres paradigmas principales habra que sumar otras iniciativas con menor proyeccin, como la propuesta por investigadores de la universidad de Gotemburgo (Suecia) basada en el concepto de interlingua y llamada Grammatical Framework1.

Puesto que la investigacin en los distintos paradigmas de traduccin automtica se ha llevado a cabo en paralelo, en lugar de hacer una descripcin de su evolucin en orden cronolgico vamos a ver cmo ha evolucionado cada uno.

Traduccin automtica basada en reglas

Comenzamos con este paradigma que, si bien sigue teniendo cabida en la investigacin, es quizs el que menos atencin acapara, aunque no por ello se deba obviar. Una de las posibles razones por las que este tipo de traduccin automtica no tiene ms presencia en la investigacin es porque requiere de una gran inversin en tiempo y recursos. Para desarrollar un nico par de lenguas es necesario contar con gramticas de la lengua de partida y de llegada, as como con diccionarios bilinges y reglas de transferencia. Adems, el sistema no puede traducir estructuras lingsticas que no estn incluidas en sus gramticas o reglas de transferencia, ni palabras o expresiones que no se encuentren en sus diccionarios. Esto hace que el mantenimiento de los motores basados en reglas deba ser prcticamente continuo para garantizar que son capaces de traducir textos de un nuevo dominio, por ejemplo, o estructuras gramaticales que en un primer momento no fueron previstas.

[El paradigma de la traduccin automtica basada en reglas,] si bien sigue teniendo cabida en la investigacin, es quizs el que menos atencin acapara. Otra posible razn es que ya contamos desde hace varios aos con una plataforma de cdigo abierto que permite a cualquier persona desarrollar su propio motor de traduccin: Apertium. Con una comunidad de desarrolladores repartidos por todo el mundo, Apertium surgi en nuestro pas, del grupo de investigacin Transducens, en la Universidad de Alicante.

Si bien, como hemos visto, estos sistemas tienen inconvenientes, tambin presentan grandes ventajas. Para empezar, en el caso de lenguas similares entre s, como por ejemplo el espaol y el cataln, se ha demostrado que obtienen resultados mejores que los motores estadsticos. Un buen ejemplo de esto ltimo es que Apertium es uno de los sistemas de traduccin automtica que se utilizan en la plataforma de traduccin automtica (PLATA) desarrollada por la Direccin de Tecnologas de la Informacin y las Comunicaciones del Gobierno de Espaa y disponible para cualquier Administracin Pblica del Estado. En concreto, Apertium se utiliza para facilitar la traduccin automtica de cataln, gallego, valenciano, portugus y francs, mientras que para el euskera y el ingls se utiliza un sistema estadstico.

Apertium se utiliza para facilitar la traduccin automtica de cataln, gallego, valenciano, portugus y francs, mientras que para el euskera y el ingls se utiliza un sistema estadstico. Y, si bien es cierto que la traduccin automtica basada en reglas no es la predominante en el mundo acadmico, hay que reconocer que su utilidad puede ir mucho ms all de lo que nos imaginamos. Debido a que los sistemas estadsticos y neuronales necesitan una gran cantidad de datos para ser entrenados, la traduccin automtica basada en reglas puede resultar particularmente til en el caso de pares de lenguas para los que no se cuenta con datos suficientes como para entrenar otro tipo de motores. Es por eso que Apertium se ha convertido en un gran catalizador para el desarrollo de motores con lenguas minoritarias. Otra muestra de su gran utilidad la podemos encontrar en proyectos de la organizacin Translators without borders, que ha desarrollado diversos pares con lenguas minoritarias para poder facilitar servicios de traduccin. Por ejemplo, a finales de 2016 anunciaron el lanzamiento de sistemas para lenguas kurdas con el objetivo de dar asistencia a refugiados kurdos.

Traduccin automtica estadstica

La piedra de Rosetta, fotografa de Flickr de Justin Ennis, compartida bajo licencia Creative Commons (BY 2.0).

Como alternativa a los costosos procesos de desarrollo de un traductor automtico basado en reglas, se pueden emplear los llamados traductores automticos estadsticos. Su principal ventaja frente a los basados en reglas es que tan solo necesitan datos para ser entrenados. En concreto, necesitan un corpus monolinge de la lengua de destino lo ms grande posible y otro paralelo con traducciones entre la lengua de origen y la de destino.

Estos sistemas de traduccin automtica constan de tres componentes principales: el modelo de lenguaje, el modelo de traduccin y el decodificador. El modelo de lenguaje se encarga de calcular la probabilidad de que una frase en la lengua de destino sea correcta. Es el encargado de la fluidez de la traduccin y para entrenarlo se utiliza un corpus monolinge de la lengua de destino lo ms grande posible. Por su parte, el modelo de traduccin se encarga de establecer la correspondencia entre el idioma de origen y el idioma de destino y se entrena utilizando un corpus alineado a nivel oracional. Durante esa fase de entrenamiento, el sistema estima la probabilidad de una traduccin a partir de las traducciones que aparecen en el corpus de entrenamiento. Por ltimo, el decodificador es el responsable de buscar dentro de todas las traducciones posibles la ms probable en cada caso. As, dado un modelo de lenguaje y un modelo de traduccin, crea todas las traducciones posibles y propone la ms probable.

Gracias a los avances en la investigacin, estos sistemas, que en un principio producan traducciones muy pobres, llegaron a alcanzar resultados aceptables e irrumpieron en la vida de los traductores profesionales hace pocos aos. Entre estos avances se incluyen mejoras en todos los componentes de un motor de traduccin automtica estadstico, desde la forma de realizar alineaciones suboracionales para mejorar el modelo de traduccin, hasta la incorporacin de informacin lingstica como parte del entrenamiento o la incorporacin de otras tcnicas de procesamiento del lenguaje natural y del aprendizaje automtico. Obviamente, la calidad de dichos motores depende de diversos factores, como el par de lenguas empleado, la calidad de los corpus de entrenamiento, el campo, etc. Sin duda, el gran referente de estos sistemas es Moses, un sistema de traduccin automtica estadstica de cdigo libre desarrollado gracias a diversos proyectos de investigacin europeos que cuenta con colaboradores de todo el mundo.

Estos sistemas, que en un principio producan traducciones muy pobres, llegaron a alcanzar resultados aceptables e irrumpieron en la vida de los traductores profesionales hace pocos aos. Con los primeros intentos de utilizar TA en entornos profesionales llegaron tambin iniciativas que pretendan acercar la traduccin automtica estadstica a los traductores o usuarios fuera del mundo acadmico o de los crculos de desarrollo de motores de TA. De esta manera nacieron proyectos como Moses for mere mortals, que pretenda acercar la traduccin estadstica a cualquier persona que estuviera interesada en ella, y Moses for localisation (m4loc), que buscaba adaptar la traduccin automtica estadstica para el sector de la localizacin. En los ltimos aos han surgido tambin soluciones comerciales como Slate que pretenden facilitar a los traductores el acceso a estas tecnologas y permitirles entrenar sus propios motores de traduccin automtica en su ordenador. Otras propuestas, aunque basadas en la nube, son las de KantanMT, unaempresa emergente irlandesa, o Lilt, una estadounidense. Lilt tiene adems la particularidad de ofrecer una funcin llamada traduccin automtica interactiva, que permite al usuario seleccionar la palabra siguiente de la traduccin y, en funcin de la palabra seleccionada, cambia la propuesta de traduccin. Y si nos fijamos en los resultados de proyectos de investigacin europeos hay que sealar sin duda alguna MateCAT, una herramienta de traduccin asistida en la nube que incorpora traduccin automtica. Liderada por la Fundacin Bruno Kessler de Trento (Italia) y en colaboracin con la empresa italiana de traduccin Translated Srl., la universidad de Le Mans (Francia) y la universidad de Edimburgo (Reino Unido), esta herramienta se ha convertido en una alternativa para la traduccin profesional. Adems de disponer de la versin en lnea para cualquier usuario mantenida por Translated, tambin es posible descargarse el cdigo e instalarla en un servidor local con nuestros propios motores de traduccin.

Traduccin automtica basada en redes neuronales

La ltima aparicin en la familia de los paradigmas de traduccin automtica es la de los motores basados en redes neuronales en 2014 (Bahdanau, Cho y Bengio 2014, Cho et al. 2014). Se suele considerar como precursor de este paradigma un artculo publicado por dos investigadores espaoles, Mikel Forcada y Ramn eco, en el ao 1997, en el que ya entonces proponan el uso de redes neuronales para la traduccin automtica. Si aquella idea no se llev a la prctica fue, en parte, por una limitacin muy clara: para poder llevar a cabo experimentos se necesitaban ordenadores y procesadores muy potentes, algo que en esos aos no estaba al alcance de cualquiera. Actualmente, sin embargo, son muchos los centros de investigacin que ya cuentan con acceso a supercomputadores donde entrenar este tipo de motores de traduccin automtica. Y esto mismo ha fomentado su investigacin, as como los grandes avances que se han conseguido, principalmente en los dos ltimos aos. En 2016 fueron precisamente estos motores los grandes ganadores en las competiciones que se organizan anualmente en el mbito acadmico.

Al igual que los sistemas estadsticos de traduccin automtica, los sistemas basados en redes neuronales necesitan grandes corpus paralelos para su entrenamiento. De hecho, para que funcionen correctamente suelen necesitar que esos corpus paralelos sean an ms grandes que los que se necesitaban en el caso de la traduccin automtica estadstica. Estamos hablando no ya de millones de palabras, sino de millones de oraciones. La diferencia consiste en el mtodo computacional que se utiliza para realizar las traducciones: las redes neuronales artificiales.

Los sistemas basados en redes neuronales necesitan grandes corpus paralelos para su entrenamiento. Cmo funciona este sistema? No podemos entrar en grandes detalles, ya que necesitaramos una gran base de lgebra, pero vamos a intentar quedarnos con una idea simplificada2: estas redes pretenden emular la manera en la que funcionan las neuronas en nuestro cerebro. Del mismo modo en que nuestras neuronas reciben informacin y realizan conexiones entre s, los componentes del lenguaje se asocian con otra informacin subyacente para formar asociaciones y generar traducciones. As, utilizando tcnicas de aprendizaje automtico, el ordenador aprende a traducir a partir de grandes cantidades de textos paralelos que adems incluyen todo tipo de informacin lingstica y no lingstica.

Cada palabra se convierte en s misma ms toda su informacin asociada, y esa informacin se utiliza para entrenar el motor. Gracias a la manera de relacionar la informacin asociada a cada palabra y a la de las palabras de una frase, el ordenador es capaz de aprender a traducir de una manera ms eficiente.

De este modo, utilizando redes neuronales artificiales el sistema puede aprender, por ejemplo, que los trminos perro y gato son ms similares entre s que perro y mesa, ya que en el texto generalmente estarn rodeados de palabras similares que nos pueden dar pistas sobre traducciones posibles.

En 2016, investigadores de la Universidad de Edimburgo desarrollaron un motor basado en redes neuronales que utilizaba caracteres y secuencias de estos en lugar de palabras completas como unidades lingsticas (Sennrich, Haddow y Birch 2016). Al utilizar esta estrategia result que el sistema no solo era capaz de aprender palabras y sus traducciones, sino tambin declinaciones, conjugaciones de verbos, concordancias, etc. Los resultados obtenidos fueron tan prometedores que actualmente la mayora de los sistemas basados en redes neuronales utilizan secuencias de caracteres en lugar de palabras en su entrenamiento. Pese a sus obvias ventajas, este enfoque tambin tiene desventajas, ya que en ocasiones los traductores automticos generan palabras que consideran probables en la lengua meta, pero que sin embargo no existen o carecen de sentido alguno.

El potencial de la traduccin automtica basada en redes neuronales es tal que ya se estn entrenando motores que, adems de textos, incorporan imgenes o incluso archivos multimedia con resultados muy prometedores (por ejemplo, Calixto et al. 2017).

Neuronal o estadstico?

Los sistemas basados en redes neuronales han llegado a superar a los sistemas estadsticos hasta tal punto que los desarrolladores del sistema estadstico ms utilizado hasta la fecha (Moses) anunciaron en octubre de 2017, al lanzar la versin 4 del sistema, que esta sera la ltima versin completamente probada en plataformas. Semejante anuncio parece indicar que los investigadores estn convencidos de que este paradigma que haba liderado la traduccin automtica desaparecer para dejar paso a sistemas ms complejos computacionalmente.

Si pensamos en la historia de la traduccin automtica, la revolucin causada por los sistemas basados en redes neuronales recuerda a la que causaron los primeros prototipos de motores de traduccin en los aos 50. Es por eso que muchos investigadores tambin han tratado de desmitificar que la traduccin automtica sea ya un problema resuelto como algunos se han atrevido a sugerir (Wu et al. 2016); durante el ltimo ao y medio se han publicado una serie de estudios que comparan los resultados de los motores estadsticos y los basados en redes neuronales con el fin de determinar si realmente las traducciones son tan superiores como indican las mtricas de evaluacin automtica, y qu tipo de errores podemos encontrarnos (Bentivogli et al. 2016, Burschardt et al. 2017, Castilho et al. 2017a, 2017b, Popovi 2017, Toral y Snchez-Cartagena 2017). Todos los estudios indican que poseditar motores basados en redes neuronales puede ser ms complejo de lo que podra parecer en un principio, porque estos sistemas suelen generar traducciones que en un primer momento parecen ms correctas pero que en realidad no siempre lo son. Esto se debe a que generalmente las frases son gramaticales y tienen sentido, por lo que un cambio de significado puede pasar desapercibido si la frase en s es posible dentro del contexto en el que se encuentra.

La revolucin causada por los sistemas basados en redes neuronales recuerda a la que causaron los primeros prototipos de motores de traduccin en los aos50.

Descubres el error?

Puede, por ejemplo, que el sistema cambie en la traduccin el nombre de un pas por el de otro simplemente porque ha aprendido que, en contextos similares, en la posicin N de la oracin suele aparecer el nombre de ese pas. Tambin se ha demostrado que en el caso de frases muy largas (de ms de 25-30 palabras) los sistemas basados en redes neuronales suelen obtener peores resultados que los sistemas estadsticos.

Quieres hacer tu propia comparacin? Microsoft Translator ofrece esta opcin.

Por ltimo, cabe destacar que, si bien en el mbito acadmico parece que los sistemas basados en redes neuronales estn a la orden del da, en el sector de la traduccin todava se estn incorporando poco a poco. Mientras las grandes corporaciones como Google, Microsoft, eBay o Booking.com pueden permitirse invertir en supercomputadores para entrenar sus motores de traduccin automtica, las pequeas y medianas empresas an se encuentran con barreras para poder implantar estos sistemas y en muchos casos siguen utilizando motores estadsticos. KantanMT ofrece a sus clientes la posibilidad de entrenar motores neuronales y la tecnologa est avanzando a pasos agigantados, pero para poder llegar a competir con sistemas como Google Translate, Microsoft Translator o el recin incorporado a escena DeepL, adems de acceso a supercomputadores se precisa acceder a grandes bases de datos por lo que, ms que probablemente, de momento estos sistemas seguirn fuera del alcance de los traductores autnomos y las empresas de un tamao modesto. Por cunto tiempo? Eso s que es ms difcil de predecir. Ya existen algunas propuestas de traduccin automtica neuronal que pretenden disminuir la cantidad de datos necesaria para entrenar motores. Es la llamada zero-shot translation y se basa en un concepto ya familiar para el lector: el uso de una interlingua (Johnson et al. 2016). La pregunta es, cundo alcanzarn un nivel de calidad suficiente para que puedan introducirse en los flujos de trabajo profesionales? De momento ya hay proyectos, como el recin finalizado ModernMT, que pretenden que esta realidad sea cada vez ms cercana.

Las pequeas y medianas empresas an se encuentran con barreras para poder implantar estos sistemas y en muchos casos siguen utilizando motores estadsticos. Conclusin

En cualquier caso, la traduccin automtica ha llegado al mundo de la traduccin profesional y ha venido para quedarse. Con ella se abre un nuevo mundo de oportunidades y de retos a los que el traductor profesional deber adaptarse. Dentro de muy poco, es posible que junto con los motores de TA aparezcan mdulos de posedicin automtica o de estimacin automtica de la calidad de la TA con el objetivo de agilizar an ms los procesos y vencer las reticencias a utilizar una tecnologa cada vez ms presente en este sector. La traduccin es, como muchas otras, una profesin supeditada a los avances tecnolgicos. Del mismo modo que las herramientas de traduccin asistida por ordenador acabaron convirtindose en herramientas fundamentales para la gran mayora de los traductores profesionales, estoy convencida que dentro de unos aos miraremos atrs y veremos que algo similar sucedi con la TA. Mientras tanto, formmonos, entendamos cmo funciona un motor, aprendamos a evaluarlos y preparmonos para las nuevas tareas de posedicin que ya no son tan nuevas. Solo as convertiremos una tecnologa que muchos temen en una herramienta ms que facilitar nuestro trabajo.

Agradecimientos Este artculo ha sido escrito gracias a la financiacin del programa de investigacin e innovacin Horizonte 2020 de la Unin Europea dentro del marco de las becas Marie Skodowska-Curie (acuerdo n. 713567) y Science Foundation Ireland en el ADAPT Centre (Grant 13/RC/2106) en Dublin City University.

Bibliografa

Bahdanau, D.; Cho, K.; Bengio, Y. Neural Machine Translation by Jointly Learning to Align and Translate. Computing Research Repository, abs/1409.0473 (2014) [16/02/2018].

Bentivogli, L.; Bisazza, A.; Cettolo, M.; Federico, M. Neural versus Phrase-Based Machine Translation Quality: a Case Study. Proceedings of Conference on Empirical Methods in Natural Language Processing (EMNLP 2016), p.257-267.

Burschardt, A., Macketanz, V.; Dehdari, J.; Higold, G.; Peter, J-T.; Williams, P. A Linguistic Evaluation of Rule-Based, Phrase-Based, and Neural MT Engines. The Prague Bulletin of Mathematical Linguistics, 108 (2017), p.159-170.

Calixto, Iacer; Stein, Daniel; Matusov, Evgeny; Lohar, Pintu; Castilho, Sheila; Way, Andy. Using Images to Improve Machine-Translating E-Commerce Product Listings. Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers [Valencia] (2017), p.637643.

Castilho, S.; Moorkens, J.; Gaspari, F.; Calixto, I.; Tinsley, J.; Way, A. Is Neural Machine Translation the New State-of-the-Art?. The Prague Bulletin of Mathematical Linguistics, 108 (2017a), p.109-120.

Castilho, S., Moorkens, J.; Gaspari, F.; Sennrich, R.; Sosoni, V.; Georgakopoulou, Y.; Lohar, P.; Way, A.; Valerio, A; Miceli Barone, A. V.; Gialama, M. A Comparative Quality Evaluation of PBSMT and NMT using Professional Translators. Proceedings of the MT Summit 2017 (2017b).

Cho, K.; van Merrinboer, B.; Bahdanau, D.; Bengio, Y. On the Properties of Neural Machine Translation: Encoder-Decoder Approaches. Computing Research Repository, abs/1409.1259 (2014).

Forcada, M.L. Making sense of neural machine translation Translation Spaces, 6:2 (2017) p.291-309.

Forcada, M.; eco, R. P. Recursive hetero-associative memories for translation. Biological and Artificial Computation: From Neuroscience to Technology [Berlin], Mira J., Moreno-Daz R., Cabestany J. (eds) (1997) p.453-462.

Johnson, M.; Schuster, M.; Le, Q. V.; Krikun, M.; Wu, Y.; Chen, Z.; Thorat, N.; Vigas, F.; Wattenberg, M.; Corrado, G. Googles Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation. ArXiv (2016), 1611.04558.

Popovi, M. Comparing Language Related Issues for NMT and PBMT between German and English. The Prague Bulletin of Mathematical Linguistics, 108 (2017), p.209-220.

Sennrich, R.; Haddow, B.; Birch, A. Neural Machine Translation by Jointly Learning to Align and Translate. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (2016) p.1715-1725.

Toral, A.; Snchez-Cartagena, V.M. A Multifaceted Evaluation of Neural versus Statistical Machine Translation for 9 Language Directions. Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics [Valencia] (2017).

Wu, Yonghui; Schuster, Mike; Chen, Zhifeng; V. Le, Quoc; Norouzi, Mohammad; Macherey, Wolfgang; Krikun, Maxim; Cao, Yuan; Gao, Qin; Macherey, Klaus; Klingner, Jeff; Shah, Apurva; Johnson, Melvin; Liu, Xiaobing; Kaiser, ukasz; Gouws, Stephan; Kato, Yoshikiyo; Kudo, Taku; Kazawa, Hideto; Stevens, Keith; Kurian, George; Patil, Nishant; Wang, Wei; Young, Cliff; Smith, Jason; Riesa, Jason; Rudnick, Alex; Vinyals, Oriol; Corrado, Greg; Hughes, Macduff; Dean, Jeffrey. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. CoRR, abs/1609.08144 (2016).

1 Este formalismo es el que se empleaba en el proyecto del sptimo programa marco Molto que mencionbamos en la presentacin.

2 Para el lector curioso recomiendo la lectura de un artculo publicado en diciembre de 2017 y titulado Making sense of neural machine translation escrito por Mikel Forcada y en el que trata de explicar a traductores y lingistas cmo funciona un motor de traduccin automtica neuronal por dentro.

Reproduccin parcial o total de contenidos o ilustraciones slo con autorizacin por escrito de la redaccin y citando autor y fuente.