New Book Release

Since the last edition of this book (2014), progress has been astonishing in all areas of Natural Language Processing (NLP), with recent achievements in Text Generation that spurred a media interest going beyond the traditional academic circles. Text Processing has meanwhile become a mainstream industrial tool that is used, to various extents, by countless companies. As such, a revision of this book was deemed necessary to catch up with the recent breakthroughs, and the author discusses models and architectures that have been instrumental in the recent progress of NLP.

As in the first two editions, the intention is to expose the reader to the theories used in NLP, and to programming examples that are essential for a deep understanding of the concepts. Although present in the previous two editions, Machine Learning is now even more pregnant, having replaced many of the earlier techniques to process text. Many new techniques build on the availability of text. 

Using Python notebooks, the reader will be able to load small corpora, format text, apply the models through executing pieces of code, gradually discover the theoretical parts by possibly modifying the code or the parameters, and traverse theories and concrete problems through a constant interaction between the user and the machine. The data sizes and hardware requirements are kept to a reasonable minimum so that a user can see instantly, or at least quickly, the results of most experiments on most machines.

The book does not assume a deep knowledge of Python, and an introduction to this language aimed at Text Processing is given in Ch. 2, which will enable the reader to touch all the programming concepts, including NumPy arrays and PyTorch tensors as fundamental structures to represent and process numerical data in Python, or Keras for training Neural Networks to classify texts. Covering topics like Word Segmentation and Part-of-Speech and Sequence Annotation, the textbook also gives an in-depth overview of Transformers (for instance, BERT), Self-Attention and Sequence-to-Sequence Architectures.

-----------------------------------------------------

• Describe modelos y arquitecturas que han sido esenciales en el progreso reciente del procesamiento del lenguaje natural.
• Se centra en técnicas para construir redes de propagación hacia adelante, recurrentes y transformadoras con scikit-learn, Keras, PyTorch.
• Incluye múltiples ejemplos de código para resolver tareas como clasificación, anotación de secuencias o traducción.

Desde la última edición de este libro (2014), el progreso en todas las áreas del procesamiento del lenguaje natural (PLN) ha sido asombroso, con logros recientes en la generación de textos, que han despertado un interés mediático que va más allá de los círculos académicos tradicionales. El procesamiento de texto se ha convertido en una herramienta industrial de uso generalizado, utilizada en diversas medidas por innumerables empresas. Como tal, se consideró necesaria una revisión de este libro para ponerse al día con los avances recientes, y el autor discute modelos y arquitecturas que han sido fundamentales en el progreso del PLN.

Al igual que en las dos primeras ediciones, la intención es exponer al lector a las teorías utilizadas en el PLN y a ilustrar con ejemplos de programación que son esenciales para una comprensión profunda de los conceptos. Aunque presente en las dos ediciones anteriores, el aprendizaje automático ahora juega un papel aún más predominante, habiendo reemplazado muchas de las técnicas anteriores para procesar texto. Muchas de estas nuevas técnicas se basan en la disponibilidad de texto.

Usando notebooks de Python, el lector podrá cargar pequeños corpus, dar formato al texto, aplicar los modelos a través de la ejecución de fragmentos de código, descubrir gradualmente las partes teóricas modificando posiblemente el código o los parámetros, y recorrer teorías y problemas concretos a través de una interacción constante entre el usuario y la máquina. El tamaño de los datos y los requisitos de hardware se mantienen en un mínimo razonable para que un usuario pueda ver instantáneamente, o al menos rápidamente, los resultados de la mayoría de los experimentos en la mayoría de las máquinas.

El libro no asume un conocimiento profundo de Python, y se ofrece una introducción a este lenguaje enfocada en el procesamiento de texto en el capítulo 2, que permitirá al lector familiarizarse con todos los conceptos de programación, incluidos los arrays de NumPy y los tensores de PyTorch como estructuras fundamentales para representar y procesar datos numéricos en Python, o Keras para entrenar Redes Neuronales para clasificar textos. Al abordar temas como la segmentación de palabras y la anotación de secuencias y partes del discurso, el libro también ofrece una visión detallada de los transformers (como BERT), la autoatención y las arquitecturas de secuencia a secuencia.

1. An Overview of Language Processing