NLP (Natural Language Processing)

También llamado Natural Language Understanding (NLU)

NLP es el campo que permite a los ordenadores leer, entender y generar lenguaje humano, ambos hablado y escrito. Es la base sobre la que se construye la IA generativa.

Es la tecnología que se usa cada vez que hablas con Alexa, traduces un texto con Google Translate o se filtra spam en tu correo. Para entrenar estos modelos se les pasa un gran número de textos y se les dice si son positivos o negativos.

Comprende técnicas como:

  • speech-to-text o text-to-speech conversion
  • Key-term extraction o entity detection - identifica palabras clave o frases en un documento y encuentra menciones sobre entidades como lugares, personas o empresas. Un ejemplo de esto son los análisis para encontrar y borrar información sensible (nombres, direcciones, DNI).
  • text classification - asigna documentos a categorías específicas
    • sentiment analysis - determina si el texto es positivo, negativo o neutral
  • language detection / translation - determina / traduce el idioma en el que está escrito un documento
  • question answering
  • summarization - reduce el volumen del texto manteniendo la máxima información posible

Tokenization concepts

Para poder manejar texto los sistemas de NLP rompen frases y palabras en piezas más pequeñas llamadas tokens. Los siguientes conceptos se aplican a la tokenizacion, dependiendo del problema especifico de NLP que tengamos que resolver.

Text normalization

Esto se hace antes de generar los tokens. Se normaliza el texto removiendo los signos de puntuación y cambiando todas las palabras a lower-case.

Mr Banks has worked in many banks.

Según el análisis que quieras hacer, puedes querer diferenciar entre Mr banks y banks. También puedes querer que banks sea un token diferente a banks., ya que este último añade como información que es el final de la frase.

Stop words removal

Stop words son palabras que añaden poco valor semántico.
Ejemplos:

  • the
  • a
  • it

n-grams

Multi-term frases como I have o He walked. Una frase compuesta por una unica palabra es un unigram. Si se compone de dos palabras es un bi-gram. Con tres es un tri-gram, etc.

Steaming

Técnica para consolidar palabras que tengan la misma raíz. Mediante esta técnica las palabras power, powered y powerful se consideran como el mismo token.