NLP concepts
NLP es Natural Language Processing
NLU es Natural Language Understanding
Partimos de la base que tenemos un texto ya partido en tokens
- We
- choose
- to
- go
- to
- the
- moon
Técnicas Pre-procesamiento
Antes de hacer ningún tipo de procesamiento de lenguaje, pre-procesamos los tokens en función de lo que queramos conseguir
| Técnica | Descripción |
|---|---|
| Text normalization | Antes de generar el token podemos querer normalizar el texto en función de nuestro análisis (quitar signos puntuación, todo a minúsculas). Esto puede ayudar para análisis de frecuencia de palabras pero perdemos significado semántico.Mr Banks has worked in many banks. quizás queramos diferenciar entre la persona y el banco, o entre banks. y banks. Ese punto añade información de que la frase termina |
| Stop word removal | Stop words son palabras que se deben excluir del análisis ya que no aportan nada. Por ejemplo the, a, it |
| N-gram extraction | Encontrar frases que se puedan representar de diferentes maneras: artificial intelligence o natural language processing. Una frase con una palabra es un unigram, con dos palabras es bigram, con tres trigram |
| Stemming | Técnica para consolidar palabras quedándote solo con la raíz: si de las siguientes palabras powering, powered, powerful quitamos las terminaciones ing, ed, ful nos queda el mismo token power |
| Lemmatization | Otra forma de reducir palabras a su forma base (llamada lemma). A diferencia de stemming no acorta las palabras si no que se basa en linguistica y vocabulario para asegurarse que el resultado es válido. Ejemplo running -> run o global -> globe |
| Parts of speech (POS) tagging | Poner labels a cada token con su categoría gramatical (noun, verb, adjective or adverb). Tiene en cuenta el token y su contexto en la frase |
Statistical text analisis
Una vez tenemos ya hecho el pre-procesamiento y los tokens, podemos hacer análisis sobre documentos
Frequency Analysis
La forma más obvia en analizar un único documento aislado. Consiste en contar el número de veces que aparece un token en un documento.
| Term | Frequency |
|---|---|
ai |
4 |
business |
3 |
benefit |
2 |