No mundo do processamento da linguagem natural, há dois métodos principais para lidar com as palavras: o stemming e a lemmatização. O stemming simplesmente remove ou "caules" os últimos caracteres de uma palavra, muitas vezes levando a significados e ortografias incorretas. A lematização, por outro lado, considera o contexto e converte a palavra para sua forma base significativa, que é chamada de lemma. Às vezes, a mesma palavra pode ter vários lemas diferentes.
Derivação
Stemming e keyword stemming referem-se à análise do significado por trás de uma palavra e à compreensão das diferentes formas de palavras de um determinado consulta de pesquisa. É chamado de "stemming" porque deriva da palavra stem, base ou forma de raiz.
Exemplo: Comprar >> Compra, Compra, Compra
Em Stemming, você se concentra no tema raiz e trabalha a saída para as variações da palavra.
Lemmatização
Lemmatização é o processo de agrupar as formas inflexíveis de uma palavra a fim de analisá-las como uma única palavra em lingüística.
Exemplo: Compra, Compra, Compra >> Compra
Em Lemmatização, você encontra o tópico raiz analisando as variações de palavras-chave.
Conclusão
Então, o que é melhor para a PNL: o stemming ou a lemmatização? A resposta é...depende. Ambos os métodos têm seus prós e contras, e a melhor opção para sua aplicação provavelmente dependerá do idioma específico com o qual você está trabalhando e da tarefa em mãos. Em geral, porém, a lemmatização é freqüentemente vista como sendo mais precisa do que o stemming, pois leva em conta o contexto de uma palavra a fim de identificar corretamente sua forma base. Se você estiver procurando uma maneira mais precisa de lidar com palavras em suas aplicações de PNL, então a lemmatização é provavelmente o caminho a seguir se você quiser identificar palavras-chave de sementes, e stemming para criar uma lista de idéias de palavras-chave.
Publicado em: 2022-03-28
Atualizado em: 2022-06-29
Portuguese 
English 
Japanese 
French 
Spanish 
Chinese