A Spark NLP é uma biblioteca de processamento de texto de código aberto para processamento de linguagem natural disponível para as linguagens de programação Python, Java e Scala. A biblioteca é construída sobre o Apache Spark e sua biblioteca Spark ML.
Seu objetivo é fornecer uma API para pipelines de processamento de linguagem natural, oferecendo modelos de redes neurais pré-treinados, pipelines e embeddings, bem como suporte para treinamento de modelos personalizados.
Características O design da biblioteca utiliza o conceito de pipeline, que é um conjunto ordenado de anotadores de texto.
O Models Hub é uma plataforma para compartilhar modelos e pipelines pré-treinadas. Inclui pipelines pré-treinadas com tokenização, lematização, marcação de classe gramatical e reconhecimento de entidade mencionada em mais de treze idiomas. Inclui também embeddings de palavras, como GloVe, ELMo, BERT, ALBERT, XLNet, Small BERT e ELECTRA e embeddings de frases, incluindo Universal Sentence Embeddings (USE) e Language Agnostic BERT Sentence Embeddings (LaBSE).
Uso na área da saúde O Spark NLP for Healthcare é uma extensão comercial do Spark NLP para mineração de texto clínico e biomédico. Ele fornece anotadores, pipelines, modelos e embeddings específicos para a área da saúde para reconhecimento de entidades clínicas, vinculação de entidades clínicas, normalização de entidades e outros.
A biblioteca oferece acesso a vários transformadores clínicos e biomédicos como JSL-BERT-Clinical, BioBERT, ClinicalBERT, GloVe-Med, GloVe-ICD-O.
Spark OCR Spark OCR é outra extensão comercial do Spark NLP para reconhecimento óptico de caracteres (do inglês, optical character recognition, OCR) de imagens, documentos PDF digitalizados e arquivos DICOM . É uma biblioteca de software construída sobre o Apache Spark. Devido ao forte acoplamento entre Spark OCR e Spark NLP, os usuários podem combinar pipelines de PNL e OCR para tarefas como extrair texto de imagens.
Vários formatos de saída são suportados pelo Spark OCR, como arquivos PDF, imagens ou DICOM com entidades anotadas, texto digital para processamento downstream no Spark NLP ou outras bibliotecas, formatos de dados estruturados ( JSON e CSV), como arquivos ou data frames Spark .
Prêmio Em março de 2019, o Spark NLP recebeu o Open Source Award por suas contribuições no processamento de linguagem natural em Python, Java e Scala.Civis Analytics, Okera, Sigma Computing and Spark NLP Named Winners of Strata Data Awards
Referências
Fontes
Ligações externas
Spark PNL Categoria:Software livre programado em Python Categoria:Software usando a licença Apache Categoria:Software de 2017