Negation Handhabung in der sentiment-Analyse

Negation Handhabung ist ein ziemlich breites Feld, mit vielen verschiedenen möglichen Implementierungen. Hier kann ich Beispielcode zur Verfügung, welches eine Sequenz von text und speichert negiert uni - /bi - /Trigramme im not_ form. Beachten Sie, dass nltk nicht verwendet wird hier zugunsten einer einfachen Textverarbeitung.

# negate_sequence(text)
#   text: sentence to process (creation of uni/bi/trigrams
#    is handled here)
#
# Detects negations and transforms negated words into 'not_' form
#
def negate_sequence(text):
    negation = False
    delims = "?.,!:;"
    result = []
    words = text.split()
    prev = None
    pprev = None
    for word in words:
        stripped = word.strip(delims).lower()
        negated = "not_" + stripped if negation else stripped
        result.append(negated)
        if prev:
            bigram = prev + " " + negated
            result.append(bigram)
            if pprev:
                trigram = pprev + " " + bigram
                result.append(trigram)
            pprev = prev
        prev = negated

        if any(neg in word for neg in ["not", "n't", "no"]):
            negation = not negation

        if any(c in word for c in delims):
            negation = False

    return result

Wenn wir dieses Programm ein Beispiel für die Eingabe text = "I am not happy today, and I am not feeling well" erhalten wir die folgenden Sequenzen von unigrams, bigrame, und Trigramme:

[   'i',
    'am',
    'i am',
    'not',
    'am not',
    'i am not',
    'not_happy',
    'not not_happy',
    'am not not_happy',
    'not_today',
    'not_happy not_today',
    'not not_happy not_today',
    'and',
    'not_today and',
    'not_happy not_today and',
    'i',
    'and i',
    'not_today and i',
    'am',
    'i am',
    'and i am',
    'not',
    'am not',
    'i am not',
    'not_feeling',
    'not not_feeling',
    'am not not_feeling',
    'not_well',
    'not_feeling not_well',
    'not not_feeling not_well']

Können wir anschließend speichern Sie diese Zeichen in einem array für die Zukunft retreival und Analyse. Prozess der not_ Wörter als negativ [Stimmung, Polarität], die Sie definiert haben für Ihre Kollegen.

dieser scheint zu arbeiten, anständig zu auch als des Armen Mannes Wort negation in python. es ist definitiv nicht perfekt, kann aber nützlich sein in einigen Fällen. es dauert einen abgefahrenen Satz-Objekt.

def word_is_negated(word):
    """ """

    for child in word.children:
        if child.dep_ == 'neg':
            return True

    if word.pos_ in {'VERB'}:
        for ancestor in word.ancestors:
            if ancestor.pos_ in {'VERB'}:
                for child2 in ancestor.children:
                    if child2.dep_ == 'neg':
                        return True

    return False

def find_negated_wordSentIdxs_in_sent(sent, idxs_of_interest=None):
    """ """

    negated_word_idxs = set()
    for word_sent_idx, word in enumerate(sent):
        if idxs_of_interest:
            if word_sent_idx not in idxs_of_interest:
                continue
        if word_is_negated(word):
            negated_word_idxs.add(word_sent_idx)

    return negated_word_idxs

nennen mag:

import spacy
nlp = spacy.load('en_core_web_lg')
find_negated_wordSentIdxs_in_sent(nlp("I have hope, but I do not like summer"))

BEARBEITEN:
Wie @Amandeep wies darauf hin, abhängig von Ihrem Anwendungsfall, können Sie auch SUBSTANTIVE, ADJEKTIVE, ADVERBIEN in der Zeile: if word.pos_ in {'VERB'}:.