Was ist der beste Weg, Trendthemen oder Tags zu berechnen?

Dieses problem fordert eine z-score-oder standard-score berücksichtigt die historischen Durchschnitt, als andere Leute haben erwähnt, sondern auch die Standardabweichung von diesem historischen Daten, so dass es robuster als der Durchschnitt.

In Ihrem Fall ein z-score wird nach folgender Formel berechnet, wo der trend wäre ein tarif wie z.B. views /Tag.

z-score = ([current trend] - [average historic trends]) /[standard deviation of historic trends]

Wenn ein z-score ist, desto höher oder niedriger der z-score, die mehrere abnorme der trend, so zum Beispiel, wenn der z-score ist sehr positiv, der trend ist unnormal ansteigt, während, wenn es sehr negativ ist es ungewöhnlich fallen. Also, wenn Sie berechnen Sie die z-score für alle Kandidaten trends die höchsten 10 z-scores beziehen sich auf die ungewöhnlich steigenden z-scores.

Finden Sie Wikipedia weitere Informationen über z-scores.

Code

from math import sqrt

def zscore(obs, pop):
    # Size of population.
    number = float(len(pop))
    # Average population value.
    avg = sum(pop) /number
    # Standard deviation of population.
    std = sqrt(sum(((c - avg) ** 2) for c in pop) /number)
    # Zscore Calculation.
    return (obs - avg) /std

Beispiel-Ausgabe

>>> zscore(12, [2, 4, 4, 4, 5, 5, 7, 9])
3.5
>>> zscore(20, [21, 22, 19, 18, 17, 22, 20, 20])
0.0739221270955
>>> zscore(20, [21, 22, 19, 18, 17, 22, 20, 20, 1, 2, 3, 1, 2, 1, 0, 1])
1.00303599234
>>> zscore(2, [21, 22, 19, 18, 17, 22, 20, 20, 1, 2, 3, 1, 2, 1, 0, 1])
-0.922793112954
>>> zscore(9, [1, 2, 0, 3, 1, 3, 1, 2, 9, 8, 7, 10, 9, 5, 2, 4, 1, 1, 0])
1.65291949506

Hinweise

• Können Sie diese Methode mit einem gleitenden Fenster (d.h. in den letzten 30 Tagen) wenn Sie möchten, nehmen zu viel von der Geschichte zu berücksichtigen, die kurzfristigen trends stärker ausgeprägt und kann nach unten geschnitten auf die Bearbeitungszeit.

• Konnte man auch mit einer z-score-Werte wie die änderung in den Ansichten von einem Tag auf den nächsten Tag zu suchen, die abnorme Werte für die Erhöhung/Verringerung Aufrufe pro Tag. Das ist wie mit der Steigung oder Ableitung der Ansichten pro Tag Diagramm.

• Wenn Sie verfolgen die aktuelle Größe der population, die aktuelle Gesamtzahl der Bevölkerung und die aktuelle Summe von x^2 aus der Bevölkerung, brauchen Sie nicht neu zu berechnen diese Werte, nur aktualisieren Sie Sie, und daher müssen Sie nur halten Sie diese Werte für die Geschichte, nicht jeder Wert. Der folgende code veranschaulicht dies.

  from math import sqrt
  
  class zscore:
      def __init__(self, pop = []):
          self.number = float(len(pop))
          self.total = sum(pop)
          self.sqrTotal = sum(x ** 2 for x in pop)
      def update(self, value):
          self.number += 1.0
          self.total += value
          self.sqrTotal += value ** 2
      def avg(self):
          return self.total /self.number
      def std(self):
          return sqrt((self.sqrTotal /self.number) - self.avg() ** 2)
      def score(self, obs):
          return (obs - self.avg()) /self.std()
  

• Mithilfe dieser Methode können Sie Ihre Arbeit fließen würde wie folgt Aussehen. Für jedes Thema, tag, oder eine Seite erstellen, die eine floating-point-Feld für die Anzahl der Tage, die Summe der Ansichten, und die Summe der Ansichten squared in Ihrer Datenbank. Wenn Sie historische Daten, initialisieren Sie diese Felder verwenden, die Daten anders initialisieren auf null. Am Ende eines jeden Tages, die Berechnung der z-score mit der heutigen Anzahl der Ansichten, die gegen die historischen Daten, die in den drei Feldern der Datenbank. Die Themen, tags, oder Seiten, die mit der höchsten X-z-scores sind Ihre X "heißesten trends" des Tages. Schließlich aktualisieren jedes der 3 Felder mit dem Tag-Wert und wiederholen Sie den Vorgang morgen.

Neuzugang

Normalen z-scores wie oben beschrieben nicht berücksichtigt werden, die die Reihenfolge der Daten und damit der z-score für die Beobachtung von '1' oder '9' hätte die gleiche Größenordnung gegen die Reihenfolge [1, 1, 1, 1, 9, 9, 9, 9]. Offensichtlich für die trend zu finden, die aktuelle Daten, sollte mehr Gewicht haben, als ältere Daten und deshalb möchten wir die '1' Beobachtung zu haben, eine größere Größe-score als die '9' Beobachtung. Um dies zu erreichen, schlage ich vor, eine schwimmende durchschnittlichen z-score. Es sollte klar sein, dass diese Methode NICHT garantiert werden statistisch Klang, aber sollte nützlich sein für die trend zu finden oder ähnliches. Der Hauptunterschied zwischen der standard-z-score und den schwimmenden durchschnittlichen z-score ist die Verwendung einer schwimmenden Durchschnitt zu berechnen, die dem Durchschnitt der Bevölkerung Wert und dem Durchschnitt der Bevölkerung Wert quadriert. Siehe code für details:

Code

class fazscore:
    def __init__(self, decay, pop = []):
        self.sqrAvg = self.avg = 0
        # The rate at which the historic data's effect will diminish.
        self.decay = decay
        for x in pop: self.update(x)
    def update(self, value):
        # Set initial averages to the first value in the sequence.
        if self.avg == 0 and self.sqrAvg == 0:
            self.avg = float(value)
            self.sqrAvg = float((value ** 2))
        # Calculate the average of the rest of the values using a 
        # floating average.
        else:
            self.avg = self.avg * self.decay + value * (1 - self.decay)
            self.sqrAvg = self.sqrAvg * self.decay + (value ** 2) * (1 - self.decay)
        return self
    def std(self):
        # Somewhat ad-hoc standard deviation calculation.
        return sqrt(self.sqrAvg - self.avg ** 2)
    def score(self, obs):
        if self.std() == 0: return (obs - self.avg) * float("infinity")
        else: return (obs - self.avg) /self.std()

Probe IO

>>> fazscore(0.8, [1, 1, 1, 1, 1, 1, 9, 9, 9, 9, 9, 9]).score(1)
-1.67770595327
>>> fazscore(0.8, [1, 1, 1, 1, 1, 1, 9, 9, 9, 9, 9, 9]).score(9)
0.596052006642
>>> fazscore(0.9, [2, 4, 4, 4, 5, 5, 7, 9]).score(12)
3.46442230724
>>> fazscore(0.9, [2, 4, 4, 4, 5, 5, 7, 9]).score(22)
7.7773245459
>>> fazscore(0.9, [21, 22, 19, 18, 17, 22, 20, 20]).score(20)
-0.24633160155
>>> fazscore(0.9, [21, 22, 19, 18, 17, 22, 20, 20, 1, 2, 3, 1, 2, 1, 0, 1]).score(20)
1.1069362749
>>> fazscore(0.9, [21, 22, 19, 18, 17, 22, 20, 20, 1, 2, 3, 1, 2, 1, 0, 1]).score(2)
-0.786764452966
>>> fazscore(0.9, [1, 2, 0, 3, 1, 3, 1, 2, 9, 8, 7, 10, 9, 5, 2, 4, 1, 1, 0]).score(9)
1.82262469243
>>> fazscore(0.8, [40] * 200).score(1)
-inf

Update

Als David Kemp korrekt darauf hingewiesen, dass, wenn gegeben, eine Reihe von Konstante Werte und dann ein zscore für einen beobachteten Wert unterscheidet sich damit von den anderen Werten angefordert wird, sollte das Ergebnis vermutlich ungleich null sein. In der Tat ist der Wert, der zurückgegeben werden soll infinity. Also änderte ich diese Zeile,

if self.std() == 0: return 0

:

if self.std() == 0: return (obs - self.avg) * float("infinity")

Diese änderung spiegelt sich in der fazscore Lösung code. Wenn man Sie nicht behandeln möchten, mit unendlich vielen Werte eine akzeptable Lösung sein könnte, um stattdessen ändern Sie die Zeile auf:

if self.std() == 0: return obs - self.avg

InformationsquelleAutor der Antwort

In der Regel "buzz" wird herausgefunden, mit irgendeiner form von exponential - /log-decay-Mechanismus. Für einen überblick darüber, wie Hacker News, Reddit und andere behandeln Sie diese in einem einfachen Weg, siehe dieser Beitrag.

Diese nicht vollständig auf die Dinge, sind immer beliebt. Was du suchst, scheint sowas wie Google ' s " Heiße Trends " - Funktion. Für das, könnten Sie dividiert den aktuellen Wert durch einen historischen Wert und subtrahieren Sie dann heraus, diejenigen, die unten sind einige Geräusch-Schwellenwert.

InformationsquelleAutor der Antwort Jeff Moser

Ich Frage mich, ob es überhaupt möglich ist, verwenden Sie regelmäßig die Physik-Beschleunigung Formel in so einem Fall?

v2-v1/t or dv/dt

Können wir betrachten v1, initial sein mag/Stimmen/Anzahl-der-Kommentare pro Stunde und v2 ist der aktuelle "Geschwindigkeit" pro Stunde in den letzten 24 Stunden?

Dies ist mehr wie eine Frage als eine Antwort, doch scheint es, kann nur funktionieren. Inhalte mit höchster Beschleunigung das trending topic...

Ich bin sicher, dass dies möglicherweise nicht lösen Britney Spears problem 🙂

InformationsquelleAutor der Antwort Sap

Könnten Sie log-likelihood-ratios vergleichen des aktuellen Datums mit dem letzten Monat oder Jahr. Dies ist statistisch sound (gegeben, dass Ihre Veranstaltungen sind nicht normal verteilt ist, ist davon auszugehen, dass von deiner Frage).

Sortieren Sie alle Ihre Begriffe von logLR und wählen Sie die top-ten.

public static void main(String... args) {
    TermBag today = ...
    TermBag lastYear = ...
    for (String each: today.allTerms()) {
        System.out.println(logLikelihoodRatio(today, lastYear, each) + "\t" + each);
    }
} 

public static double logLikelihoodRatio(TermBag t1, TermBag t2, String term) {
    double k1 = t1.occurrences(term); 
    double k2 = t2.occurrences(term); 
    double n1 = t1.size(); 
    double n2 = t2.size(); 
    double p1 = k1 /n1;
    double p2 = k2 /n2;
    double p = (k1 + k2) /(n1 + n2);
    double logLR = 2*(logL(p1,k1,n1) + logL(p2,k2,n2) - logL(p,k1,n1) - logL(p,k2,n2));
    if (p1 < p2) logLR *= -1;
    return logLR;
}

private static double logL(double p, double k, double n) {
    return (k == 0 ? 0 : k * Math.log(p)) + ((n - k) == 0 ? 0 : (n - k) * Math.log(1 - p));
}

PS, TermBag ist eine ungeordnete Sammlung von Wörtern. Für jedes Dokument, das Sie erstellen Sie eine Tasche von Bedingungen. Nur zählen die vorkommen von Wörtern. Dann wird die Methode occurrences gibt die Anzahl der vorkommen eines gegebenen Wortes, und die Methode size gibt die Gesamtzahl der Wörter. Am besten ist es, normalisieren Sie die Worte irgendwie, in der Regel toLowerCase ist gut genug. Natürlich, in den oben genannten Beispielen würden Sie ein Dokument erstellen mit alle Anfragen von heute, und eine mit allen Abfragen des letzten Jahres.

InformationsquelleAutor der Antwort akuhn

Wenn du einfach mal auf tweets oder status-Nachrichten, um Ihre Themen, wirst du auch eine Menge Lärm. Auch wenn Sie entfernen Sie alle stop-Wörter. Ein Weg, um eine bessere Teilmenge Thema Kandidaten ist, sich nur auf tweets/Nachrichten, die eine URL und die keywords aus dem Titel jener web-Seiten. Und stellen Sie sicher, anwenden, POS-tagging zu bekommen, Nomen + Nomen-Phrasen als gut.

Titeln von web-Seiten in der Regel sind mehr beschreibend und enthalten Wörter, die beschreiben, was die Seite über ist. Darüber hinaus teilen eine web-Seite in der Regel korreliert mit Austausch von Neuigkeiten, ist das brechen (dh, wenn eine Berühmtheit wie Michael Jackson gestorben ist, sind Sie gehen, um eine Menge von Menschen teilen sich ein Artikel über seinen Tod).

Ich habe lief Experimente, bei denen ich nur die beliebtesten keywords aus dem Titel UND dann die gesamtaktivität der diese keywords über alle status-Nachrichten, und Sie auf jeden Fall entfernen Sie eine Menge Lärm. Wenn Sie es auf diese Weise, Sie brauchen keine komplexen algorith -, nur eine einfache Reihenfolge der keyword-Frequenzen, und Sie sind auf halbem Weg gibt.

InformationsquelleAutor der Antwort Henley Chiu