Das erkennen einer (frech oder nett) URL oder den link in einen text-string

Ich bin, konzentriert sich meine Antwort auf den Versuch, zu vermeiden Spammer. Dies führt zu zwei sub-Annahmen: die Menschen mit dem system wird daher aktiv versuchen, gegen Ihren check und Ihre Ziel ist nur, zu erkennen, das Vorhandensein einer URL nicht extrahieren Sie die vollständige URL. Diese Lösung würde anders Aussehen, wenn Ihr Ziel ist etwas anderes.

Ich denke, Ihre beste Wette ist, gehen, um mit der TLD. Es sind die aus zwei Buchstaben bestehenden länderdomains und die (derzeit noch) vergleichsweise kleine Liste von anderen. Diese müssen mit einem Präfix versehen sein, die durch einen Punkt und Suffix durch einen Schrägstrich oder einige Wort-Grenze. Wie andere bemerkt haben, nicht so perfekt zu sein. Es gibt keinen Weg, um "buyfunkypharmaceuticals . es" ohne die Nichtanerkennung des legitimen ", versuchte ich es erneut. es funktioniert nicht" oder ähnliches. All das sagte, dies wäre mein Vorschlag:

[^\b]\.([a-zA-Z]{2}|aero|asia|biz|cat|com|coop|edu|gov|info|int|jobs|mil|mobi|museum|name|net|org|pro|tel|travel)[\b/]

Dinge wird dies:

• buyfunkypharmaceuticals.es
• google.com
• http://stackoverflo**w.com/**Fragen/700163/

Es wird natürlich brechen, sobald die Menschen starten Verschleierung von URLs zu ersetzen "." durch " dot ". Aber, wieder unter der Annahme Spammer Ihr Ziel, wenn Sie anfangen, das zu tun diese Art der Sache, Ihre click-through-raten gehen, fallen noch ein paar Größenordnungen in Richtung null. Die Menschen informiert genug, um Entwirre Sie eine URL, und die Menschen uninformiert genug, um zu besuchen, spam-sites haben, denke ich, zu einer kleinen Kreuzung. Diese Lösung sollten Sie erkennen, alle URLs kopieren und pasteable der Adressleiste, ohne die Kollateralschäden auf ein minimum.

Ich bin mir nicht sicher, ob die Erkennung von URLs mit einem regex ist der richtige Weg, um dieses problem zu lösen. In der Regel werden Sie vermissen irgendeine Art von obskuren edge-Fall, die Spammer nutzen können, wenn Sie motiviert genug sind.

Wenn Ihr Ziel ist nur zum filtern von spam-Kommentare, dann möchten Sie vielleicht denken über Bayes filtern. Es hat sich als sehr präzise in der E-Mail als spam Kennzeichnen, es könnte in der Lage sein, das gleiche zu tun für Sie, abhängig von der Menge an text, den Sie filtern müssen.

Gut, offensichtlich die niedrig hängenden Früchte sind Dinge, die beginnen mit http://und www. Versucht heraus zu filtern, die Dinge wie "www . g-mail . com" führt zu interessanten philosophischen Fragen, wie weit Sie gehen wollen. Wollen Sie nehmen es einen Schritt weiter und filtern "www dot gee mail dot com" auch? Wie über abstrakte Beschreibungen einer URL wie "Die Abkürzung für world wide web, gefolgt von einem Punkt, gefolgt von der Buchstabe g, gefolgt von dem Wort E-mail, gefolgt durch einen Punkt, abgeschlossen mit der TLD Abkürzung für "commercial".

Es ist wichtig, die Linie zu zeichnen von dem, was Arten von Dingen, die Sie gehen, um zu versuchen, zu filtern, bevor Sie weiter mit dem Versuch, Ihre design-Algorithmus. Ich denke, dass die Linie gezogen werden sollte, auf der Ebene, wo "gmail.com" als eine url, sondern "gmail. com" ist es nicht. Andernfalls bist du wahrscheinlich false positives jedes mal, wenn jemand ausfällt, um die Anfangsbuchstaben in einem Satz.

Ping URL

Wenn Sie don T Geist ein wenig server-side-Berechnung, was ungefähr so etwas wie das?

urls = []
for possible_url in extracted_urls(comment):
    if pingable(possible_url):
       urls.append(url)  #you could do this as a list comprehension, but OP may not know python

Hier:

1. extracted_urls nimmt in einem Kommentar und verwendet eine konservative regex zu ziehen aus den möglichen Kandidaten

2. "pingbar" geführt tatsächlich verwendet ein system rufen Sie, um zu bestimmen, ob der hostname vorhanden ist, auf der web. Sie könnten einen einfachen wrapper Parsen der Ausgabe des ping.

   [ramanujan:~/base]$ping -c 1 http://www.google.com

   PING http://www.l.google.com (74.125.19.147): 56 data bytes
   64 bytes from 74.125.19.147: icmp_seq=0 ttl=246 time=18.317 ms

   --- http://www.l.google.com ping statistics ---
   1 packets transmitted, 1 packets received, 0% packet loss
   round-trip min/avg/max/stddev = 18.317/18.317/18.317/0.000 ms

   [ramanujan:~/base]$ping -c 1 fooalksdflajkd.com

   ping: cannot resolve fooalksdflajkd.com: Unbekannter host

Der Nachteil ist, dass wenn der host gibt ein 404, wirst du es nicht erkennen, aber das ist ein ziemlich guter Erster Schnitt -, der ultimative Weg, um zu überprüfen, dass eine Adresse ist eine website, um zu versuchen, um zu navigieren. Sie könnten auch versuchen, wget ' Ing, dass die URL, aber das ist mehr Schwergewicht.

Wissen Sie natürlich, wenn Spammer sich entscheiden, tinuyrl oder derartige Leistungen zu kürzen Ihrer URLs, die Ihr problem nur schlimmer. Möglicherweise müssen code schreiben, um sich die tatsächlichen URLs in diesem Fall, mit einem service wie TinyURL decoder

Ich mag capar's Antwort die beste, so weit, aber der Umgang mit unicode-fonts kann ein bisschen nervenaufreibend, mit älteren Browsern oft anzeigen eine lustige Sache oder einer kleinen box ... und die Lage der U+05B4 ist ein wenig seltsam ... für mich scheint es außerhalb der Rohre hier |ִ| auch wenn es zwischen Ihnen.

Gibt es eine praktische &middot; (·) obwohl, die Pausen Ausschneiden und einfügen in der gleichen Weise. Die vertikale Ausrichtung kann behoben werden, indem man <sub>ing es, zB:

stackoverflow_·com

Pervers, aber wirksam in FF3 eh, es kann nicht Ausschneiden und einfügen als URL. Die <sub> ist eigentlich ganz nett, denn es macht es optisch klar, warum die URL nicht eingefügt werden.

Punkten, die nicht im Verdacht URLs kann allein gelassen werden, so zum Beispiel könnten Sie tun

s/\b\.\b/<sub>&middot;<\/sub>/g

Weitere option ist das einfügen eine Art von null-Breite Einheit weiter zu vermuten, dots, aber Dinge wie &zwj; und &zwnj; und &zwsp; nicht zu funktionieren scheinen, in FF3.

Brauchte ich nur das erkennen von einfachen http-urls mit/aus Protokoll, vorausgesetzt, dass entweder das Protokoll gegeben ist oder eine " www " - Präfix. Ich fand die oben erwähnt link ganz hilfreich, aber am Ende kam ich mit diesem:

http(s?)://(\S+\.)+\S+|www\d?\.(\S+\.)+\S+

Bedeutet dies, offensichtlich, nicht test die Einhaltung der nach dem dns-standard.