Javascript: REGEX-zu ändern, werden alle relativen Urls zu Absoluten

Erweiterte HTML-Zeichenfolgen ersetzen-Funktionen

Hinweis für den OP, denn er beantragte eine solche Funktion: Ändern base_url zu Ihrem proxy-Basis-URL, um die gewünschten Ergebnisse zu erreichen.

Beiden Funktionen werden unten angezeigt werden (die Anleitung ist enthalten in den code). Stellen Sie sicher, dass Sie nicht überspringen Sie alle ein Teil der Erklärung dieser Antwort zu verstehen, die Funktion, die das Verhalten der.

• rel_to_abs(urL) - Diese Funktion liefert absolute URLs. Wenn eine absolute URL mit einem allgemein vertrauenswürdigen Protokoll übergeben wird, es wird sofort wieder auf diese URL. Ansonsten eine absolute URL erzeugt wird von den base_url und die Funktion-argument. Relative URLs werden korrekt geparst (../ ; ./ ; . ; //).
• replace_all_rel_by_abs - Diese Funktion analysiert alle vorkommen von URLs, die eine signifikante Bedeutung in HTML, wie CSS url(), links und externe Ressourcen. Sehen Sie den code für eine vollständige Liste der analysierten Instanzen. Sehen diese Antwort für eine angepasste Umsetzung zu desinfizieren HTML-Zeichenfolgen von einer externen Quelle (zum einbetten in das Dokument).
• Test-Fall (unten in der Antwort): Zum testen der Effektivität der Funktion, fügen Sie einfach das bookmarklet in die location-bar.

rel_to_abs - Analyse relative URLs

function rel_to_abs(url){
    /* Only accept commonly trusted protocols:
     * Only data-image URLs are accepted, Exotic flavours (escaped slash,
     * html-entitied characters) are not supported to keep the function fast */
  if(/^(https?|file|ftps?|mailto|javascript|data:image\/[^;]{2,9};):/i.test(url))
         return url; //Url is already absolute

    var base_url = location.href.match(/^(.+)\/?(?:#.+)?$/)[0]+"/";
    if(url.substring(0,2) == "//")
        return location.protocol + url;
    else if(url.charAt(0) == "/")
        return location.protocol + "//" + location.host + url;
    else if(url.substring(0,2) == "./")
        url = "." + url;
    else if(/^\s*$/.test(url))
        return ""; //Empty = Return nothing
    else url = "../" + url;

    url = base_url + url;
    var i=0
    while(/\/\.\.\//.test(url = url.replace(/[^\/]+\/+\.\.\//g,"")));

    /* Escape certain characters to prevent XSS */
    url = url.replace(/\.$/,"").replace(/\/\./g,"").replace(/"/g,"%22")
            .replace(/'/g,"%27").replace(/</g,"%3C").replace(/>/g,"%3E");
    return url;
}

Fälle /Beispiele:

• http://foo.bar. Bereits eine absolute URL, also sofort zurückgegeben.
• /doo Relativ zum root: Gibt das aktuelle root + bereitgestellt relative URL.
• ./meh Relativ zum aktuellen Verzeichnis.
• ../booh Relativ zum übergeordneten Verzeichnis.

Wandelt die Funktion relative Pfade zu ../, und führt eine Suche-und-ersetzen (http://domain/sub/anything-but-a-slash/../me zu http://domain/sub/me).

replace_all_rel_by_abs - Konvertieren alle relevanten Vorkommnisse von URLs

URLs im script-Instanzen ( <script> - , event-Handler sind nicht ersetzt, weil es beinahe unmöglich zu erstellen, ein schnell-und-sicher-filter zu analysieren JavaScript.

Dieses Skript wird serviert mit einige Kommentare. Reguläre Ausdrücke dynamisch erstellt werden, da ein einzelner RE haben eine Größe von 3000 Zeichen. <meta http-equiv=refresh content=.. > werden kann, verschleiert in verschiedenen Arten, daher der Größe des RE.

function replace_all_rel_by_abs(html){
    /*HTML/XML Attribute may not be prefixed by these characters (common 
       attribute chars.  This list is not complete, but will be sufficient
       for this function (see http://www.w3.org/TR/REC-xml/#NT-NameChar). */
    var att = "[^-a-z0-9:._]";

    var entityEnd = "(?:;|(?!\\d))";
    var ents = {" ":"(?:\\s| ?|&#0*32"+entityEnd+"|&#x0*20"+entityEnd+")",
                "(":"(?:\\(|&#0*40"+entityEnd+"|&#x0*28"+entityEnd+")",
                ")":"(?:\\)|&#0*41"+entityEnd+"|&#x0*29"+entityEnd+")",
                ".":"(?:\\.|&#0*46"+entityEnd+"|&#x0*2e"+entityEnd+")"};
                /* Placeholders to filter obfuscations */
    var charMap = {};
    var s = ents[" "]+"*"; //Short-hand for common use
    var any = "(?:[^>\"']*(?:\"[^\"]*\"|'[^']*'))*?[^>]*";
    /* ^ Important: Must be pre- and postfixed by < and >.
     *   This RE should match anything within a tag!  */

    /*
      @name ae
      @description  Converts a given string in a sequence of the original
                      input and the HTML entity
      @param String string  String to convert
      */
    function ae(string){
        var all_chars_lowercase = string.toLowerCase();
        if(ents[string]) return ents[string];
        var all_chars_uppercase = string.toUpperCase();
        var RE_res = "";
        for(var i=0; i<string.length; i++){
            var char_lowercase = all_chars_lowercase.charAt(i);
            if(charMap[char_lowercase]){
                RE_res += charMap[char_lowercase];
                continue;
            }
            var char_uppercase = all_chars_uppercase.charAt(i);
            var RE_sub = [char_lowercase];
            RE_sub.push("&#0*" + char_lowercase.charCodeAt(0) + entityEnd);
            RE_sub.push("&#x0*" + char_lowercase.charCodeAt(0).toString(16) + entityEnd);
            if(char_lowercase != char_uppercase){
                /* Note: RE ignorecase flag has already been activated */
                RE_sub.push("&#0*" + char_uppercase.charCodeAt(0) + entityEnd);   
                RE_sub.push("&#x0*" + char_uppercase.charCodeAt(0).toString(16) + entityEnd);
            }
            RE_sub = "(?:" + RE_sub.join("|") + ")";
            RE_res += (charMap[char_lowercase] = RE_sub);
        }
        return(ents[string] = RE_res);
    }

    /*
      @name by
      @description  2nd argument for replace().
      */
    function by(match, group1, group2, group3){
        /* Note that this function can also be used to remove links:
         * return group1 + "javascript://" + group3; */
        return group1 + rel_to_abs(group2) + group3;
    }
    /*
      @name by2
      @description  2nd argument for replace(). Parses relevant HTML entities
      */
    var slashRE = new RegExp(ae("/"), 'g');
    var dotRE = new RegExp(ae("."), 'g');
    function by2(match, group1, group2, group3){
        /*Note that this function can also be used to remove links:
         * return group1 + "javascript://" + group3; */
        group2 = group2.replace(slashRE, "/").replace(dotRE, ".");
        return group1 + rel_to_abs(group2) + group3;
    }
    /*
      @name cr
      @description            Selects a HTML element and performs a
                                search-and-replace on attributes
      @param String selector  HTML substring to match
      @param String attribute RegExp-escaped; HTML element attribute to match
      @param String marker    Optional RegExp-escaped; marks the prefix
      @param String delimiter Optional RegExp escaped; non-quote delimiters
      @param String end       Optional RegExp-escaped; forces the match to end
                              before an occurence of <end>
     */
    function cr(selector, attribute, marker, delimiter, end){
        if(typeof selector == "string") selector = new RegExp(selector, "gi");
        attribute = att + attribute;
        marker = typeof marker == "string" ? marker : "\\s*=\\s*";
        delimiter = typeof delimiter == "string" ? delimiter : "";
        end = typeof end == "string" ? "?)("+end : ")(";
        var re1 = new RegExp('('+attribute+marker+'")([^"'+delimiter+']+'+end+')', 'gi');
        var re2 = new RegExp("("+attribute+marker+"')([^'"+delimiter+"]+"+end+")", 'gi');
        var re3 = new RegExp('('+attribute+marker+')([^"\'][^\\s>'+delimiter+']*'+end+')', 'gi');
        html = html.replace(selector, function(match){
            return match.replace(re1, by).replace(re2, by).replace(re3, by);
        });
    }
    /* 
      @name cri
      @description            Selects an attribute of a HTML element, and
                                performs a search-and-replace on certain values
      @param String selector  HTML element to match
      @param String attribute RegExp-escaped; HTML element attribute to match
      @param String front     RegExp-escaped; attribute value, prefix to match
      @param String flags     Optional RegExp flags, default "gi"
      @param String delimiter Optional RegExp-escaped; non-quote delimiters
      @param String end       Optional RegExp-escaped; forces the match to end
                                before an occurence of <end>
     */
    function cri(selector, attribute, front, flags, delimiter, end){
        if(typeof selector == "string") selector = new RegExp(selector, "gi");
        attribute = att + attribute;
        flags = typeof flags == "string" ? flags : "gi";
        var re1 = new RegExp('('+attribute+'\\s*=\\s*")([^"]*)', 'gi');
        var re2 = new RegExp("("+attribute+"\\s*=\\s*')([^']+)", 'gi');
        var at1 = new RegExp('('+front+')([^"]+)(")', flags);
        var at2 = new RegExp("("+front+")([^']+)(')", flags);
        if(typeof delimiter == "string"){
            end = typeof end == "string" ? end : "";
            var at3 = new RegExp("("+front+")([^\"'][^"+delimiter+"]*" + (end?"?)("+end+")":")()"), flags);
            var handleAttr = function(match, g1, g2){return g1+g2.replace(at1, by2).replace(at2, by2).replace(at3, by2)};
        } else {
            var handleAttr = function(match, g1, g2){return g1+g2.replace(at1, by2).replace(at2, by2)};
    }
        html = html.replace(selector, function(match){
             return match.replace(re1, handleAttr).replace(re2, handleAttr);
        });
    }

    /* <meta http-equiv=refresh content="  ; url= " > */
    cri("<meta"+any+att+"http-equiv\\s*=\\s*(?:\""+ae("refresh")+"\""+any+">|'"+ae("refresh")+"'"+any+">|"+ae("refresh")+"(?:"+ae(" ")+any+">|>))", "content", ae("url")+s+ae("=")+s, "i");

    cr("<"+any+att+"href\\s*="+any+">", "href"); /* Linked elements */
    cr("<"+any+att+"src\\s*="+any+">", "src"); /* Embedded elements */

    cr("<object"+any+att+"data\\s*="+any+">", "data"); /* <object data= > */
    cr("<applet"+any+att+"codebase\\s*="+any+">", "codebase"); /* <applet codebase= > */

    /* <param name=movie value= >*/
    cr("<param"+any+att+"name\\s*=\\s*(?:\""+ae("movie")+"\""+any+">|'"+ae("movie")+"'"+any+">|"+ae("movie")+"(?:"+ae(" ")+any+">|>))", "value");

    cr(/<style[^>]*>(?:[^"']*(?:"[^"]*"|'[^']*'))*?[^'"]*(?:<\/style|$)/gi, "url", "\\s*\\(\\s*", "", "\\s*\\)"); /* <style> */
    cri("<"+any+att+"style\\s*="+any+">", "style", ae("url")+s+ae("(")+s, 0, s+ae(")"), ae(")")); /*< style=" url(...) " > */
    return html;
}

Eine kurze Zusammenfassung des privaten Funktionen:

• rel_to_abs(url) - Wandelt relative /unbekannte URLs zu absoluten URLs
• replace_all_rel_by_abs(html) - Ersetzt alle entsprechenden vorkommen von URLs in einem string der HTML-von absoluten URLs.
  1. ae - Eineny Entity - Gibt ein RE-Muster zum Umgang mit HTML-entities.
  2. by - ersetzen von - Diese Funktion Anforderung der aktuellen url ersetzen (rel_to_abs). Diese Funktion kann aufgerufen werden Hunderte, wenn nicht tausend mal. Seien Sie vorsichtig, um nicht einen langsamen Algorithmus, um diese Funktion (Anpassung).
  3. cr - Create Replace - Erstellt und führt eine Suche-und-ersetzen.
     Beispiel: href="..." (in einem HTML-tag).
  4. cri - Create Replace ichnline - Erstellt und führt eine Suche-und-ersetzen.
     Beispiel: url(..) im Rahmen des all - style - Attribut in HTML-tags.

Testfall

Jeder Seite zu öffnen, und fügen Sie das folgende bookmarklet in der Adressleiste:

javascript:void(function(){var s=document.createElement("script");s.src="http://rob.lekensteyn.nl/rel_to_abs.js";document.body.appendChild(s)})();

Den eingefügten code enthält zwei Funktionen, wie Sie oben definiert sind, plus die test-Fall, siehe unten. Hinweis: Der Testfall wird nicht ändern Sie die HTML der Seite, sondern zeigt die analysierten Ergebnisse in einem Textbereich (Optional).

var t=(new Date).getTime();
  var result = replace_all_rel_by_abs(document.documentElement.innerHTML);
  if(confirm((new Date).getTime()-t+" milliseconds to execute\n\nPut results in new textarea?")){
    var txt = document.createElement("textarea");
    txt.style.cssText = "position:fixed;top:0;left:0;width:100%;height:99%"
    txt.ondblclick = function(){this.parentNode.removeChild(this)}
    txt.value = result;
    document.body.appendChild(txt);
}

Siehe auch:

• Antwort: Analyse und Bereinigung der HTML-Zeichenfolgen

InformationsquelleAutor Rob W

Aus einem Kommentar von Rob-W-oben über den base-tag schrieb ich eine Spritze Funktion:

function injectBase(html, base) {
  //Remove any <base> elements inside <head>     
  html = html.replace(/(<[^>/]*head[^>]*>)[\s\S]*?(<[^>/]*base[^>]*>)[\s\S]*?(<[^>]*head[^>]*>)/img, "$1 $3");

  //Add <base> just before </head>  
  html = html.replace(/(<[^>/]*head[^>]*>[\s\S]*?)(<[^>]*head[^>]*>)/img, "$1 " + base + " $2");  
  return(html);
}

InformationsquelleAutor Geordie