Gibt es eine Möglichkeit, die Verwendung von UTF-8 mit app engine?

Ich bin auf der Suche nach einer Erklärung, wie die app engine beschäftigt sich mit Zeichenkodierungen. Ich arbeite an einer client-server-Anwendung, wobei der server ist auf der app engine.

Dies ist eine neue Anwendung von Grund auf neu gebaut, so dass wir die Verwendung von UTF-8 überall. Der client sendet einige strings an den server über den POST -, x-www-form-urlencoded. Ich bekomme Sie und echo Sie wieder zurück. Wenn der client bekommt es zurück, es ist ISO-8859-1! Ich habe auch dieses Verhalten angezeigt, wenn Sie die Buchung in die blobstore, mit der die Parameter gesendet, die als UTF-8, multipart/form-data codiert.

Für das Protokoll, ich sehe das in Wireshark. Also ich bin mir 100% sicher, dass ich das senden von UTF-8 und erhalten ISO-8859-1. Auch ich bin nicht zu sehen, mojibake: die ISO-8859-1-kodierte strings sind völlig in Ordnung. Dies ist auch nicht ein Problem der Fehlinterpretation des Content-Type. Es ist nicht der client. Etwas auf dem Weg ist, richtig zu erkennen ich bin senden von UTF-8-Parameter, jedoch ist die Umwandlung in ISO-8859-1 aus irgendeinem Grund.

Ich bin zu der Annahme geführt, ISO-8859-1 ist die Standard-Zeichenkodierung für die GAE-servlets. Meine Frage ist, gibt es eine Möglichkeit zu sagen, GAE, nicht zu konvertieren, um ISO-8859-1 und stattdessen UTF-8 überall?

Lassen Sie uns sagen, dass das servlet nicht so etwas wie dieses:

public void doPost(HttpServletRequest req, HttpServletResponse resp) throws IOException {
    resp.setContentType("application/json");
    String name = req.getParameter("name");
    String json = "{\"name\":\"" + name + "\"}";
    resp.getOutputStream().print(json);
}

Ich habe versucht Einstellung der Kodierung der Antwort und Anfrage zu "UTF-8", aber das konnte nichts ändern.

Vielen Dank im Voraus,

  • Ich weiß nicht, über GÄ, aber Ihre API sieht wie J2EE-Servlets. Gibt es ISO-8859-1 ist ja die Standardeinstellung. Verwenden resp.setCharacterEncoding() um die Codierung ändern oder print-Binär-Dateien direkt.
  • GAE verwendet, die gleiche API. Ich habe versucht, die Codierung des Zeichensatzes in der Antwort bereits, es funktioniert nicht. 🙁 Danke, aber.
  • Ich habe nicht verwendet, appengine, sondern mit allen Anwendungsserver verwenden, musste ich einen filter implementieren, zu zwingen, die Codierung UTF-8 (wegen des 'Problems' Zeiss erwähnt...dumm servlet spec). Sie können kopieren Sie den filter aus tomcat wenn Sie nicht möchten, das Rad neu zu erfinden.
  • Hast du dies gelesen? macgyverdev.blogspot.com.ar/2011/09/...
  • Nein, habe ich nicht versuchen, dass. Die links, die ich gesehen habe nutzen Spring, ich bin nicht mit Spring. Dein link ist nicht geladen hier. Ich fand, dass der code woanders, ich werde give it a shot, und zurück zu dir, vielen Dank.
  • Ja, es Spring verwendet. Ich bin nicht mit Spring.
  • nur FTR, siehe die Antwort von leonboy. Es funktioniert nicht im SPIEL, offenbar. 🙁
  • Hinweise für die Fehlersuche: was bedeutet resp.getCharacterEncoding() gibt ? (kurz vor der resp.getOutputStream() ). Setzen Sie die Zeichenkodierung, die nach dem Aufruf von setContentType und vor getOutputStream()? Was passiert, wenn statt getOutputStream (), die Sie verwenden getWriter() ?

InformationsquelleAutor fnf | 2012-08-10
  1. 17

    Sehe ich zwei Dinge, die Sie tun sollten.

    1) set system-Eigenschaften (falls Sie es sind) auf utf8 in Ihrem appengine-web.xml

    <system-properties>
    <property name="java.util.logging.config.file" value="WEB-INF/logging.properties" />
    <property name="file.encoding" value="UTF-8" />
    <property name="DEFAULT_ENCODING" value="UTF-8" />
</system-properties>

    OK, der oben ist, was ich habe, aber die docs legen nahe, dass diese unter:

    <env-variables>
    <env-var name="DEFAULT_ENCODING" value="UTF-8" />
</env-variables>

    https://developers.google.com/appengine/docs/java/config/appconfig

    2) die Kodierung angeben, die, wenn Sie die Art des Inhalts, oder es wird wieder auf die Standardeinstellung

    Den content-type kann die Art der Zeichen-Codierung verwendet, für
    Beispiel text/html; charset=ISO-8859-4.

    Ich würde versuchen 

    resp.setContentType("application/json; charset=UTF-8");

    Könnten Sie auch versuchen, eine Schriftstellerin, mit der Sie die Art des Inhalts, um es direkt.

    http://docs.oracle.com/javaee/1.3/api/javax/servlet/ServletResponse.html#getWriter%28%29

    http://docs.oracle.com/javaee/1.3/api/javax/servlet/ServletResponse.html#setContentType(java.lang.String)

    Für was es Wert ist, ich brauche utf8 Inhalte für Japanisch und ich habe keine Probleme. Ich bin nicht mit einem filter oder setContentType sowieso. Ich bin mit gwt und #1 oben und es funktioniert.

    • NÖ, das funktioniert auch nicht. 🙁 Ich deaktiviert den filter, legen Sie die system-Eigenschaften, wie Sie vorgeschlagen (mit env-Variablen funktioniert nicht, der dev-server nicht zu laufen). Dann habe ich content-type auf "application/json; charset=utf-8" (die ich glaube, ist richtig), und es hat nicht funktioniert. Ich auch kopiert und eingefügt werden deine content-type-Zeile (die ich glaube, ist falsch), das gleiche Problem.
    • "bzw.setContentType" war die Sache, die für mich gearbeitet.
    InformationsquelleAutor user1258245
  2. 7

    Einen Weg gefunden, das zu umgehen. Dies ist, wie ich es gemacht habe:

    • Verwendet "application/json; charset=UTF-8" als content-type. Alternativ können Sie die Antwort charset "UTF-8" (entweder wird funktionieren, keine Notwendigkeit, beides zu tun).

    • Base64-codierte der input-strings, die nicht-ASCII-sicher und kommen als UTF-8. Sonst werden Sie konvertiert werden, ISO-8859-1 wenn Sie zu dem servlet, offenbar.

    • Verwendet resp.getWriter() anstelle von resp.getOutputStream() zum drucken der JSON-Antwort.

    Nach alle die Bedingungen wurden erfüllt, ich war schließlich in der Lage, die Ausgabe in UTF-8 an den client zurück.

    InformationsquelleAutor fnf
  3. 1

    Dies ist nicht spezifisch für GAE, aber wenn Sie es nützlich finden: ich habe meine eigenen filter:

    In web.xml

    <filter>
    <filter-name>charsetencoding</filter-name>
    <filter-class>mypackage.CharsetEncodingFilter</filter-class>
</filter>
    ...
<filter-mapping>
   <filter-name>charsetencoding</filter-name>
   <url-pattern>/*</url-pattern> 
</filter-mapping>

    (legen Sie die filter-mapping fragment ganz am Anfang der filter-mappings, und überprüfen Sie Ihre url-pattern.

    Und 

    public class CharsetEncodingFilter implements Filter {

    public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException {
        HttpServletRequest req = (HttpServletRequest) request;
        HttpServletResponse res = (HttpServletResponse) response;
        req.setCharacterEncoding("UTF-8");
        chain.doFilter(req, res);
        res.setCharacterEncoding("UTF-8");
    }

    public void destroy() { }

    public void init(FilterConfig filterConfig) throws ServletException { }
}
    • NÖ. 🙁 Ich habe auch versucht mit Augusto ' s link und konfigurieren Sie den charset in web.xml als der link, den du gepostet erwähnt, aber es immer noch nicht den trick tun. Ich vermute, GAE nicht respektiert, diese Filter irgendwie? Ich bekomme immer noch ISO-8859-1 zurück aus der echo-servlet.
    • es hat nicht funktioniert auch hier
    • Nach developers.google.com/appengine/docs/java/config/webxml GAE unterstützt Filter. Jedoch, alle filter tut, ist, setzen Sie die request-und response-Zeichenkodierung. Ich habe versucht, die bereits in den einzelnen servlets mit kein Glück, so dass ich denke, dass ist das, was nicht funktioniert im SPIEL.
    • Konnte ich mich auch nicht, dass es funktioniert auch in der Entwicklungs-server. Ich denke, dass es verwendet Jetty zu dienen, die Anforderungen.
    InformationsquelleAutor leonbloy
  4. 0

    Workaround (safe)

    Nichts von diesen Antworten, die für mich gearbeitet, also schrieb ich diese Klasse zu encode UTF-Strings zu ASCII-Strings (ersetzt alle chars, die nicht in der ASCII-Tabelle mit der entsprechenden Tabelle-Nummer, vorangestellt und gefolgt von einer mark), mit AsciiEncoder.encode(yourString)

    Den String können Sie dann decodiert zurück zu UTF mit AsciiEncoder.decode(yourAsciiEncodedString).

    package <your_package>;

import java.util.ArrayList;

/**
 * Created by Micha F. aka Peracutor.
 * 04.06.2017
 */

public class AsciiEncoder {

    public static final char MARK = '%'; //use whatever ASCII-char you like (should be occurring not often in regular text)

    public static String encode(String s) {
        StringBuilder result = new StringBuilder(s.length() + 4 * 10); //buffer for 10 special characters (4 additional chars for every special char that gets replaced)
        for (char c : s.toCharArray()) {
            if ((int) c > 127 || c == MARK) {
                result.append(MARK).append((int) c).append(MARK);
            } else {
                result.append(c);
            }
        }
        return result.toString();
    }

    public static String decode(String s) {
        int lastMark = -1;
        ArrayList<Character> chars = new ArrayList<>();
        try {
            //noinspection InfiniteLoopStatement
            while (true) {
                String charString = s.substring(lastMark = s.indexOf(MARK, lastMark + 1) + 1, lastMark = s.indexOf(MARK, lastMark));
                char c = (char) Integer.parseInt(charString);
                chars.add(c);
            }
        } catch (IndexOutOfBoundsException | NumberFormatException ignored) {}

        for (char c : chars) {
            s = s.replace("" + MARK + ((int) c) + MARK, String.valueOf(c));
        }
        return s;
    }
}

    Hoffe, das jemand hilft.

    InformationsquelleAutor Micha F.
Schreibe einen Kommentar