Was ist der beste Weg, um zu übersetzen, eine große Menge von text-Daten?

Ich zu lösen hatte das gleiche problem bei der Integration von Sprache übersetzung mit einem xmpp-chat-server. Ich partitionierte meine payload (den text den ich brauchte, um zu übersetzen) in kleinere Teilmengen der vollständigen Sätzen. Ich kann mich nicht erinnern die genaue Zahl, aber mit googles rest-basierte übersetzung-url, die ich übersetzt eine Reihe von abgeschlossenen Sätzen, die collectivly hatte insgesamt weniger als (oder gleich) 1024 Zeichen, so einen großen Absatz ergeben würde, in mehrere übersetzungs-service-Aufrufe.

Disclaimer: Während ich auf jeden Fall finden tokenisierung als Mittel der übersetzung vermute, die Teilung auf Sätze wie später dargestellt, durch typoking kann Ergebnisse produzieren, die zu füllen Ihre Anforderungen.

Ich schlug vor, dass sein code könnte verbessert werden durch die Reduzierung der 30+ - Linien von string-munging auf die 1 Zeile regex fragte er nach in einer anderen Frage aber der Vorschlag war nicht gut erhalten.

Hier ist eine Implementierung mit google-api für .net in VB und CSharp

Programm.cs

using System;
using System.Collections.Generic;
using System.IO;
using System.Text;
using System.Text.RegularExpressions;
using Google.API.Translate;

namespace TokenizingTranslatorCS
{
    internal class Program
    {
        private static readonly TranslateClient Client =
            new TranslateClient("http://code.google.com/p/google-api-for-dotnet/");

        private static void Main(string[] args)
        {
            Language originalLanguage = Language.English;
            Language targetLanguage = Language.German;

            string filename = args[0];

            StringBuilder output = new StringBuilder();

            string[] input = File.ReadAllLines(filename);

            foreach (string line in input)
            {
                List<string> translatedSentences = new List<string>();
                string[] sentences = Regex.Split(line, "\\b(?<sentence>.*?[\\.!?](?:\\s|$))");
                foreach (string sentence in sentences)
                {
                    string sentenceToTranslate = sentence.Trim();

                    if (!string.IsNullOrEmpty(sentenceToTranslate))
                    {
                        translatedSentences.Add(TranslateSentence(sentence, originalLanguage, targetLanguage));
                    }
                }


                output.AppendLine(string.Format("{0}{1}", string.Join(" ", translatedSentences.ToArray()),
                                                Environment.NewLine));
            }

            Console.WriteLine("Translated:{0}{1}{0}", Environment.NewLine, string.Join(Environment.NewLine, input));
            Console.WriteLine("To:{0}{1}{0}", Environment.NewLine, output);
            Console.WriteLine("{0}Press any key{0}", Environment.NewLine);


            Console.ReadKey();
        }

        private static string TranslateSentence(string sentence, Language originalLanguage, Language targetLanguage)
        {
            string translatedSentence = Client.Translate(sentence, originalLanguage, targetLanguage);
            return translatedSentence;
        }
    }
}

Module1.vb

Imports System.Text.RegularExpressions
Imports System.IO
Imports System.Text
Imports Google.API.Translate


Module Module1

    Private Client As TranslateClient = New TranslateClient("http://code.google.com/p/google-api-for-dotnet/")

    Sub Main(ByVal args As String())

        Dim originalLanguage As Language = Language.English
        Dim targetLanguage As Language = Language.German

        Dim filename As String = args(0)

        Dim output As New StringBuilder

        Dim input As String() = File.ReadAllLines(filename)

        For Each line As String In input
            Dim translatedSentences As New List(Of String)
            Dim sentences As String() = Regex.Split(line, "\b(?<sentence>.*?[\.!?](?:\s|$))")
            For Each sentence As String In sentences

                Dim sentenceToTranslate As String = sentence.Trim

                If Not String.IsNullOrEmpty(sentenceToTranslate) Then

                    translatedSentences.Add(TranslateSentence(sentence, originalLanguage, targetLanguage))

                End If

            Next

            output.AppendLine(String.Format("{0}{1}", String.Join(" ", translatedSentences.ToArray), Environment.NewLine))

        Next

        Console.WriteLine("Translated:{0}{1}{0}", Environment.NewLine, String.Join(Environment.NewLine, input))
        Console.WriteLine("To:{0}{1}{0}", Environment.NewLine, output)
        Console.WriteLine("{0}Press any key{0}", Environment.NewLine)
        Console.ReadKey()


    End Sub

    Private Function TranslateSentence(ByVal sentence As String, ByVal originalLanguage As Language, ByVal targetLanguage As Language) As String

        Dim translatedSentence As String = Client.Translate(sentence, originalLanguage, targetLanguage)
        Return translatedSentence
    End Function

End Module

Eingang (gestohlen direkt aus typoking)

Nur um zu beweisen ich warf dieses
zusammen 🙂 Es ist rau rund um die
Kanten, aber es behandelt eine GANZE Menge
der text und es nicht nur so gut wie
Google-übersetzungen auf Genauigkeit
denn Sie nutzt die Google-API. Ich
verarbeitet Apple das gesamte Jahr 2005 SEK-10-K
Einreichung mit diesem code und der auf der
über eine Schaltfläche (dauerte etwa 45 Minuten).
Das Ergebnis war im Grunde genommen identisch
was würden Sie, wenn Sie kopiert und
eingefügt wird ein Satz in einer Zeit, in
Google-Übersetzer. Es ist nicht perfekt
(Satzzeichen nicht korrekt
und ich wollte nicht schreiben, dass die text-Datei
Zeile für Zeile), aber es zeigt den Beweis
von Konzept. Es könnte bessere
Satzzeichen, wenn Sie arbeitete mit Regex
einige weitere.

Ergebnisse (zu Deutsch für typoking):

Nur um zu beweisen einen Punkt warf
ich stirbt zusammen:) Es ist Ecken und
Kanten, aber es wird eine ganze Menge
Text umgehen und es tut so gut wie
Google für die Genauigkeit der
Übersetzungen, weil es die Google-API
verwendet. Ich verarbeitet Apple
gesamte Jahr 2005 SEC 10-K Filing bei
diesem Code und dem Klicken einer
Geschmack (dauerte ca. 45 Minuten). Das
Ergebnis war im wesentlichen identisch
zu dem, wurde Sie erhalten würden, wenn
Sie kopiert und eingefügt einem Satz
in einer Zeit, in der Google-Translator.
Es ist nicht perfekt (Endung
Interpunktion ist nicht korrekt und
ich wollte nicht in die Textdatei
Zeile für Zeile) schreiben, aber es
zeigt proof-of-concept. Es hätte
besser Satzzeichen, wenn Sie mit Regex
arbeitete einige mehr.

Es gibt eine fülle von verschiedenen Maschinen-Übersetzung-APIs: Google, Microsoft, Yandex, IBM, PROMT, Systran, Baidu, YeeCloud, DeepL, SDL, SAP.

Einige von Ihnen unterstützt batch-Anfragen (die übersetzung von einem array von text auf einmal). Ich würde übersetzen-Satz für Satz mit der richtigen Verarbeitung von 403/429 Fehler (in der Regel verwendet, um Antworten für Kontingent überschritten)

Darf ich verweisen Sie auf unsere aktuelle Studie (November 2017): https://www.slideshare.net/KonstantinSavenkov/state-of-the-machine-translation-by-intento-november-2017-81574321

Dies ist eine lange gedreht, aber hier geht es:

Vielleicht in diesem blog-post, die beschreibt, mit Second Life zu übersetzen von Artikeln für Sie hilfreich sein, zu?

Ich bin auch nicht sicher, ob Second Life-API können Sie die übersetzung in einer automatisierten Weise, obwohl.