Der beste Weg, um Nachrichten aus DLQ in Amazon SQS zu verschieben?

Was ist die beste übung zum verschieben von Nachrichten aus einem dead letter queue zurück, um die ursprüngliche Warteschlange in Amazon SQS?

Wäre es

  1. Bekommen Nachricht von DLQ
  2. Schreiben Nachricht an Warteschlange
  3. Löschen Nachricht von DLQ

Oder gibt es eine einfachere Möglichkeit?

Auch, AWS-schließlich haben Sie ein Werkzeug in der Konsole zum verschieben von Nachrichten aus der DLQ?

InformationsquelleAutor der Frage Matt Dell | 2014-08-20

  1. 6

    Dass sieht aus wie die beste option. Es besteht die Möglichkeit, dass Ihr Prozess nicht nach Schritt 2. In diesem Fall werden Sie am Ende kopieren die Nachricht zweimal, aber Sie sollten Umgang mit re-Lieferung von Nachrichten (oder nicht-Pflege) sowieso.

    InformationsquelleAutor der Antwort Dave

  2. 51

    Hier ist ein quick-hack. Dies ist definitiv nicht die beste oder die empfohlene option.

    1. Die wichtigsten SQS-Warteschlange als der DLQ für die tatsächliche DLQ mit Maximal Erhält als 1.
    2. Anzeigen der Inhalte in der DLQ (Das wird verschieben Sie die Nachrichten in die main queue, da dies der DLQ für die tatsächliche DLQ)
    3. Entfernen Sie die Einstellung so, dass die main queue wird nicht mehr der DLQ der tatsächlichen DLQ

    InformationsquelleAutor der Antwort Rajkumar

  3. 4

    hier:

    import boto3
import sys
import Queue
import threading

work_queue = Queue.Queue()

sqs = boto3.resource('sqs')

from_q_name = sys.argv[1]
to_q_name = sys.argv[2]
print("From: " + from_q_name + " To: " + to_q_name)

from_q = sqs.get_queue_by_name(QueueName=from_q_name)
to_q = sqs.get_queue_by_name(QueueName=to_q_name)

def process_queue():
    while True:
        messages = work_queue.get()

        bodies = list()
        for i in range(0, len(messages)):
            bodies.append({'Id': str(i+1), 'MessageBody': messages[i].body})

        to_q.send_messages(Entries=bodies)

        for message in messages:
            print("Coppied " + str(message.body))
            message.delete()

for i in range(10):
     t = threading.Thread(target=process_queue)
     t.daemon = True
     t.start()

while True:
    messages = list()
    for message in from_q.receive_messages(
            MaxNumberOfMessages=10,
            VisibilityTimeout=123,
            WaitTimeSeconds=20):
        messages.append(message)
    work_queue.put(messages)

work_queue.join()

    InformationsquelleAutor der Antwort Brian Dilley

  4. 4

    Brauchen nicht zu bewegen, die Nachricht, da wird es mit so vielen anderen Herausforderungen wie doppelte Nachrichten, recovery-Szenarien, Nachricht verloren, de-Duplizierung überprüfen und etc.

    Hier ist die Lösung, die wir umgesetzt -

    In der Regel verwenden wir die DLQ für transiente Fehler, nicht für permanente Fehler. So nahm unter Ansatz -

    1. Lesen Sie die Nachricht von DLQ wie eine normale Warteschlange

      Vorteile

      • Zur Vermeidung von duplicate message-Verarbeitung
      • Besseren Kontrolle über die DLQ - Wie ich setzen Sie ein Häkchen, um Prozess nur, wenn die reguläre Warteschlange ist vollständig bearbeitet.
      • Scale-up Prozess basierend auf der Nachricht auf DLQ

    2. Folgen Sie dann den gleichen code, die reguläre Warteschlange ist folgende.

    3. Zuverlässiger bei Abbruch der Auftrag oder der Prozess beendet habe, während der Verarbeitung (z.B. Instanz getötet oder der Prozess beendet wird),

      Vorteile

      • Code-Wiederverwendbarkeit
      • Fehlerbehandlung
      • Erholung und die Meldung replay

    4. Erweitern die Nachricht Sichtbarkeit, so dass keine anderen thread zu verarbeiten.

      Profitieren

      • Vermeidet die Verarbeitung desselben Datensatzes durch mehrere threads.

    5. Löschen Sie die Nachricht nur, wenn entweder es ist ein permanenter Fehler oder erfolgreich.

      Profitieren

      • Die Verarbeitung fortsetzen, bis wir bekommen ein vorübergehender Fehler.

    InformationsquelleAutor der Antwort Ash

  5. -1

    Gibt es eine andere Möglichkeit dies zu erreichen ohne das schreiben einzige Zeile code.
    Betrachten Sie Ihre aktuelle queue-name wird SQS_Queue und der DLQ für die ist es SQS_DLQ.
    Nun gehen Sie folgendermaßen vor:

    1. Set SQS_Queue wie der dlq von SQS_DLQ. Da SQS_DLQ ist schon eine dlq von SQS_Queue. Nun, beide fungieren als dlq des anderen.
    2. Set max erhalten, die Anzahl der SQS_DLQ zu 1.
    3. Jetzt Lesen von Nachrichten aus SQS_DLQ Konsole. Da die Nachricht erhalten count 1 ist, senden Sie die Nachricht an Ihre eigenen dlq, die Ihren tatsächlichen SQS_Queue Warteschlange.

    InformationsquelleAutor der Antwort Priyanka Agarwal

Schreibe einen Kommentar