Tag: celery

Sellerie ist ein distributed task queue-framework für Python, für die asynchrone und parallele Ausführung.

django/Sellerie - Sellerie-status: Fehler: Keine Knoten, antwortete innerhalb von Zeit-Einschränkung

3 Antworten

Ich versuche zu implementieren ein einfaches Beispiel für die Sellerie in meinem Produktions-server habe ich folgte dem tutorial, in dem Sellerie website über das ausführen von Sellerie als daemon http://docs.celeryproject.org/en/latest/tutorials/daemonizing.html#daemonizing, und ich habe die config-Datei in /etc/default/celeryd

Sellerie - 'Modul' - Objekt hat kein Attribut 'app', wenn Sie mit Python 3

4 Antworten

Gehe ich durch Sellerie tutorial. Sie sind mit Python2 und ich bin zu versuchen, das gleiche mit Python ist3. Habe ich 2 Dateien: celery_proj.py : from celery import Celery app = Celery( 'proj', broker='amqp://', backend='amqp://', include=['proj.tasks']) app.conf.update(Celery_TAST_RESULT_EXPIRES=3600,)

celery python python-3.x

Richtige config mit rabbitmq als Sellerie-backend

1 Antworten

Baue ich einen Kolben app mit Sellerie, mit rabbitmq als Sellerie-backend. meine conf für Sellerie ist CELERY_BROKER_URL='amqp://localhost:5672', CELERY_RESULT_BACKEND='amqp://', CELERY_QUEUE_HA_POLICY='all', CELERY_TASK_RESULT_EXPIRES=None Dann, deklarieren eine Warteschlange produziert eine ganze Reihe von Fehler connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel = connection.channel() channel.queue_declare(queue=new_task_id)

celery pika rabbitmq

mehrere Mitarbeiter und mehrere Warteschlangen auf Sellerie django-daemon

2 Antworten

Ich bin mit Sellerie-django-Warteschlange-Aufgaben auf meiner Website backend. Ich bin versucht, erstellen Sie eine setup wo ich zwei queues mit dem Namen "low" und "high" und zwei Arbeiter W1 und W2. Ich will, dass Sie verbrauchen die

celery celeryd daemon django django-celery

Python-Sellerie-task neu zu starten, Sellerie Arbeiter

1 Antworten

In Sellerie, gibt es eine einfache Möglichkeit zum erstellen einer (Reihe von) Aufgabe(N), dass ich verwenden könnte, um automatisch neu starten, ein Arbeiter? Ziel ist, meinen Bereitstellung automatisch neu starten, werden alle untergeordneten Sellerie Arbeiter jedes mal,

celery celeryd python

Django ImproperlyConfigured - Die SECRET_KEY-Einstellung darf nicht leer sein

2 Antworten

Ich arbeite mit einer django-Anwendung mit Sellerie. Ich erhalte eine seltsame Fehlermeldung in meinen tasks.py - Datei, die ist wie folgt: from __future__ import absolute_import from celery import shared_task from django.contrib.auth.models import User # some code #

celery django python

Ubuntu Permission Denied Fehler

2 Antworten

Bekomme ich folgende Fehler beim ausführen dieses Befehls /etc/init.d/celerybeat start: chown: changing ownership of `/srv/project/logs': Operation not permitted chown: changing ownership of `/var/run': Operation not permitted chown: changing ownership of `/var/run': Operation not permitted chmod: changing permissions

celery linux ubuntu

Sellerie - Programmgesteuert Liste der Arbeitnehmer

3 Antworten

Wie kann ich programmgesteuert, mit Python-code, Liste der aktuellen Arbeitnehmer und Ihre entsprechenden celery.worker.consumer.Consumer Instanzen? InformationsquelleAutor Simon Kagwi | 2013-01-03

celery python

Wie eine Kette Sellerie Aufgabe, die gibt eine Liste in einer Gruppe?

1 Antworten

Ich eine Gruppe erstellen möchten, aus einer Liste zurückgegeben, die von einem Sellerie Aufgabe, so dass für jedes Element im task-Ergebnis-set, ein task wird zu der Gruppe Hinzugefügt. Hier ein einfaches code-Beispiel, um zu erklären, die use-case.

celery python

Wie zu erkennen, wenn eine Aufgabe bereits in der Warteschlange im django-celery?

3 Antworten

Hier ist mein setup: django 1.3 Sellerie 2.2.6 django-celery 2.2.4 djkombu 0.9.2 In meinem settings.py Datei habe ich BROKER_BACKEND = "djkombu.transport.DatabaseTransport" d.h. ich bin nur mit der Datenbank in die Warteschlange Aufgaben. Nun zu meinem problem: ich

celery django django-celery message-queue

Django Sellerie Erhalten unregistrierte Aufgabe des Typs " appname.Aufgaben.hinzufügen'

1 Antworten

celery django python

Wie rate-limit auf einem Sellerie-queue?

3 Antworten

Ich gelesen das in Sellerie-Dokumentation : Aufgabe.rate_limit http://celery.readthedocs.org/en/latest/userguide/tasks.html#Task.rate_limit Beachten Sie, dass dies ist eine pro-worker-Instanz limit und nicht ein global limit. Zur Durchsetzung einer globalen rate limit (z.B. für eine API mit einer maximalen Anzahl von Anfragen

celery

Sollte django-Modell Objekt-Instanzen übergeben werden, die Sellerie?

2 Antworten

# models.py from django.db import models class Person(models.Model): first_name = models.CharField(max_length=30) last_name = models.CharField(max_length=30) text_blob = models.CharField(max_length=50000) # tasks.py import celery @celery.task def my_task(person): # example operation: does something to person # needs only a few of

celery django python

Sellerie verpasste Herzschlag (on_node_lost)

3 Antworten

Ich nur ein Upgrade auf Sellerie 3.1 und jetzt sehe ich, das ich meine logs :: on_node_lost - INFO - missed heartbeat from celery@queue_name for every queue/worker in my cluster. Laut der docs BROKER_HEARTBEAT ist standardmäßig ausgeschaltet

celery django python

Warum sind celery_taskmeta und andere Tabellen nicht erstellt werden, wenn ein syncdb in django?

6 Antworten

Ich versuche zu setup Sellerie und django, aber der celery_taskmeta Tabelle wird nicht erstellt. Habe ich folgten zahlreiche (Aktuelle) tutorials Hinzugefügt djcelery und djkombu zu meinem installed_apps. Hinzugefügt wurde die 'BROKER_TRANSPORT = "djkombu.transport.DatabaseTransport" " Linie, um meine

celery django django-celery

Sellerie gibt connection reset by peer

2 Antworten

Richte ich das rabbitmqserver und fügte hinzu, die Benutzer mit den folgenden Schritten: uruddarraju@*******:/usr/lib/rabbitmq/lib/rabbitmq_server-3.2.3$ sudo rabbitmqctl list_users Listing users ... guest [administrator] phantom [administrator] phantom1 sudo rabbitmqctl set_permissions -p phantom phantom1 ".*" ".*" ".*" uruddarraju@******:/usr/lib/rabbitmq/lib/rabbitmq_server-3.2.3$ sudo

celery django flask python redis

Einstellung CELERY_ALWAYS_EAGER True wirft Fehler

2 Antworten

Habe ich einige asynchrone Aufrufe in meinem code. Wie diese: send_message_to_install.delay(install, alert.message, badge, code, campaign=alert.campaign, **kwargs) Ich bin nicht daran interessiert, immer alle Ergebnisse zurück, es ist nur wichtig, dass die Funktion ausgeführt wird, synchron während der

celery django django-celery python

Probleme mit Sellerie & Redis Backend

2 Antworten

Ich habe ein system eingerichtet, die derzeit mit Sellerie-mit redis backend tun eine Menge asynchrone Aufgaben wie das versenden von E-Mails, ziehen soziale Daten, krabbeln,etc. Alles funktioniert Super, aber ich bin mit der Gruppe herauszufinden, wie das

celery django django-celery python redis

Sellerie hat nicht gut funktionieren, weil der Fehlercode 104

2 Antworten

Ich habe ein problem mit der Ausführung Sellerie auf rabbitmq-server. Ich suchte und fand ein link, aber es hilft mir nicht. Mein env ist ubuntu 14.04, python 2.7.6, Sellerie 3.1.15, Django 1.7. Referenzierung ein link, die ich

celery django rabbitmq

Sellerie und benutzerdefinierte Verbraucher

3 Antworten

Meines Wissens Sellerie wirkt sowohl als Produzent und konsument von Nachrichten. Dies ist nicht das, was ich erreichen will. Ich will Sellerie zu handeln, wie der Verbraucher ist, nur, um Feuer zu bestimmten Aufgaben auf der Grundlage

amqp celery python rabbitmq

Sellerie: Wenn Sie wählen sollten, Redis als message-broker über RabbitMQ?

1 Antworten

Mein grobes Verständnis ist, dass Redis ist besser, wenn Sie die in-memory key-value-store-Funktion, jedoch bin ich nicht sicher, wie das zu tun hat mit der Verteilung von Aufgaben? Heißt das, wir sollten verwenden Redis als message-broker, WENN

celery django python rabbitmq redis

python-celery kein Modul mit dem Namen app.Aufgaben

1 Antworten

Ich versuche zu laufen, die demo-Anwendung von Sellerie das Projekt-Verzeichnis ist /usr/local/proj [root@merit1 proj]# ls -lh total 16K -rw-r--r--. 1 root root 363 Dec 23 00:36 celery.py -rw-r--r--. 1 root root 522 Dec 23 00:36 celery.pyc -rw-r--r--.

celery linux python

Wie kann ich die in die Warteschlange eingereiht Aufgaben in RabbitMQ?

4 Antworten

Ich bin mit RabbitMQ als meine message broker und meine Arbeiter sind Sellerie Aufgaben. Ich bin versuchen, um ein Problem zu diagnostizieren, wo ich bin enqueue Aufgaben zu RabbitMQ aber Sellerie nicht abholen, dann nach oben. Gibt

celery python rabbitmq

Schließen Sie neue Sellerie regelmäßige Aufgabe in django

2 Antworten

Es ist keine Frage, sondern Hilfe, um diejenigen, die finden, dass die Erklärung von regelmäßigen Aufgaben in der Sellerie 4.0.1-Dokumentation ist schwer zu integrieren in django: http://docs.celeryproject.org/en/latest/userguide/periodic-tasks.html#entries kopieren-einfügen, Sellerie config-Datei main_app/celery.py: from celery import Celery from celery.schedules

celery django python

TypeError: urlopen() got an unexpected keyword argument 'Header'

2 Antworten

Bin ich mit der rest-api zum senden von push-Benachrichtigungen. Docs sind Sie hier. Ich bin mit der Pyramide und Einplanung dieser push-Benachrichtigungen mit Sellerie. Dies ist mein code-Beispiel: result = urllib2.urlopen(urlRequest, headers={ "X-Parse-Application-Id": settings["parse.application.id"], "X-Parse-REST-API-Key": settings["parse.restapi.key"], "Content-Type":

celery pyramid python urllib2 urlopen

Django Asynchrone Verarbeitung

2 Antworten

Ich habe eine Reihe von Django-requests, die führt einige mathematische Berechnungen ( in C geschrieben und ausgeführt werden, die über eine Cython-Modul ), die in einer unbestimmten Menge ( in der Größenordnung von 1 Sekunde ) der

asynchronous celery cython django python

Ausführen von Python-Sellerie auf Elastic Beanstalk mit Django

1 Antworten

Ich überlege mir ein Wechsel zu Elastic Beanstalk (wegen der Preise). Die Blockade ist, dass ich keine Ahnung habe, wie das einrichten Sellerie auf ein python-app (Django, in meinem Fall) bereitgestellten service. Hat jemand geschafft, setup Sellerie

celery django elastic-beanstalk python

Vermeidung von doppelten Aufgaben in Sellerie broker

4 Antworten

Ich möchte zu erstellen, der folgende Ablauf mit Sellerie-Konfiguration\api: Senden TaskA(argB) Nur, wenn Sellerie Warteschlange hat keine TaskA(argB) bereits anhängig Ist es möglich? wie? InformationsquelleAutor arikg | 2014-11-09

celery

Sellerie - call-Funktion auf die Aufgabe

1 Antworten

Ich bin mit Sellerie mit django und rabbitmq zum erstellen einer message queue. Ich habe auch ein Arbeiter, der ursprünglich aus einer anderen Maschine. In einem django, das ich beginne einem Prozess wie diesem: def processtask(request, name):

celery django python rabbitmq

Immer task_id innerhalb einer Sellerie Aufgabe

3 Antworten

Dies ist wahrscheinlich eine dumme Frage aber die hat mich ratlos aus einem Rubinroten hintergrund. Ich habe ein Objekt, das so aussieht, wenn ich versuche, es zu drucken. print celery.AsyncResult.task_id >>><property object at 0x10c383838> Ich hatte erwartet,

celery object python

Rückruf für Sellerie apply_async

2 Antworten

Benutze ich celery in meiner Anwendung zur Ausführung periodischer Aufgaben. Mal sehen, einfache Beispiel unten from myqueue import Queue @perodic_task(run_every=timedelta(minutes=1)) def process_queue(): queue = Queue() uid, questions = queue.pop() if uid is None: return job = group(do_stuff(q)

celery python

Mit mock zu patch Sellerie Aufgabe in Django unit-tests

2 Antworten

Ich versuche, verwenden Sie die python-mock-Bibliothek zu patchen Sellerie Aufgabe, die ausgeführt wird, wenn ein Modell gespeichert wird, in meinem django-app, um zu sehen, dass es aufgerufen wird, richtig. Grundsätzlich die Aufgabe definiert ist, innerhalb myapp.tasks, und

celery django mocking python unit-testing

RabbitMQ auf EC2 Verbraucht Unmengen von CPU

2 Antworten

Ich versuche, RabbitMQ mit Sellerie und Django geht auf eine EC2-Instanz zu tun, ein paar ziemlich grundlegende hintergrund-Verarbeitung. Ich bin mit rabbitmq-server 2.5.0 auf einem großen EC2-Instanz. Ich heruntergeladen und installiert die test-client nach der Anleitung hier

celery django rabbitmq

Ausführen while-Schleife, die gleichzeitig mit Kolben-server

2 Antworten

Ich aktualisiere einige LEDs mit python. Ich mache das bereits so: from LEDs import * myLEDs = LEDs() done = False while not done: myLEDs.iterate() Wollte ich mit Flask als eine Brücke zwischen einige gut aussehende ReactJS

celery flask python

Wie debug "could not receive data from client: Connection reset by peer"

2 Antworten

Bin ich mit einem django-celery-Anwendung auf Ubuntu-12.04. Wenn ich eine Sellerie Aufgabe von meinem web-interface, bekomme ich die folgende Fehlermeldung, form angenommen postgresql-9.3 logfile (Maximalwert der log): 2013-11-12 13:57:01 GMT tss_usr 8113 LOG: could not receive data

celery database-connection django django-celery django-postgresql

Wie man eine Sellerie Aufgabe scheitern innerhalb der Aufgabe?

3 Antworten

Unter bestimmten Bedingungen, ich möchte eine Sellerie-Aufgabe nicht aus, dass innerhalb dieser Aufgabe. Ich habe versucht, die folgenden: from celery.task import task from celery import states @task() def run_simulation(): if some_condition: run_simulation.update_state(state=states.FAILURE) return False Jedoch die Aufgabe

celery celery-task

Verständnis Sellerie Aufgabe prefetching

4 Antworten

Ich habe gerade herausgefunden über die Konfigurations-option CELERYD_PREFETCH_MULTIPLIER (docs). Die Standardeinstellung ist 4, aber (ich glaube) möchte ich das prefetching auszuschalten oder so gering wie möglich. Ich setzen Sie ihn auf 1, und das ist nahe genug,

celery celeryd python

ImproperlyConfigured(“Einstellungen.DATENBANKEN ist nicht richtig konfiguriert. ") Fehler beim einrichten Django

3 Antworten

Versucht, Folgen Sie den Anweisungen hier die Einrichtung einer Django-Instanz auf Heroku. Habe soweit die installation von Sellerie, bis auf folgenden Schritt: $ python manage.py syncdb Wann bekomme ich die folgende Fehlermeldung: erhöhen ImproperlyConfigured("Einstellungen.DATENBANKEN ist falsch konfiguriert".

celery django heroku python sql

so entfernen Sie den task aus Sellerie mit redis broker?

3 Antworten

Ich Habe fügen Sie einige falsche task zu einem celery mit redis broker aber das will ich jetzt entfernen Sie die falsche task und ich finde keine Möglichkeit, dies zu tun Gibt es einige Befehle oder einige

celery celery-task celeryd python

Wie, um eine Liste der Elemente in der Warteschlange in Sellerie?

2 Antworten

Habe ich ein Django-Projekt auf einer Ubuntu-EC2-Knoten, die ich verwende zum einrichten eines asynchronen Verwendung Celery. Ich bin nach http://michal.karzynski.pl/blog/2014/05/18/setting-up-an-asynchronous-task-queue-for-django-using-celery-redis/ zusammen mit den docs. Ich in der Lage gewesen, um eine grundlegende Aufgabe, die arbeiten auf der

celery django python

Sellerie ImportError: No module named proj

2 Antworten

Ich versuche, setup-Sellerie mit Django. Ich habe den guide befolgt: project/project/celery.py: from __future__ import absolute_import import os from celery import Celery from django.conf import settings # set the default Django settings module for the 'celery' program. os.environ.setdefault('DJANGO_SETTINGS_MODULE',

celery django python

Sellerie - Speicherverbrauch minimieren

4 Antworten

Haben wir ~300 celeryd Prozesse laufen unter Ubuntu 10.4 64-bit , im idle-jeder Prozess braucht ~19 MB RES, ~174mb VIRT, so sind es rund 6 GB RAM im idle-Modus für alle Prozesse. Im aktiven Status - Prozess

celery django memory-management profiling python

Sellerie - Verkettung Gruppen und Teilaufgaben. -> out-of-order execution

2 Antworten

Wenn ich etwas wie das folgende group1 = group(task1.si(), task1.si(), task1.si()) group2 = group(task2.si(), task2.si(), task2.si()) workflow = chain(group1, group2, task3.si()) Die intuitive interpretation ist, dass task3 sollte nur ausgeführt werden, wenn alle Aufgaben in der Gruppe

celery django-celery python

Führen Sie eine Sellerie-Arbeiter in den hintergrund

1 Antworten

Ich bin mit einem Sellerie-Arbeiter wie diese: celery worker --app=portalmq --logfile=/tmp/portalmq.log --loglevel=INFO -E --pidfile=/tmp/portalmq.pid Nun möchte ich laufen diese Arbeiter im hintergrund. Ich habe versucht mehrere Dinge, einschließlich: nohup celery worker --app=portalmq --logfile=/tmp/portal_mq.log --loglevel=INFO -E --pidfile=/tmp/portal_mq.pid >>

background celery

Kann nicht sehen, mein Sellerie-Protokolle beim ausführen schlagen

2 Antworten

Ich mich ab, Sellerie via supervisord, siehe den Eintrag unten. [program:celery] user = foobar autostart = true autorestart = true directory = /opt/src/slicephone/cloud command = /opt/virtenvs/django_slice/bin/celery beat --app=cloud -l DEBUG -s /home/foobar/run/celerybeat-schedule --pidfile=/home/foobar/run/celerybeat.pid priority = 100 stdout_logfile_backups

celery logging python supervisord

Add n Aufgaben Sellerie Warteschlange und warten auf die Ergebnisse

3 Antworten

Ich würde mehrere Aufgaben hinzufügen, um Sellerie Warteschlange und warten auf Ergebnisse. Ich habe verschiedene Ideen, wie ich dies erreichen, nutzen Sie irgendeine form von shared storage (memcached, redis, db, etc.), allerdings hätte ich gedacht, es ist

celery django django-celery python

Zugriff verweigert für Benutzer rabbitmq & Sellerie

4 Antworten

Ich erstelle vhost: rabbitmqctl add_vhost test Dann Benutzer: rabbitmqctl add_user user 123456 Dann nehme ich die Berechtigungen, die dem Benutzer: rabbitmqctl set_permissions -p test user "test" "test" "test" Ich verwende Sellerie, in tasks.py: app = Celery('tasks', broker='amqp://user:123456@localhost/test',

celery python rabbitmq

Python task-queue alternativen und Rahmenbedingungen

3 Antworten

Scheint es verschiedene Implementierungen von Aufgabe/job-Warteschlangen für Python 3: Sellerie, beliebt aber anscheinend nicht mehr gepflegt und veraltet; RQ, von denen habe ich wenig Informationen; TaskTiger, ähnlich RQ ich weiß wenig über ihn; Huey , ähnlich RQ

celery python-3.x

Sellerie-Blumen-Sicherheit in der Produktion

4 Antworten

Ich bin auf der Suche zu verwenden, Blume (https://github.com/mher/flower) zu überwachen, meine Sellerie Aufgaben an die Stelle der django-admin als empfehlenswert in Ihre docs (http://docs.celeryproject.org/en/latest/userguide/monitoring.html#flower-real-time-celery-web-monitor). Allerdings, denn ich bin neu in diesem, ich bin ein wenig verwirrt

celery django flower nginx

Sellerie Speicher nicht freigegeben werden

4 Antworten

Sieht es aus wie Sellerie Speicher nicht freigegeben werden, nachdem Aufgabe beendet. Jedes mal, wenn eine Aufgabe abgeschlossen ist, es wäre 5m-10m-memory-Leck. So mit tausenden von Aufgaben, bald wird es zu verwenden, bis alle Speicher. BROKER_URL =

amqp celery python rabbitmq