Tag: celery
Sellerie ist ein distributed task queue-framework für Python, für die asynchrone und parallele Ausführung.
3
Antworten
Ich versuche zu implementieren ein einfaches Beispiel für die Sellerie in meinem Produktions-server habe ich folgte dem tutorial, in dem Sellerie website über das ausführen von Sellerie als daemon http://docs.celeryproject.org/en/latest/tutorials/daemonizing.html#daemonizing, und ich habe die config-Datei in /etc/default/celeryd
4
Antworten
Gehe ich durch Sellerie tutorial. Sie sind mit Python2 und ich bin zu versuchen, das gleiche mit Python ist3. Habe ich 2 Dateien: celery_proj.py : from celery import Celery app = Celery( 'proj', broker='amqp://', backend='amqp://', include=['proj.tasks']) app.conf.update(Celery_TAST_RESULT_EXPIRES=3600,)
1
Antworten
Baue ich einen Kolben app mit Sellerie, mit rabbitmq als Sellerie-backend. meine conf für Sellerie ist CELERY_BROKER_URL='amqp://localhost:5672', CELERY_RESULT_BACKEND='amqp://', CELERY_QUEUE_HA_POLICY='all', CELERY_TASK_RESULT_EXPIRES=None Dann, deklarieren eine Warteschlange produziert eine ganze Reihe von Fehler connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel = connection.channel() channel.queue_declare(queue=new_task_id)
2
Antworten
Ich bin mit Sellerie-django-Warteschlange-Aufgaben auf meiner Website backend. Ich bin versucht, erstellen Sie eine setup wo ich zwei queues mit dem Namen "low" und "high" und zwei Arbeiter W1 und W2. Ich will, dass Sie verbrauchen die
1
Antworten
In Sellerie, gibt es eine einfache Möglichkeit zum erstellen einer (Reihe von) Aufgabe(N), dass ich verwenden könnte, um automatisch neu starten, ein Arbeiter? Ziel ist, meinen Bereitstellung automatisch neu starten, werden alle untergeordneten Sellerie Arbeiter jedes mal,
2
Antworten
Ich arbeite mit einer django-Anwendung mit Sellerie. Ich erhalte eine seltsame Fehlermeldung in meinen tasks.py - Datei, die ist wie folgt: from __future__ import absolute_import from celery import shared_task from django.contrib.auth.models import User # some code #
2
Antworten
Bekomme ich folgende Fehler beim ausführen dieses Befehls /etc/init.d/celerybeat start: chown: changing ownership of `/srv/project/logs': Operation not permitted chown: changing ownership of `/var/run': Operation not permitted chown: changing ownership of `/var/run': Operation not permitted chmod: changing permissions
3
Antworten
Wie kann ich programmgesteuert, mit Python-code, Liste der aktuellen Arbeitnehmer und Ihre entsprechenden celery.worker.consumer.Consumer Instanzen? InformationsquelleAutor Simon Kagwi | 2013-01-03
1
Antworten
Ich eine Gruppe erstellen möchten, aus einer Liste zurückgegeben, die von einem Sellerie Aufgabe, so dass für jedes Element im task-Ergebnis-set, ein task wird zu der Gruppe Hinzugefügt. Hier ein einfaches code-Beispiel, um zu erklären, die use-case.
3
Antworten
Hier ist mein setup: django 1.3 Sellerie 2.2.6 django-celery 2.2.4 djkombu 0.9.2 In meinem settings.py Datei habe ich BROKER_BACKEND = "djkombu.transport.DatabaseTransport" d.h. ich bin nur mit der Datenbank in die Warteschlange Aufgaben. Nun zu meinem problem: ich
1
Antworten
Folgenden die Dokumentation und die Demo-Django-Projekt hier https://github.com/celery/celery/tree/3.1/examples/django Projektstruktur piesup2 | piesup2 | |__init__.py | |celery.py | |settings.py | |urls.py reports |tasks.py |models.py |etc.... Mein Code piesup2/celery.py from __future__ import absolute_import import os from celery import Celery
3
Antworten
Ich gelesen das in Sellerie-Dokumentation : Aufgabe.rate_limit http://celery.readthedocs.org/en/latest/userguide/tasks.html#Task.rate_limit Beachten Sie, dass dies ist eine pro-worker-Instanz limit und nicht ein global limit. Zur Durchsetzung einer globalen rate limit (z.B. für eine API mit einer maximalen Anzahl von Anfragen
2
Antworten
# models.py from django.db import models class Person(models.Model): first_name = models.CharField(max_length=30) last_name = models.CharField(max_length=30) text_blob = models.CharField(max_length=50000) # tasks.py import celery @celery.task def my_task(person): # example operation: does something to person # needs only a few of
3
Antworten
Ich nur ein Upgrade auf Sellerie 3.1 und jetzt sehe ich, das ich meine logs :: on_node_lost - INFO - missed heartbeat from celery@queue_name for every queue/worker in my cluster. Laut der docs BROKER_HEARTBEAT ist standardmäßig ausgeschaltet
6
Antworten
Ich versuche zu setup Sellerie und django, aber der celery_taskmeta Tabelle wird nicht erstellt. Habe ich folgten zahlreiche (Aktuelle) tutorials Hinzugefügt djcelery und djkombu zu meinem installed_apps. Hinzugefügt wurde die 'BROKER_TRANSPORT = "djkombu.transport.DatabaseTransport" " Linie, um meine
2
Antworten
Richte ich das rabbitmqserver und fügte hinzu, die Benutzer mit den folgenden Schritten: uruddarraju@*******:/usr/lib/rabbitmq/lib/rabbitmq_server-3.2.3$ sudo rabbitmqctl list_users Listing users ... guest [administrator] phantom [administrator] phantom1 sudo rabbitmqctl set_permissions -p phantom phantom1 ".*" ".*" ".*" uruddarraju@******:/usr/lib/rabbitmq/lib/rabbitmq_server-3.2.3$ sudo
2
Antworten
Habe ich einige asynchrone Aufrufe in meinem code. Wie diese: send_message_to_install.delay(install, alert.message, badge, code, campaign=alert.campaign, **kwargs) Ich bin nicht daran interessiert, immer alle Ergebnisse zurück, es ist nur wichtig, dass die Funktion ausgeführt wird, synchron während der
2
Antworten
Ich habe ein system eingerichtet, die derzeit mit Sellerie-mit redis backend tun eine Menge asynchrone Aufgaben wie das versenden von E-Mails, ziehen soziale Daten, krabbeln,etc. Alles funktioniert Super, aber ich bin mit der Gruppe herauszufinden, wie das
2
Antworten
Ich habe ein problem mit der Ausführung Sellerie auf rabbitmq-server. Ich suchte und fand ein link, aber es hilft mir nicht. Mein env ist ubuntu 14.04, python 2.7.6, Sellerie 3.1.15, Django 1.7. Referenzierung ein link, die ich
3
Antworten
Meines Wissens Sellerie wirkt sowohl als Produzent und konsument von Nachrichten. Dies ist nicht das, was ich erreichen will. Ich will Sellerie zu handeln, wie der Verbraucher ist, nur, um Feuer zu bestimmten Aufgaben auf der Grundlage
1
Antworten
Mein grobes Verständnis ist, dass Redis ist besser, wenn Sie die in-memory key-value-store-Funktion, jedoch bin ich nicht sicher, wie das zu tun hat mit der Verteilung von Aufgaben? Heißt das, wir sollten verwenden Redis als message-broker, WENN
1
Antworten
Ich versuche zu laufen, die demo-Anwendung von Sellerie das Projekt-Verzeichnis ist /usr/local/proj [root@merit1 proj]# ls -lh total 16K -rw-r--r--. 1 root root 363 Dec 23 00:36 celery.py -rw-r--r--. 1 root root 522 Dec 23 00:36 celery.pyc -rw-r--r--.
4
Antworten
Ich bin mit RabbitMQ als meine message broker und meine Arbeiter sind Sellerie Aufgaben. Ich bin versuchen, um ein Problem zu diagnostizieren, wo ich bin enqueue Aufgaben zu RabbitMQ aber Sellerie nicht abholen, dann nach oben. Gibt
2
Antworten
Es ist keine Frage, sondern Hilfe, um diejenigen, die finden, dass die Erklärung von regelmäßigen Aufgaben in der Sellerie 4.0.1-Dokumentation ist schwer zu integrieren in django: http://docs.celeryproject.org/en/latest/userguide/periodic-tasks.html#entries kopieren-einfügen, Sellerie config-Datei main_app/celery.py: from celery import Celery from celery.schedules
2
Antworten
Bin ich mit der rest-api zum senden von push-Benachrichtigungen. Docs sind Sie hier. Ich bin mit der Pyramide und Einplanung dieser push-Benachrichtigungen mit Sellerie. Dies ist mein code-Beispiel: result = urllib2.urlopen(urlRequest, headers={ "X-Parse-Application-Id": settings["parse.application.id"], "X-Parse-REST-API-Key": settings["parse.restapi.key"], "Content-Type":
2
Antworten
Ich habe eine Reihe von Django-requests, die führt einige mathematische Berechnungen ( in C geschrieben und ausgeführt werden, die über eine Cython-Modul ), die in einer unbestimmten Menge ( in der Größenordnung von 1 Sekunde ) der
1
Antworten
Ich überlege mir ein Wechsel zu Elastic Beanstalk (wegen der Preise). Die Blockade ist, dass ich keine Ahnung habe, wie das einrichten Sellerie auf ein python-app (Django, in meinem Fall) bereitgestellten service. Hat jemand geschafft, setup Sellerie
4
Antworten
Ich möchte zu erstellen, der folgende Ablauf mit Sellerie-Konfiguration\api: Senden TaskA(argB) Nur, wenn Sellerie Warteschlange hat keine TaskA(argB) bereits anhängig Ist es möglich? wie? InformationsquelleAutor arikg | 2014-11-09
1
Antworten
Ich bin mit Sellerie mit django und rabbitmq zum erstellen einer message queue. Ich habe auch ein Arbeiter, der ursprünglich aus einer anderen Maschine. In einem django, das ich beginne einem Prozess wie diesem: def processtask(request, name):
3
Antworten
Dies ist wahrscheinlich eine dumme Frage aber die hat mich ratlos aus einem Rubinroten hintergrund. Ich habe ein Objekt, das so aussieht, wenn ich versuche, es zu drucken. print celery.AsyncResult.task_id >>><property object at 0x10c383838> Ich hatte erwartet,
2
Antworten
Benutze ich celery in meiner Anwendung zur Ausführung periodischer Aufgaben. Mal sehen, einfache Beispiel unten from myqueue import Queue @perodic_task(run_every=timedelta(minutes=1)) def process_queue(): queue = Queue() uid, questions = queue.pop() if uid is None: return job = group(do_stuff(q)
2
Antworten
Ich versuche, verwenden Sie die python-mock-Bibliothek zu patchen Sellerie Aufgabe, die ausgeführt wird, wenn ein Modell gespeichert wird, in meinem django-app, um zu sehen, dass es aufgerufen wird, richtig. Grundsätzlich die Aufgabe definiert ist, innerhalb myapp.tasks, und
2
Antworten
Ich versuche, RabbitMQ mit Sellerie und Django geht auf eine EC2-Instanz zu tun, ein paar ziemlich grundlegende hintergrund-Verarbeitung. Ich bin mit rabbitmq-server 2.5.0 auf einem großen EC2-Instanz. Ich heruntergeladen und installiert die test-client nach der Anleitung hier
2
Antworten
Ich aktualisiere einige LEDs mit python. Ich mache das bereits so: from LEDs import * myLEDs = LEDs() done = False while not done: myLEDs.iterate() Wollte ich mit Flask als eine Brücke zwischen einige gut aussehende ReactJS
2
Antworten
Bin ich mit einem django-celery-Anwendung auf Ubuntu-12.04. Wenn ich eine Sellerie Aufgabe von meinem web-interface, bekomme ich die folgende Fehlermeldung, form angenommen postgresql-9.3 logfile (Maximalwert der log): 2013-11-12 13:57:01 GMT tss_usr 8113 LOG: could not receive data
3
Antworten
Unter bestimmten Bedingungen, ich möchte eine Sellerie-Aufgabe nicht aus, dass innerhalb dieser Aufgabe. Ich habe versucht, die folgenden: from celery.task import task from celery import states @task() def run_simulation(): if some_condition: run_simulation.update_state(state=states.FAILURE) return False Jedoch die Aufgabe
4
Antworten
Ich habe gerade herausgefunden über die Konfigurations-option CELERYD_PREFETCH_MULTIPLIER (docs). Die Standardeinstellung ist 4, aber (ich glaube) möchte ich das prefetching auszuschalten oder so gering wie möglich. Ich setzen Sie ihn auf 1, und das ist nahe genug,
3
Antworten
Versucht, Folgen Sie den Anweisungen hier die Einrichtung einer Django-Instanz auf Heroku. Habe soweit die installation von Sellerie, bis auf folgenden Schritt: $ python manage.py syncdb Wann bekomme ich die folgende Fehlermeldung: erhöhen ImproperlyConfigured("Einstellungen.DATENBANKEN ist falsch konfiguriert".
3
Antworten
Ich Habe fügen Sie einige falsche task zu einem celery mit redis broker aber das will ich jetzt entfernen Sie die falsche task und ich finde keine Möglichkeit, dies zu tun Gibt es einige Befehle oder einige
2
Antworten
Habe ich ein Django-Projekt auf einer Ubuntu-EC2-Knoten, die ich verwende zum einrichten eines asynchronen Verwendung Celery. Ich bin nach http://michal.karzynski.pl/blog/2014/05/18/setting-up-an-asynchronous-task-queue-for-django-using-celery-redis/ zusammen mit den docs. Ich in der Lage gewesen, um eine grundlegende Aufgabe, die arbeiten auf der
2
Antworten
Ich versuche, setup-Sellerie mit Django. Ich habe den guide befolgt: project/project/celery.py: from __future__ import absolute_import import os from celery import Celery from django.conf import settings # set the default Django settings module for the 'celery' program. os.environ.setdefault('DJANGO_SETTINGS_MODULE',
4
Antworten
Haben wir ~300 celeryd Prozesse laufen unter Ubuntu 10.4 64-bit , im idle-jeder Prozess braucht ~19 MB RES, ~174mb VIRT, so sind es rund 6 GB RAM im idle-Modus für alle Prozesse. Im aktiven Status - Prozess
2
Antworten
Wenn ich etwas wie das folgende group1 = group(task1.si(), task1.si(), task1.si()) group2 = group(task2.si(), task2.si(), task2.si()) workflow = chain(group1, group2, task3.si()) Die intuitive interpretation ist, dass task3 sollte nur ausgeführt werden, wenn alle Aufgaben in der Gruppe
1
Antworten
Ich bin mit einem Sellerie-Arbeiter wie diese: celery worker --app=portalmq --logfile=/tmp/portalmq.log --loglevel=INFO -E --pidfile=/tmp/portalmq.pid Nun möchte ich laufen diese Arbeiter im hintergrund. Ich habe versucht mehrere Dinge, einschließlich: nohup celery worker --app=portalmq --logfile=/tmp/portal_mq.log --loglevel=INFO -E --pidfile=/tmp/portal_mq.pid >>
2
Antworten
Ich mich ab, Sellerie via supervisord, siehe den Eintrag unten. [program:celery] user = foobar autostart = true autorestart = true directory = /opt/src/slicephone/cloud command = /opt/virtenvs/django_slice/bin/celery beat --app=cloud -l DEBUG -s /home/foobar/run/celerybeat-schedule --pidfile=/home/foobar/run/celerybeat.pid priority = 100 stdout_logfile_backups
3
Antworten
Ich würde mehrere Aufgaben hinzufügen, um Sellerie Warteschlange und warten auf Ergebnisse. Ich habe verschiedene Ideen, wie ich dies erreichen, nutzen Sie irgendeine form von shared storage (memcached, redis, db, etc.), allerdings hätte ich gedacht, es ist
4
Antworten
Ich erstelle vhost: rabbitmqctl add_vhost test Dann Benutzer: rabbitmqctl add_user user 123456 Dann nehme ich die Berechtigungen, die dem Benutzer: rabbitmqctl set_permissions -p test user "test" "test" "test" Ich verwende Sellerie, in tasks.py: app = Celery('tasks', broker='amqp://user:123456@localhost/test',
3
Antworten
Scheint es verschiedene Implementierungen von Aufgabe/job-Warteschlangen für Python 3: Sellerie, beliebt aber anscheinend nicht mehr gepflegt und veraltet; RQ, von denen habe ich wenig Informationen; TaskTiger, ähnlich RQ ich weiß wenig über ihn; Huey , ähnlich RQ
4
Antworten
Ich bin auf der Suche zu verwenden, Blume (https://github.com/mher/flower) zu überwachen, meine Sellerie Aufgaben an die Stelle der django-admin als empfehlenswert in Ihre docs (http://docs.celeryproject.org/en/latest/userguide/monitoring.html#flower-real-time-celery-web-monitor). Allerdings, denn ich bin neu in diesem, ich bin ein wenig verwirrt
4
Antworten
Sieht es aus wie Sellerie Speicher nicht freigegeben werden, nachdem Aufgabe beendet. Jedes mal, wenn eine Aufgabe abgeschlossen ist, es wäre 5m-10m-memory-Leck. So mit tausenden von Aufgaben, bald wird es zu verwenden, bis alle Speicher. BROKER_URL =