Wie kann ich hinzufügen neuer Knoten zu einem live-hbase/hadoop-cluster?

Ich einige batch-jobs mit Daten-Eingängen, die sich ständig verändern und ich habe Probleme bei der Bereitstellung der Kapazität. Ich bin mit wirbeln zu tun, die intial setup, aber sobald ich starten, zum Beispiel, 5 Rechner, die ich nicht wissen, wie das hinzufügen von neuen Maschinen, während Sie läuft. Ich weiß nicht im Voraus, wie Komplex oder wie groß die Daten werden, so war ich Frage mich, ob es einen Weg gibt, um neue Maschinen zu einem cluster und haben es wirksam sofort(oder mit etwas Verzögerung, aber nicht wollen, zu haben, zu stürzen, den cluster zu bringen und mit dem neuen Knoten).

InformationsquelleAutor Lostsoul | 2012-04-23
  1. 10

    Gibt es die genaue Erklärung, wie man Knoten hinzufügen:
    http://wiki.apache.org/hadoop/FAQ#I_have_a_new_node_I_want_to_add_to_a_running_Hadoop_cluster.3B_how_do_I_start_services_on_just_one_node.3F

    In der gleichen Zeit - ich bin mir nicht sicher, dass bereits laufende jobs werden die Vorteile dieser Knoten da planen, wo sich die Ausführung jeder Aufgabe geschieht während der job-start-Zeit (soweit ich das verstanden habe).

    Ich denke auch, dass es praktischer ist, zu führen Sie den Task-Tracker nur auf diese Transienten Knoten.

    • Nicht begonnenen Aufgaben können geplant werden neue Knoten, aber es wird nicht brechen die vorhandenen Aufgaben. Zusätzlich, da keine neuen Knoten werden die Daten lokal gespeichert, ist der Aufwand, mit welcher die Daten an diesen Knoten für die Verarbeitung könnten größer sein als die Kosten für die Verarbeitung, wo es schon Leben.
    InformationsquelleAutor David Gruzman
  2. 3

    Überprüfen Sie die Dateien, die bezeichnet wird durch die folgenden Parameter:

    • dfs.hosts => dfs.gehören
    • dfs.hosts.ausschließen
    • mapreduce.jobtracker.hosts.mit dem Namen => mapred.gehören
    • mapreduce.jobtracker.hosts.ausschließen.mit dem Namen

    Können Sie die Liste der hosts, um die dfs-Dateien.gehören und mapred.gehören, und führen Sie dann

    hadoop mradmin -refreshNodes ;

    hadoop dfsadmin -refreshNodes ;

    Das ist alles.

    BTW, 'mradmin -refreshNodes' - Anlage wurde Hinzugefügt 0.21

    Nikhil

    InformationsquelleAutor Nikhil Mulley
Schreibe einen Kommentar