Raspberry Pi-cluster-neuron-Netze und Gehirn-simulation
Da die RBPI (Raspberry Pi) hat einen sehr niedrigen Stromverbrauch und sehr geringe Herstellungspreis, es bedeutet, man bauen könnte, eine sehr große cluster mit denen. Ich bin mir nicht sicher, aber ein cluster von 100000 RBPI nehmen würde, wenig Strom und wenig Platz.
Nun denke ich, es ist vielleicht nicht so mächtig wie die vorhandenen Supercomputer in Bezug auf FLOPS oder andere Arten von computing-Messungen, aber könnte es erlauben, besser neuronaler Netzwerk-simulation ?
Ich bin mir nicht sicher, ob er sagen wollte: "1 CPU = 1 neuron" ist eine vernünftige Erklärung, aber es scheint gültige genug.
Also bedeutet es, solche cluster wäre effizienter für die neuronale-Netz-simulation, da es weit mehr parallelen, als andere klassische Cluster ?
InformationsquelleAutor der Frage jokoon | 2011-09-14
Du musst angemeldet sein, um einen Kommentar abzugeben.
Mit Raspberry Pi selbst nicht lösen das ganze problem der Bau eines Massiv-parallelen supercomputer: wie Verbinde alle Rechen-Kerne effizient zusammen ist ein wirklich großes problem, das ist der Grund, warum Supercomputer sind speziell, aber nicht nur aus der commodity-Teile. Das heißt, Forschungs-Einheiten sind wirklich beginnen, die bei ARM-cores als Energie-effizienten Weg, um die Rechenleistung zu tragen, auf genau dieses problem: zum Beispiel, dieses Projekt zielt darauf ab, dass die Simulierung des menschlichen Gehirns mit einer million ARM-cores.
http://www.zdnet.co.uk/news/emerging-tech/2011/07/08/million-core-arm-machine-aims-to-simulate-brain-40093356/ "Millionen-core-ARM-Maschine will Gehirn simulieren"
http://www.eetimes.com/electronics-news/4217840/Million-ARM-cores-brain-simulator "Eine million ARM-cores zu host-Gehirn-simulator"
Es ist eine sehr spezialisierte, maßgeschneiderte hardware, aber konzeptionell, es ist nicht zu weit aus dem Netzwerk des Raspberry Pis, die Sie vorschlagen. Vergessen Sie nicht, dass die ARM-Kerne haben alle die Funktionen, die JohnB erwähnt der Xeon hat (Advanced SIMD anstelle von SSE, tun können 64-bit-Berechnungen überlappen, Anleitungen, etc.), aber sitzen auf einem sehr unterschiedlichen MIPS-pro-Watt-sweet-spot: und Sie haben verschiedene Möglichkeiten für das, was Funktionen sind enthalten (wenn Sie nicht möchten, floating-point, nur einen chip kaufen ohne floating-point), so kann ich sehen, warum es eine attraktive option, vor allem, wenn man bedenkt, dass Leistung verwenden, wird die größten Laufenden Kosten für einen supercomputer.
InformationsquelleAutor der Antwort Dan Hulme
Scheint unwahrscheinlich, dass Sie ein gutes/günstiges system für mich.
Betrachten Sie einen modernen xeon-cpu. Es hat 8 Kerne laufen auf 5-mal die Geschwindigkeit, so dass nur auf dieser Grundlage tun kann 40 mal so viel Arbeit. Plus es hat SSE, die scheint geeignet für diese Anwendung und lassen Sie es berechnen 4 Sachen parallel. Also sind wir bis auf vielleicht 160 mal so viel Arbeit. Dann hat es multithreading, tun können 64-bit-Berechnungen, überlappen Anweisungen etc. Ich würde vermuten, es würde mindestens 200-mal schneller für diese Art von Arbeit.
Dann endlich, die Ergebnisse von mindestens 200 lokale "Neuronen" wäre im lokalen Speicher, sondern auf der raspberry pi-Netzwerk, mit dem Sie hätten kommunizieren zwischen 200 von Ihnen... Das wäre sehr viel langsamer.
Ich denke der raspberry pi ist toll und auf jeden Fall planen, mindestens eine zu bekommen 😛 Aber du wirst doch nicht zu bauen, Billig und schnell Netzwerk von Ihnen, die im Wettbewerb mit einem Netzwerk aus "echten" Computern 😛
Sowieso, die Schnellste hardware für diese Art der Sache dürfte sein, eine Grafikkarte, die GPU, da es entworfen ist, um viele Kopien eines kleinen Programms in parallel. Oder einfach nur ein fpga-Programm mit ein paar hundert Kopien von "hardware" neuron.
InformationsquelleAutor der Antwort jcoder
GPU und FPU-diese Art von denken, viel besser, dann eine CPU, die Nvidia-GPU ist, unterstützt CDUA-Programmierung hat in Wirkung 100 von separaten Einheiten zur Verarbeitung. Oder zumindest können es verwenden, um die evolution des pixel-Rohr-Linien (wo sich die Karte leisten könnten mehrere Pixel parallel) zu produzieren riesige incresses in der Geschwindigkeit. CPU ermöglicht ein paar Kerne Durchführung reletivly komplexe Schritte. GPU ermöglicht 100 von threads, die durchführen können Sie einfach die Schritte.
Also für Aufgaben, bei denen Sie haves einfach threads Dinge wie eine einzelne GPU wird aus preform ein cluster der bullige CPU. (oder ein Stapel von Raspberry pi ' s)
Aber für die Erstellung eines Clusters laufen einige Dinge wie "der condor", Die cand verwendet werden für Dinge wie Krankheit ausbrechen Modellierung, wo Sie die gleichen mathematischen Modell millionenfach mit varible Ansatzpunkte. (Größe ausbrechen, wind-Richtung, wie ansteckend die Krankheit ist etc.. ) so was, wie die Pi wäre ideal. Sie sind allgemein auf der Suche für eine ausgewachsene CPU ausgeführt werden können, ist standard-code.http://Forschung.cs.wisc.edu/condor/
einige bekannte Verwendung dieser Herangehensweise sind "Seti" oder "folding at home" (search for aliens-und Krebsforschung)
Viele Universitäten haben ein cluster wie dieser, so kann ich sehen, einige von Ihnen versuchen, den Ansatz von mutipl Raspberry Pi ist
Aber für die Simulation nurons im Gehirn, die Sie benötigen eine sehr geringe Latenz zwischen den Knoten sind spezielle Betriebssysteme und Anwendungen, die mutiply Systeme handeln. Sie müssen auch die Netzwerke zu verknüpfen togather zu geben, die Latenz zwischen den Knoten in Bezug auf < 1 millsecond.
http://en.wikipedia.org/wiki/InfiniBand
den Raspberry einfach nicht schaffen, dies in keiner Weise.
Also ja, ich denke, dass die Menschen, die Cluster aus von Ihnen, und ich denke, Sie werden sehr zufrieden sein. Aber ich denke, dass Universität mehr ist und kleine Organisationen. Sie arn ' T gehen, um im Wettbewerb mit den top-Supercomputer.
Sagen, dass wir gehen, um ein paar und testen Sie gegen unsere aktuellen Knoten in unserem cluster sehen, wie Sie im Vergleich mit einem desktop-PC hat ein duel core 3.2 ghz CPU und kostet £650! Ich denke, für den, den wir bekommen konnten 25 Himbeeren-und Sie verwenden viel weniger Strom, so dass wird interessant sein zu vergleichen. Das wird für eine Krankheit Ausbruch Modellierung.
InformationsquelleAutor der Antwort DevilWAH
Ich bin Unternehmen eine große Menge von neural network Forschung im Bereich der chaotischen Zeitreihen-Vorhersage (mit echo state networks).
Obwohl ich mit dem raspberry PI ist auf diese Weise bieten wenig bis keinen nutzen mehr sagen, eine starke cpu oder eine GPU, ich habe mit einem raspberry PI zur Steuerung der Verteilung der simulation jobs auf mehreren Maschinen. Die Rechenleistung profitieren von einem großen Kern wird Nagel, möglich auf den raspberry PI, nicht nur das, sondern laufen mehrere PI ' s in dieser Konfiguration wird die Generierung von großen Mehraufwand auf Sie zu warten, um zu synchronisieren, Daten übertragen usw.
Aufgrund der geringen Kosten und Robustheit der PI, ich habe es hosting-die Quelle der Netzwerk-Daten, sowie die Vermittlung des jobs, um die Agent-Computer. Es kann auch ein hard-reset und Neustart einer Maschine, wenn eine simulation fehlschlägt, wobei die Maschine nach unten, so dass für eine optimale Verfügbarkeit.
InformationsquelleAutor der Antwort S_BatMan
Neuronale Netze sind teuer, zu trainieren, aber sehr Billig zu laufen. Während ich würde nicht empfehlen mit diesen (auch clustered) zum Durchlaufen eines Lern-set für endlosen Epochen, sobald Sie die GEWICHTE, die Sie übertragen können, die das lernen Mühe in Sie.
In dieser Weise verwendet, ein raspberry pi sollte sein nützlich für viel mehr als ein einzelnes neuron. Gegeben, das Verhältnis von Speicher zu cpu, es wird wahrscheinlich sein Gedächtnis gebunden in seiner Skala. Vorausgesetzt, über 300 MB freien Speicher, mit zu arbeiten (die je nach OS/Treiber/usw.) und angenommen, Sie arbeiten mit 8-byte-double-precision-GEWICHTE, Sie haben eine Obere Grenze in der Größenordnung von 5000 "Neuronen" (bevor er die Lagerung gebunden), obwohl so viele andere Faktoren können dies ändern, und es ist wie zu Fragen: "Wie lange ist ein Stück Schnur?"
InformationsquelleAutor der Antwort DaveMorganTexas
Einige Ingenieure an der Universität Southampton gebaut Raspberry Pi supercomputer:
InformationsquelleAutor der Antwort atomh33ls
Ich geportet haben ein Spick-Netzwerk (siehe http://www.raspberrypi.org/phpBB3/viewtopic.php?f=37&t=57385&e=0 für details), um den Raspberry Pi und es läuft über 24 mal langsamer als auf meinem alten Pentium-M notebook von 2005 mit SSE-und prefetch-Optimierungen.
InformationsquelleAutor der Antwort wlorenz65
Es hängt alles von der Art des computing, die Sie tun möchten. Wenn Sie das tun, sehr, numerisch-intensive algorithmen mit nicht viel Speicher die Bewegung zwischen den Prozessor-caches und RAM-Speicher, dann GPU-Lösung wird angezeigt. Der mittlere Boden ist ein Intel-PC-Chips unter Verwendung der SIMD-Assembler-Anweisungen können Sie immer noch leicht am Ende wird begrenzt durch die rate, die Sie übertragen Daten zu und von dem RAM. Für fast den gleichen Kosten, die Sie bekommen können 50 ARM-boards mit 4 Kernen pro Bord und 2 GB RAM pro board. Das ist 200-Kernen und 100 Gb RAM. Die Menge der Daten, kann gemischt werden zwischen den CPUs und RAM pro Sekunde ist sehr hoch. Es könnte eine gute option sein, die für neuronale Netze, die die großen Gewichts-Vektoren. Auch die neuesten ARM-GPU und die neuen nVidea ARM-basierte chip (eingesetzt in die Schiefer tablet) haben die GPU-compute-als auch.
InformationsquelleAutor der Antwort SeanVN