Beste Weg, um erzeugen Millionen tcp-Verbindung

Brauche ich, um eine beste Weg, um erzeugen eine Millionen tcp-verbindungen. (Mehr ist gut,weniger ist schlecht). So schnell wie möglich machinely 😀

Warum brauche ich diese ? Ich Teste eine nat, und ich möchte, um es zu laden mit so vielen Einträgen wie möglich.

Meine aktuelle Methode ist die Erzeugung eines Subnetzes auf eine dummy-eth und Seriell schließen Sie aus, dass der dummy zum eigentlichen eth-lan-nat zum host.

subnetnicfake----routeToRealEth----RealEth---cable---lan----nat---host.   
|<-------------on my machine-------------------->|

Eine million gleichzeitige verbindungen?
haben Sie versucht, die iperf tool?
ich weiß nicht, wie iperf würde in diesem Fall helfen ?
haben Sie versucht, EchoServerTest lenholgate.com/blog/2005/11/... ?
ich war in der Lage, erhalten bis zu 600k wenn ich mich richtig erinnere. Ich hatte 2 laptops, dies zu tun. Der trick war, um reduzieren Sie die Größe des Puffers, cwnd-Größe und wscale etc für die TCP proto.

InformationsquelleAutor nikhilelite | 2011-07-05

3

Einer Millionen gleichzeitigen TCP-Sitzungen könnte schwierig werden: Wenn Sie verlassen sich auf standard - connect(2) sockets-API zu erstellen, die Funktionen, die Sie ein viel physikalischer Speicher: jede Sitzung erfordert eine struct inet_sock umfasst eine struct sock umfasst eine struct sock_common.

Ich schnell erraten Größen: struct sock_common erfordert etwa 58 bytes. struct sock benötigt ungefähr 278 bytes. struct inet_sock benötigt ungefähr 70 bytes.

Ist 387 MByte Daten , bevor Sie senden und empfangen Puffer. (Siehe tcp_mem, tcp_rmem, tcp_wmem im tcp(7) für einige Informationen).

Wenn Sie sich entscheiden diesen Weg zu gehen, würde ich vorschlagen, Einstellung der pro-socket Speicher steuert, so niedrig, wie Sie gehen. Ich wäre nicht überrascht, wenn 4096 ist die niedrigste können Sie es. (SK_MEM_QUANTUM ist PAGE_SIZE, gespeichert in sysctl_tcp_rmem[0] und sysctl_tcp_wmem[0].)

Dass die anderen acht Gigabyte Speicher-vier für receive-Puffer, vier für den Sendepuffer.

... Und das ist zusätzlich zu dem, was das system benötigt für Ihre Programme zu öffnen, die eine million Datei-Deskriptoren. (Siehe /proc/sys/fs/file-max im proc(5).)

Alle dieser Speicher ist nicht-Swap - -- die kernel-pins seinem Gedächtnis-so sind Sie wirklich nur an dieses problem auf einem 64-bit-Maschine mit mindestens acht Gigabyte Speicher. Wahrscheinlich 10-12 würde es besser machen.

Einem Ansatz, den die Paketto Keiretsu-tools ist zu öffnen Sie eine raw-Verbindung führen Sie alle TCP-drei-Wege-handshakes mit einer einzelnen raw-socket, und versuchen zu berechnen, was nötig ist, anstatt zu speichern, zu handhaben, wesentlich größere Datenmengen als üblich. Versuchen, zu speichern so wenig wie möglich für jede Verbindung und auch nicht mit naiven Listen, Bäume oder Strukturen.

Den Paketto Keiretsu-tools wurden zuletzt aktualisiert um 2003, so dass Sie möglicherweise noch nicht die Waage in die Millionen reichen auch, aber Sie würde auf jeden Fall mein Ausgangspunkt, wenn das mein problem zu lösen.

InformationsquelleAutor sarnold
0

Haben Sie versucht, mit tcpreplay? Sie bereiten könnte - oder capture - ein oder mehrere PCAP-Netzwerk-capture-Dateien mit dem traffic, den Sie brauchen, und eine oder mehrere Instanzen von tcpreplay wiedergeben zu stress-testen Sie Ihre firewall/NAT.

InformationsquelleAutor thkala
0

Nach der Suche nach vielen Tagen, fand ich das problem. Anscheinend ist dieses problem gut überlegt und es sein sollte ,da es so sehr basic. Das problem war, ich wusste noch nicht, was dieses problem genannt werden sollte . Unter know-ers, ist es offenbar genannt als c10k problem. Was ich wollte ist c1m problem. Aber es scheint einige Mühe gemacht zu bekommen C500k . oder Gleichzeitige 500k verbindungen.

http://www.kegel.com/c10k.html UND
http://urbanairship.com/blog/2010/09/29/linux-kernel-tuning-for-c500k/

@deadalnix.

Lesen, oben links ,zu erleuchten und sich selbst.
- Aus obigen link : « Der Irrtum beginnt mit der Prämisse, dass es nur so viele Ephemere ports pro IP. Die Wahrheit ist, dass der Grenzwert basiert auf der IP-pair, oder mit anderen Worten, die client-und server-IPs zusammen. Eine einzelne client-IP-Verbindung zu einer server-IP-64,000 Zeiten und so kann eine andere client-IP.» Was auch hier der Fall, weil der NAT.
InformationsquelleAutor
-3

solange Sie 65536 port im TCP, das ist unmöglich zu erreichen, es sei denn, Sie haben eine Armee von Server zu verbinden.

So, dann, was ist der beste Weg ? Öffnen Sie einfach, wie viele Verbindung, wie Sie können auf Servern und sehen, was passiert.
- Diese ports pro ip. und ich sage: ich habe einen fake Subnetz von denen. also pro IP, die Sie bekommen, 65536 max(obwohl seine stark eingeschränkt durch Datei-Deskriptor-Grenze und andere Parameter). Aber Mein Punkt ist, die Geschwindigkeit zu erhöhen , I dont haben Zeit, um sitzen für 1/2 Stunde, um diese verbindungen arbeiten. Jemand eine gute Idee, zu multiplizieren ist mit der Geschwindigkeit ?
- Dies ist nicht korrekt. Er braucht nicht eine Armee von Servern. Er ist eingeschränkt in der Anzahl der ausgehenden verbindungen pro client, aber eingehende verbindungen pro server sind nicht eingeschränkt, durch die port-space. Verwenden Sie den gleichen port-Nummer als port wird gelauscht.
- Der server einen socket pro Verbindung. So, der begrenzte Faktor ist die Größe der Datei-Deskriptor-Tabelle.
- Ja, der server verarbeiten kann, einen socket pro Verbindung. Aber der client kann nicht öffnen Sie eine unendliche Anzahl von socket auf dem server. Sowohl der client und der server sind nneded damit eine Verbindung. Und der server nicht hinter einem NAT. So müssen Sie entweder haben eine Menge von Server zu verbinden, entweder eine Menge von client zum server zu verbinden. Bitte, guy, verstehen, Grundlagen der Vernetzung, bevor Sie tatsächlich fordern Sie mich falsch.
- Vergessen Sie nicht, Sie haben 64*1024 source-ports und 64*1024-Ziel-ports für insgesamt 64*64*1024*1024 == vier Milliarden möglich verbindungen zwischen zwei hosts mit einer einzigen IP-Adresse jedes einzelnen.
- Ziel-port ist behoben. Der server öffnet einen socket warten auf client, um die Verbindung zu diesem socket. Wenn Sie severals ports öffnet auf dem server (hardware) zu verbinden, dann sind Sie laufen mehrere Server (software) auf dieser Maschine.
- Ich weiß nicht, wie Sie Ihre Berechnung, meiner Meinung nach, der server-port fest, also für ein paar IP, ie. cliIP1<-->ServIP:port , das limit ist 65536.(oder, die den Bereich definiert, in /proc/../ipv4-Dateien). So, für 1 paar ips, die ich haben max 64 Kb. Aber jetzt kann ich alias eine andere ip auf dem gleichen Rechner(die Subnetz-ich bezeichnet, ist dieses), also ich habe ein Rechner mit 2 ips und 65k+65k Bereich. so weiter und so Fort.
- Mein server hinter nat und es funktioniert, weil ich umgesetzt haben, eine ALG für dns-Anfragen, die Installation von entsprechenden temp-Einträge in der nat. Also ja, ich weiß, wovon ich spreche, sehr viel - denn ich habe es funktioniert und es funktioniert gut. Also Sie bitte nicht kommentieren, jeder arbit Zeug.
- Fühlen Sie sich frei, zu schreiben, Ihre server zu bind(2), listen(2) und accept(2) auf alle 64k ports. Vielleicht haben einige NAT-Systeme wird auseinander fallen, wenn dies betonte weit (siehe meine Erinnerung Berechnungen an anderer Stelle), aber das ist Teil dessen, was das testen der NAT-system ist. 🙂
- Siehe @sarnold Antwort. Sie benötigen zum Start viele Server zu ermöglichen, dass viele conections. Ansonsten sind Sie stecken zu 65536. Ich don ' T Pflege wenn Sie möchten, dass die Antwort oder nicht, das ist, was Sie tun müssen, wenn Sie wollen, zu betonen, testen Sie Ihre NAT. Wenn Sie nicht wie die Antwort, die Sie bekommen können, einfach nicht Fragen.
- Ich denke, dass Sie nicht über grundlegende Verständnis, wie IP-Protokoll funktioniert. Die Grenze von 65536 für 1 Ip, ich HABE SUBNETZ Z 1 IPS. DAS BEDEUTET, ich KANN GENERIEREN 65536 * ANZAHL DER IP-Adressen ich HABE die verbindungen, die verbinden 1-SERVER-IP: PORT. Die Beschränkung der Datei-Deskriptoren und weitere Parameter wie ephemeral port range usw. Es ist keine Frage der Sympathie, die Sie gar nicht kennen-Server hinter nat.
- Nein, Server nicht hinter einem NAT, es sei denn, Sie haben eine port-Umleitung, was bedeutet, dass Sie deaktivieren Sie die NAT für den jeweiligen server. Und Sie müssen nicht ein ganzes Subnetz wie lange die server sehen, die NAT-Adresse, und ist sich nicht bewusst, das Subnetz innerhalb. Ihr NAT-ablehnen-Verbindung von Ihrem Subnetz, wenn dieses limit erreicht ist. Ich habe einen master-Abschluss in networking, cisco certigfication, ich arbeite auf SaaS für Jahre, und Sie bitten hier die Frage. Aber sicher, mir erklären 😉
- ietf.org/rfc/rfc2694.txt . Sie sind sehr verwirrt person,ist es besser, dass Sie wieder alles wieder für dich. Ich bin nicht dabei-port-nat oder napt. Seine einfache Ziel-nat. Die Quell-Adresse wird nicht von NAT sein, was die Subnetz-ip. das Ziel wird geändert, um die interne, wenn das Paket reist in die Quelle geändert zu externen, wenn das Paket reist nach draußen.
- Ho Gott, bitte. Das NAT ändert die Adresse in das Paket, wie Sie sagte. In der Ergebnis-server sehen nur NAT-Adresse, und ist sich nicht bewusst von subnet-Adresse. NAT-Adresse hat 65536 ports, so dass, was auch immer, wie viele-Adresse, die Sie haben auf Ihrem Subnetz, die auf einem einzigen server, Ihr ganzes Subnetz werden nur in der Lage zu öffnen 65536 Verbindung zu diesem server. Sie NAT-Gerät lehnt die Verbindung nach, die Grenze, und wenn es nicht funktioniert, ist es bugguy.
InformationsquelleAutor deadalnix

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.