Tag: large-files

Große Dateien, egal ob Binär oder text, kann manchmal problematisch sein, selbst für einen erfahrenen Programmierer. Dieser tag sollte genutzt werden, wenn Probleme auftreten in Bezug auf das öffnen und/oder schreiben von großen Dateien in einem text-editor, die Verwaltung von Ressourcen, führen zu Gigabyte oder strategische Entscheidungen für große Mengen von Daten.

Lesen Sie große Datei in sqlite-Tabelle in objective-C auf dem iPhone

Anzahl der Antworten 3 Antworten
Ich habe eine 2 MB-Datei nicht zu groß ist, dass ich gerne in eine sqlite-Datenbank, so dass ich es suchen. Es gibt über 30K Einträge im CSV-format, mit sechs Feldern pro Zeile. Mein Verständnis ist, dass sqlite

Ist O_LARGEFILE brauchte nur zu schreiben, eine große Datei?

Anzahl der Antworten 2 Antworten
Ist die O_LARGEFILE flag benötigt, wenn alle, die ich tun möchte ist schreiben einer großen Datei (O_WRONLY) oder Anhängen einer großen Datei (O_APPEND | O_WRONLY)? Aus einem thread, die ich gelesen habe mit dem Titel "Schreiben kann

Charting riesige Mengen von Daten

Anzahl der Antworten 4 Antworten
Sind wir derzeit mit ZedGraph und zeichnen Sie eine Linie Diagramm der Daten. Die input-Daten von einer Datei beliebiger Größe, daher wir nicht wissen, was die maximale Anzahl der Datenpunkte im Voraus. Jedoch, indem Sie die Datei

Extrahieren von Daten zwischen zwei tags in der HTML-Datei

Anzahl der Antworten 0 Antworten
Habe ich eine HUUUGE HTML-Datei hier gespeichert auf meinem system, welche die Daten enthält, aus einem Produktkatalog. Die Daten werden so strukturiert, dass für jedes Produkt Datensatz die Namen, die zwischen zwei tags (name) und (/name) .

Lesen Riesige Datei in Python

Anzahl der Antworten 8 Antworten
Ich habe einen 384 MB text-Datei mit 50 Millionen Zeilen. Jede Zeile enthält 2 Leerzeichen getrennte Ganzzahlen: einen Schlüssel und einen Wert. Die Datei ist sortiert nach dem key. Ich brauche einen effizienten Weg suchen, bis Sie

Höhere Geschwindigkeit Optionen für das ausführen von sehr groß (20 GB) .sql-Datei in MySQL

Anzahl der Antworten 4 Antworten
Meine Firma geliefert wurde ein 20+ GB .sql-Datei in Antwort auf eine Anforderung für die Daten aus dem gov nicht. Ich habe nicht viele Optionen, um die Daten in einem anderen format, so muss ich die Optionen

Tut fread nicht für große Dateien?

Anzahl der Antworten 5 Antworten
Habe ich zu analysieren, eine 16-GB-Datei. Ich bin mit dem Lesen der Datei sequenziell mit fread() und fseek(). Ist es machbar? Wird fread() Arbeit für eine so große Datei? Können Sie das klären, die Sprache verwendet? Ich

Powershell - Wie extrahiere ich die erste Zeile von allen text-Dateien in einem Verzeichnis in einer einzigen Ausgabe-Datei?

Anzahl der Antworten 3 Antworten
Ich habe ein Verzeichnis mit über 10'000 text-Dateien unterschiedlicher Länge. Alle über 1GB groß. Muss ich extrahieren Sie die erste Zeile jeder Datei und legen Sie es in eine neue text-Datei im gleichen Verzeichnis. Ich habe versucht,

Wie Sie programmgesteuert download einer großen Datei, die in C#

Anzahl der Antworten 4 Antworten
Brauche ich, um programmgesteuert download einer großen Datei, bevor Sie ihn verarbeiten. Was ist der beste Weg, das zu tun? Als die Datei groß ist, möchte ich um eine bestimmte Uhrzeit zu warten, so dass ich gewaltsam

numpy: effizient Lesen in einem großen array

Anzahl der Antworten 2 Antworten
Ich habe eine binäre Datei, die enthält ein dichtes n*m matrix von 32-bit floats. Was ist der effizienteste Weg, um es zu Lesen in einem Fortran-bestellt numpy array? Die Datei ist mehrere gigabyte groß ist. Ich bekomme

upload einer großen Datei über 1GB zu 2GB mit jQuery-File-Upload - blueimp (Ajax-basierte) php / yii es zeigt Fehler im Firefox-Browser

Anzahl der Antworten 1 Antworten
Ich versuche zum hochladen einer großen Datei über 1GB zu 2GB mit jQuery File Upload - blueimp (Ajax-basierte) php /yii Framework 1.15 ich diese Werte gesetzt haben, zum hochladen von größeren Dateien memory_limit = 2048M upload_max_filesize =

grep -f alternative für große Dateien

Anzahl der Antworten 4 Antworten
grep -F -f file1 file2 Datei1 ist 90 Mb (2,5 Millionen Zeilen, ein Wort pro Zeile) Datei2 ist 45 Gb Dass dieser Befehl nicht wirklich etwas zu produzieren auch immer, egal, wie lange ich laufen lassen. Klar,

Analyse sehr großer XML-Dateien in php

Anzahl der Antworten 2 Antworten
Muss ich parse XML-Dateien von 40 GB in der Größe, und dann normalisieren, und legen Sie eine MySQL-Datenbank. Wie viel von der Datei brauche ich zum speichern in der Datenbank ist nicht klar, weder kenne ich die

Komprimieren einer großen Datei in ein ZIP mit Java

Anzahl der Antworten 4 Antworten
Ich das Bedürfnis, zu komprimieren, eine Große Datei (~450 Mbyte) durch die Java-Klasse ZipOutputStream. Diese große dimension führt zu einem problem der "OutOfMemory" Fehler meines JVM-Heap-Space. Dies geschieht, weil die "zos.schreiben (...)" - Methode speichert den Inhalt

Eine gute und effektive CSV - /TSV-Reader für Java

Anzahl der Antworten 4 Antworten
Ich versuche zu Lesen, big CSV und TSV (tab-getrennt) - Dateien mit über 1000000 Zeilen oder mehr. Jetzt habe ich versucht zu Lesen, ein TSV mit ~2500000 Linien mit opencsv, aber es wirft mich ein java.lang.NullPointerException. Es

Wie der freie Speicher nach dem öffnen einer Datei in Python

Anzahl der Antworten 4 Antworten
Dann öffne ich eine 3 GB Datei in Python zu Lesen Saiten. Ich habe dann speichern Sie diese Daten in ein Wörterbuch. Mein Nächstes Ziel ist es, erstellen Sie ein Diagramm mit diesem Wörterbuch bin ich also

wie zum extrahieren von Dateien aus einem großen (30Gb+) zip-Datei auf linux-server

Anzahl der Antworten 5 Antworten
1) extrahieren von großen zip-Datei Möchte ich extrahieren von Dateien aus einer großen zip-Datei (30Gb+) auf dem linux-server. Es gibt genug freien Speicherplatz. Ich habe versucht jar xf dataset.zip. Es gibt jedoch einen Fehler, der push button

Lesen und verarbeiten von großen text-Datei von 25 GB

Anzahl der Antworten 4 Antworten
Ich gelesen haben, eine große text-Datei, sagen wir, 25 GB und verarbeiten müssen, die diese Datei innerhalb von 15-20 Minuten. Diese Datei wird über mehrere header-und footer-Bereich. Versuchte ich CSplit nach split diese Datei basierend auf header,

gitignore von der Dateigröße?

Anzahl der Antworten 1 Antworten
Ich versuche, umzusetzen Git zum verwalten von kreativ-assets (Photoshop, Illustrator, Maya, usw.), und ich möchte ausschließen von Dateien aus dem Git basierend auf der Dateigröße eher als Erweiterung, Standort, etc. Zum Beispiel, ich will nicht ganz ausschließen

Wie kann ich das einfügen großer Dateien in MySQL-db mit PHP?

Anzahl der Antworten 7 Antworten
Will ich upload einer großen Datei, maximale Größe 10 MB auf meiner MySQL-Datenbank. Mit .htaccess ich geändert, das PHP-eigene Datei-upload-limit auf "10485760" = 10MB. Ich bin in der Lage, das hochladen von Dateien bis zu 10MB ohne

Lesen von sehr großen Dateien in PHP

Anzahl der Antworten 8 Antworten
fopen ist zu Versagen, wenn ich versuche zu Lesen in einer sehr mäßig große Datei in PHP. A 6 meg file macht es Würgen, wenn auch kleiner, um die Dateien 100k sind in Ordnung. ich habe gelesen,

sharepoint 2013 große Datei hochladen ( >1GB)

Anzahl der Antworten 1 Antworten
Wer weiß, was ist die maximale Dateigröße, die hochgeladen werden können durch sharepoint? Stehe ich vor ein Problem, beim hochladen von großen Datei überschreiten, 1GB, bekomme ich eine Fehlermeldung: Hier sind einige Lösungen, die ich ausprobiert: Erhöhen,

Gewusst wie: exportieren von großen Datenmengen nach Excel

Anzahl der Antworten 2 Antworten
Ich habe eine Seite Kriterien in meinem asp.net -Anwendung. Wenn Benutzer klickt auf Schaltfläche Bericht, Erstens in einer neuen Seite die Ergebnisse sind gebunden an ein datagrid, dann ist diese Seite die exportierte excel-Datei mit wechselnden Inhalten

php Upload große Dateien

Anzahl der Antworten 2 Antworten
Bin ich hier hängengeblieben mit Datei-Upload-problem. Ich habe nach Antworten gesucht, fand aber nur "die Erhöhung der post_max_size und upload_max_filesize" Vorschlag und das funktioniert nicht für mich. Ich kann nicht große Dateien hochgeladen(ca. rund 150mb+), die folgenden

Lesen von großen csv Dateien mit strings mit Kommata als ein Feld

Anzahl der Antworten 6 Antworten
Ich habe eine großen .csv-Datei (~26000 Zeilen). Ich möchte in der Lage sein, es zu Lesen in matlab. Ein weiteres problem ist, dass es enthält eine Sammlung von strings werden durch Kommata getrennt in eine der Felder.

Fehler tokenisierung von Daten. C error: out of memory pandas python, große csv-Datei

Anzahl der Antworten 3 Antworten
Ich habe eine große csv-Datei von 3,5 gehen und ich es Lesen wollen mit pandas. Dies ist mein code: import pandas as pd tp = pd.read_csv('train_2011_2012_2013.csv', sep=';', iterator=True, chunksize=20000000, low_memory = False) df = pd.concat(tp, ignore_index=True) Bekomme

Immer das Notepad++ die XML-parsing-Fehler "Zusätzliche Inhalte an das Ende des Dokuments", obwohl es keines gibt

Anzahl der Antworten 1 Antworten
Bin ich immer die oben genannte Fehlermeldung, wenn Sie versuchen, zu validieren, meine 55 mb XML-Datei in Notepad++. Die ersten enocountered Fehler ist hier (Zeile 1441520 aus 22258651): Screenshot aus Notepad++ Habe ich eingeschaltet, Zeigen alle Zeichen.

Wie schnell durchsuchen .csv-Datei in Python

Anzahl der Antworten 6 Antworten
Bin ich beim Lesen ein 6-Millionen-Eintrag .csv-Datei mit Python, und ich möchte in der Lage sein zu durchsuchen, diese Datei für einen bestimmten Eintrag. Gibt es irgendwelche tricks, um die Suche die gesamte Datei? Sollten Sie Lesen

Grafische open-source-text-editor für große Dateien (> 200 MB)

Anzahl der Antworten 12 Antworten
Gibt es eine open-source-alternative (ähnlich wie ultraedit), um Dateien zu handhaben, die mit filesize >200 MB? möglich, Duplikat der Besten Kostenlosen Text-Editor-Unterstützung *Mehr Als* 4GB Dateien? InformationsquelleAutor DB. | 2008-10-07

Was ist die beste API zum Lesen von großen excel-Dateien mit Java?

Anzahl der Antworten 3 Antworten
Ich Lesen müssen, große excel-Tabellen mit Hilfe von Java. Das Excel-sheet kann .xls-oder .xlsx. Das Blatt kann Tausende von Zeilen. Ich lese alle Zeilen und fügen die Zeile in der Datenbank. Also im Grunde Lesen von Excel

32-bit-Windows und die 2 GB Grenze für die Dateigröße (C mit fseek und ftell)

Anzahl der Antworten 4 Antworten
Ich bin versucht, port einen small-data-Analyse-Programm aus einer 64-bit-UNIX zu einem 32-bit-Windows-XP-system (nicht Fragen :)). Aber nun habe ich Probleme mit der 2 GB Grenze für die Dateigröße (lange nicht 64 bit auf dieser Plattform). Habe ich

Gibt es eine Möglichkeit, um die Arbeitsblatt-Namen aus bis zu 20 MB+ Excel-Dateien mit PHPExcel?

Anzahl der Antworten 2 Antworten
Ich bin mit PHPExcel zum Lesen von Daten aus Excel-Dateien. Mit dem folgenden code, ich bin in der Lage zu Lesen einem bestimmten Arbeitsblatt aus einem 3MB Excel-Datei in nur ein paar Sekunden. Funktioniert gut. Aber ich

So Verschicken Sie Große Dateien Vom Client Zum Server Mittels WCF?

Anzahl der Antworten 3 Antworten
So Senden Große Datei Von Client Zum Server Mittels WCF in C#? Unter den Konfigurations-code. <system.serviceModel> <bindings> <basicHttpBinding> <binding name="HttpStreaming_IStreamingSample" maxReceivedMessageSize="67108864" transferMode="Streamed"> </binding> </basicHttpBinding> </bindings> <client> <endpoint address="http://localhost:4127/StreamingSample.svc" binding="basicHttpBinding" bindingConfiguration="HttpStreaming_IStreamingSample" contract="StreamingSample.IStreamingSample" name="HttpStreaming_IStreamingSample" /> </client> </system.serviceModel> OK,dies ist

Sortieren sehr große text-Datei in PowerShell

Anzahl der Antworten 3 Antworten
Habe ich standard-Apache-log-Dateien zwischen 500Mb und 2GB groß. Ich brauche das Sortieren der Zeilen (jede Zeile beginnt mit einem Datum yyyy-MM-dd hh:mm:ss, so dass keine Behandlung notwendig für die Sortierung. Die einfachste und naheliegendste, was mir einfällt,

Wie kann ich Zeilen gelesen, die ab Ende der Datei in Perl?

Anzahl der Antworten 11 Antworten
Ich arbeite an einem Perl-Skript zum Lesen von CSV-Datei und einige Berechnungen durchführen. CSV-Datei hat nur zwei Spalten, so etwas wie unten. One Two 1.00 44.000 3.00 55.000 Nun diese CSV-Datei ist sehr groß ,man kann von

Wie zu Lesen, bestimmte Zeilen aus einer großen csv-Datei

Anzahl der Antworten 4 Antworten
Ich versuche zu Lesen, bestimmte Zeilen aus einer großen csv-Datei, und ich will nicht zu laden, die ganze Datei in den Speicher. Der index der spezifischen Zeilen werden in einer Liste L = [2, 5, 15, 98,

Lesen Sie große excel-Datei mit PHP

Anzahl der Antworten 6 Antworten
Ich versuche zu Lesen 17MB excel-Datei (2003) mit PHPExcel1.7.3 c, aber es bricht schon beim laden der Datei, nach überschreiten der 120-Sekunden-Grenze, die ich habe. Gibt es eine andere Bibliothek, die es tun können, effizienter zu sein?

Gibt es ein limit, PHP file_get_contents?

Anzahl der Antworten 1 Antworten
Ich versuche zu Lesen einer großen Datei (10M) mit php file_get_contents $file = 'http://www.remoteserver.com/test.txt'; $data = file_get_contents( $file ); var_dump ( $data ); Es steckt wieder string(32720) und dann wird die Ausgabe mit der Anzeige nur ein

Suchen und Lesen von großen Dateien in einem Linux-C++ - Anwendung

Anzahl der Antworten 5 Antworten
Habe ich integer-überlauf unter Verwendung der standard - ftell und fseek Optionen im inneren von G++, aber ich denke, ich irrte mich, weil es scheint, dass ftell64 und fseek64 nicht verfügbar sind. Ich habe lange gesucht und

Python Random-Access-Datei

Anzahl der Antworten 7 Antworten
Gibt es eine Python-Datei-Typ für den Zugriff auf random-Linien durchqueren, ohne die ganze Datei? Ich brauche für die Suche innerhalb einer großen Datei, Lesen die ganze Sache in den Speicher nicht möglich wäre. Irgendwelche Typen oder Methoden

Gibt es gute Abhilfen, um die GitHub-100MB maximale Dateigröße für Textdateien?

Anzahl der Antworten 3 Antworten
Ich habe eine 190 MB plain-text-Datei, die ich will track auf github. Die text-Datei ist ein Aussprache-Lexikon-Datei für unsere text-to-speech-engine. Wir regelmäßig hinzufügen und ändern Sie die Zeilen in text-Dateien, und die diffs sind ziemlich klein, so

Hadoop-Leistung - große Datei (20 GB)

Anzahl der Antworten 3 Antworten
Ich bin mit hdfs -setzen Sie auf laden Sie eine 20GB große Datei in hdfs. Derzeit der Prozess läuft @ 4mins. Ich bin versucht zu verbessern, schreiben Sie die Zeit zum laden von Daten in hdfs. Ich

Die Verarbeitung von großen JSON-Dateien in PHP

Anzahl der Antworten 5 Antworten
Ich versuche zu verarbeiten, etwas großes (möglicherweise bis zu 200M) von JSON-Dateien. Der Aufbau der Datei ist im Grunde ein array von Objekten. Also etwas entlang der Linien von: [ {"property":"value", "property2":"value2"}, {"prop":"val"}, ... {"foo":"bar"} ] Jedem

Java: InputStream zu langsam zum Lesen von großen Dateien

Anzahl der Antworten 4 Antworten
Ich Lesen 53 MByte-Datei Zeichen für Zeichen. Wenn ich es in C++ ifstream, es ist abgeschlossen in Millisekunden, aber mit Java InputStream dauert es mehrere Minuten. Ist es normal für Java werden diese langsam oder bin ich

Anzahl der Zeilen in einer Datei in Java

Anzahl der Antworten 16 Antworten
Verwende ich große Daten-Dateien, manchmal brauche ich nur zu wissen, die Anzahl der Zeilen in diesen Dateien, normalerweise öffne ich Sie und lese Sie Zeile für Zeile, bis ich ans Ende der Datei Ich Frage mich, ob

So vermeiden Sie Fehler wegen ungenügenden Speicherplatzes bei einem Upload einer großen Datei mit der Jersey-client

Anzahl der Antworten 6 Antworten
Bin ich mit dem Jersey-client für http-basierte Anfrage. Es funktioniert gut, wenn die Datei ist klein, aber in Irrtum, wenn ich eine Datei mit einer Größe von 700 m: Exception in thread "main" java.lang.OutOfMemoryError: Java heap space

Git AKE - "das übersteigt GitHub-Dateigröße-Grenze von 100.00 MB"

Anzahl der Antworten 4 Antworten
Ich habe einige csv-Dateien, die größer sind als github-Dateigröße-Grenze von 100.00 MB. Ich habe versucht, die Git-Große Datei-Speicher-Erweiterung. https://git-lfs.github.com/ Vom LFS - "Large file versioning- Version large files—even those as large as a couple GB in size—with

Wie zu Lesen, line-getrennte JSON von großen Datei (zeilenweise)

Anzahl der Antworten 3 Antworten
Ich versuche laden einer großen Datei (2 GB groß) gefüllt mit JSON-strings, getrennt durch Zeilenumbrüche. Ex: { "key11": value11, "key12": value12, } { "key21": value21, "key22": value22, } … Den Weg bin ich importieren es jetzt ist:

Streaming-große Bilder mit ASP.Net Webapi

Anzahl der Antworten 2 Antworten
Versuchen wir wieder große Bild-Dateien mit ASP.Net WebApi und mit dem folgenden code stream die bytes an den client. public class RetrieveAssetController : ApiController { //GET api/retrieveasset/5 public HttpResponseMessage GetAsset(int id) { HttpResponseMessage httpResponseMessage = new HttpResponseMessage();

Bearbeiten von sehr großen sql-dump/text-Datei (unter linux)

Anzahl der Antworten 4 Antworten
Habe ich zum importieren einen großen mysql-dump (bis zu 10G). Aber den sql dump bereits vordefiniert, mit der Struktur einer Datenbank mit index-definition. Ich will zur Beschleunigung der db-insert durch das entfernen des index-und Tabellen-definition. Dass heißt,