Tag: large-files
Große Dateien, egal ob Binär oder text, kann manchmal problematisch sein, selbst für einen erfahrenen Programmierer. Dieser tag sollte genutzt werden, wenn Probleme auftreten in Bezug auf das öffnen und/oder schreiben von großen Dateien in einem text-editor, die Verwaltung von Ressourcen, führen zu Gigabyte oder strategische Entscheidungen für große Mengen von Daten.
3
Antworten
Ich habe eine 2 MB-Datei nicht zu groß ist, dass ich gerne in eine sqlite-Datenbank, so dass ich es suchen. Es gibt über 30K Einträge im CSV-format, mit sechs Feldern pro Zeile. Mein Verständnis ist, dass sqlite
2
Antworten
Ist die O_LARGEFILE flag benötigt, wenn alle, die ich tun möchte ist schreiben einer großen Datei (O_WRONLY) oder Anhängen einer großen Datei (O_APPEND | O_WRONLY)? Aus einem thread, die ich gelesen habe mit dem Titel "Schreiben kann
4
Antworten
Sind wir derzeit mit ZedGraph und zeichnen Sie eine Linie Diagramm der Daten. Die input-Daten von einer Datei beliebiger Größe, daher wir nicht wissen, was die maximale Anzahl der Datenpunkte im Voraus. Jedoch, indem Sie die Datei
0
Antworten
Habe ich eine HUUUGE HTML-Datei hier gespeichert auf meinem system, welche die Daten enthält, aus einem Produktkatalog. Die Daten werden so strukturiert, dass für jedes Produkt Datensatz die Namen, die zwischen zwei tags (name) und (/name) .
8
Antworten
Ich habe einen 384 MB text-Datei mit 50 Millionen Zeilen. Jede Zeile enthält 2 Leerzeichen getrennte Ganzzahlen: einen Schlüssel und einen Wert. Die Datei ist sortiert nach dem key. Ich brauche einen effizienten Weg suchen, bis Sie
4
Antworten
Meine Firma geliefert wurde ein 20+ GB .sql-Datei in Antwort auf eine Anforderung für die Daten aus dem gov nicht. Ich habe nicht viele Optionen, um die Daten in einem anderen format, so muss ich die Optionen
5
Antworten
Habe ich zu analysieren, eine 16-GB-Datei. Ich bin mit dem Lesen der Datei sequenziell mit fread() und fseek(). Ist es machbar? Wird fread() Arbeit für eine so große Datei? Können Sie das klären, die Sprache verwendet? Ich
3
Antworten
Ich habe ein Verzeichnis mit über 10'000 text-Dateien unterschiedlicher Länge. Alle über 1GB groß. Muss ich extrahieren Sie die erste Zeile jeder Datei und legen Sie es in eine neue text-Datei im gleichen Verzeichnis. Ich habe versucht,
4
Antworten
Brauche ich, um programmgesteuert download einer großen Datei, bevor Sie ihn verarbeiten. Was ist der beste Weg, das zu tun? Als die Datei groß ist, möchte ich um eine bestimmte Uhrzeit zu warten, so dass ich gewaltsam
2
Antworten
Ich habe eine binäre Datei, die enthält ein dichtes n*m matrix von 32-bit floats. Was ist der effizienteste Weg, um es zu Lesen in einem Fortran-bestellt numpy array? Die Datei ist mehrere gigabyte groß ist. Ich bekomme
1
Antworten
Ich versuche zum hochladen einer großen Datei über 1GB zu 2GB mit jQuery File Upload - blueimp (Ajax-basierte) php /yii Framework 1.15 ich diese Werte gesetzt haben, zum hochladen von größeren Dateien memory_limit = 2048M upload_max_filesize =
4
Antworten
grep -F -f file1 file2 Datei1 ist 90 Mb (2,5 Millionen Zeilen, ein Wort pro Zeile) Datei2 ist 45 Gb Dass dieser Befehl nicht wirklich etwas zu produzieren auch immer, egal, wie lange ich laufen lassen. Klar,
2
Antworten
Muss ich parse XML-Dateien von 40 GB in der Größe, und dann normalisieren, und legen Sie eine MySQL-Datenbank. Wie viel von der Datei brauche ich zum speichern in der Datenbank ist nicht klar, weder kenne ich die
4
Antworten
Ich das Bedürfnis, zu komprimieren, eine Große Datei (~450 Mbyte) durch die Java-Klasse ZipOutputStream. Diese große dimension führt zu einem problem der "OutOfMemory" Fehler meines JVM-Heap-Space. Dies geschieht, weil die "zos.schreiben (...)" - Methode speichert den Inhalt
4
Antworten
Ich versuche zu Lesen, big CSV und TSV (tab-getrennt) - Dateien mit über 1000000 Zeilen oder mehr. Jetzt habe ich versucht zu Lesen, ein TSV mit ~2500000 Linien mit opencsv, aber es wirft mich ein java.lang.NullPointerException. Es
4
Antworten
Dann öffne ich eine 3 GB Datei in Python zu Lesen Saiten. Ich habe dann speichern Sie diese Daten in ein Wörterbuch. Mein Nächstes Ziel ist es, erstellen Sie ein Diagramm mit diesem Wörterbuch bin ich also
5
Antworten
1) extrahieren von großen zip-Datei Möchte ich extrahieren von Dateien aus einer großen zip-Datei (30Gb+) auf dem linux-server. Es gibt genug freien Speicherplatz. Ich habe versucht jar xf dataset.zip. Es gibt jedoch einen Fehler, der push button
4
Antworten
Ich gelesen haben, eine große text-Datei, sagen wir, 25 GB und verarbeiten müssen, die diese Datei innerhalb von 15-20 Minuten. Diese Datei wird über mehrere header-und footer-Bereich. Versuchte ich CSplit nach split diese Datei basierend auf header,
1
Antworten
Ich versuche, umzusetzen Git zum verwalten von kreativ-assets (Photoshop, Illustrator, Maya, usw.), und ich möchte ausschließen von Dateien aus dem Git basierend auf der Dateigröße eher als Erweiterung, Standort, etc. Zum Beispiel, ich will nicht ganz ausschließen
7
Antworten
Will ich upload einer großen Datei, maximale Größe 10 MB auf meiner MySQL-Datenbank. Mit .htaccess ich geändert, das PHP-eigene Datei-upload-limit auf "10485760" = 10MB. Ich bin in der Lage, das hochladen von Dateien bis zu 10MB ohne
8
Antworten
fopen ist zu Versagen, wenn ich versuche zu Lesen in einer sehr mäßig große Datei in PHP. A 6 meg file macht es Würgen, wenn auch kleiner, um die Dateien 100k sind in Ordnung. ich habe gelesen,
1
Antworten
Wer weiß, was ist die maximale Dateigröße, die hochgeladen werden können durch sharepoint? Stehe ich vor ein Problem, beim hochladen von großen Datei überschreiten, 1GB, bekomme ich eine Fehlermeldung: Hier sind einige Lösungen, die ich ausprobiert: Erhöhen,
2
Antworten
Ich habe eine Seite Kriterien in meinem asp.net -Anwendung. Wenn Benutzer klickt auf Schaltfläche Bericht, Erstens in einer neuen Seite die Ergebnisse sind gebunden an ein datagrid, dann ist diese Seite die exportierte excel-Datei mit wechselnden Inhalten
2
Antworten
Bin ich hier hängengeblieben mit Datei-Upload-problem. Ich habe nach Antworten gesucht, fand aber nur "die Erhöhung der post_max_size und upload_max_filesize" Vorschlag und das funktioniert nicht für mich. Ich kann nicht große Dateien hochgeladen(ca. rund 150mb+), die folgenden
6
Antworten
Ich habe eine großen .csv-Datei (~26000 Zeilen). Ich möchte in der Lage sein, es zu Lesen in matlab. Ein weiteres problem ist, dass es enthält eine Sammlung von strings werden durch Kommata getrennt in eine der Felder.
3
Antworten
Ich habe eine große csv-Datei von 3,5 gehen und ich es Lesen wollen mit pandas. Dies ist mein code: import pandas as pd tp = pd.read_csv('train_2011_2012_2013.csv', sep=';', iterator=True, chunksize=20000000, low_memory = False) df = pd.concat(tp, ignore_index=True) Bekomme
1
Antworten
Bin ich immer die oben genannte Fehlermeldung, wenn Sie versuchen, zu validieren, meine 55 mb XML-Datei in Notepad++. Die ersten enocountered Fehler ist hier (Zeile 1441520 aus 22258651): Screenshot aus Notepad++ Habe ich eingeschaltet, Zeigen alle Zeichen.
6
Antworten
Bin ich beim Lesen ein 6-Millionen-Eintrag .csv-Datei mit Python, und ich möchte in der Lage sein zu durchsuchen, diese Datei für einen bestimmten Eintrag. Gibt es irgendwelche tricks, um die Suche die gesamte Datei? Sollten Sie Lesen
12
Antworten
Gibt es eine open-source-alternative (ähnlich wie ultraedit), um Dateien zu handhaben, die mit filesize >200 MB? möglich, Duplikat der Besten Kostenlosen Text-Editor-Unterstützung *Mehr Als* 4GB Dateien? InformationsquelleAutor DB. | 2008-10-07
3
Antworten
Ich Lesen müssen, große excel-Tabellen mit Hilfe von Java. Das Excel-sheet kann .xls-oder .xlsx. Das Blatt kann Tausende von Zeilen. Ich lese alle Zeilen und fügen die Zeile in der Datenbank. Also im Grunde Lesen von Excel
4
Antworten
Ich bin versucht, port einen small-data-Analyse-Programm aus einer 64-bit-UNIX zu einem 32-bit-Windows-XP-system (nicht Fragen :)). Aber nun habe ich Probleme mit der 2 GB Grenze für die Dateigröße (lange nicht 64 bit auf dieser Plattform). Habe ich
2
Antworten
Ich bin mit PHPExcel zum Lesen von Daten aus Excel-Dateien. Mit dem folgenden code, ich bin in der Lage zu Lesen einem bestimmten Arbeitsblatt aus einem 3MB Excel-Datei in nur ein paar Sekunden. Funktioniert gut. Aber ich
3
Antworten
So Senden Große Datei Von Client Zum Server Mittels WCF in C#? Unter den Konfigurations-code. <system.serviceModel> <bindings> <basicHttpBinding> <binding name="HttpStreaming_IStreamingSample" maxReceivedMessageSize="67108864" transferMode="Streamed"> </binding> </basicHttpBinding> </bindings> <client> <endpoint address="http://localhost:4127/StreamingSample.svc" binding="basicHttpBinding" bindingConfiguration="HttpStreaming_IStreamingSample" contract="StreamingSample.IStreamingSample" name="HttpStreaming_IStreamingSample" /> </client> </system.serviceModel> OK,dies ist
3
Antworten
Habe ich standard-Apache-log-Dateien zwischen 500Mb und 2GB groß. Ich brauche das Sortieren der Zeilen (jede Zeile beginnt mit einem Datum yyyy-MM-dd hh:mm:ss, so dass keine Behandlung notwendig für die Sortierung. Die einfachste und naheliegendste, was mir einfällt,
11
Antworten
Ich arbeite an einem Perl-Skript zum Lesen von CSV-Datei und einige Berechnungen durchführen. CSV-Datei hat nur zwei Spalten, so etwas wie unten. One Two 1.00 44.000 3.00 55.000 Nun diese CSV-Datei ist sehr groß ,man kann von
4
Antworten
Ich versuche zu Lesen, bestimmte Zeilen aus einer großen csv-Datei, und ich will nicht zu laden, die ganze Datei in den Speicher. Der index der spezifischen Zeilen werden in einer Liste L = [2, 5, 15, 98,
6
Antworten
Ich versuche zu Lesen 17MB excel-Datei (2003) mit PHPExcel1.7.3 c, aber es bricht schon beim laden der Datei, nach überschreiten der 120-Sekunden-Grenze, die ich habe. Gibt es eine andere Bibliothek, die es tun können, effizienter zu sein?
1
Antworten
Ich versuche zu Lesen einer großen Datei (10M) mit php file_get_contents $file = 'http://www.remoteserver.com/test.txt'; $data = file_get_contents( $file ); var_dump ( $data ); Es steckt wieder string(32720) und dann wird die Ausgabe mit der Anzeige nur ein
5
Antworten
Habe ich integer-überlauf unter Verwendung der standard - ftell und fseek Optionen im inneren von G++, aber ich denke, ich irrte mich, weil es scheint, dass ftell64 und fseek64 nicht verfügbar sind. Ich habe lange gesucht und
7
Antworten
Gibt es eine Python-Datei-Typ für den Zugriff auf random-Linien durchqueren, ohne die ganze Datei? Ich brauche für die Suche innerhalb einer großen Datei, Lesen die ganze Sache in den Speicher nicht möglich wäre. Irgendwelche Typen oder Methoden
3
Antworten
Ich habe eine 190 MB plain-text-Datei, die ich will track auf github. Die text-Datei ist ein Aussprache-Lexikon-Datei für unsere text-to-speech-engine. Wir regelmäßig hinzufügen und ändern Sie die Zeilen in text-Dateien, und die diffs sind ziemlich klein, so
3
Antworten
Ich bin mit hdfs -setzen Sie auf laden Sie eine 20GB große Datei in hdfs. Derzeit der Prozess läuft @ 4mins. Ich bin versucht zu verbessern, schreiben Sie die Zeit zum laden von Daten in hdfs. Ich
5
Antworten
Ich versuche zu verarbeiten, etwas großes (möglicherweise bis zu 200M) von JSON-Dateien. Der Aufbau der Datei ist im Grunde ein array von Objekten. Also etwas entlang der Linien von: [ {"property":"value", "property2":"value2"}, {"prop":"val"}, ... {"foo":"bar"} ] Jedem
4
Antworten
Ich Lesen 53 MByte-Datei Zeichen für Zeichen. Wenn ich es in C++ ifstream, es ist abgeschlossen in Millisekunden, aber mit Java InputStream dauert es mehrere Minuten. Ist es normal für Java werden diese langsam oder bin ich
16
Antworten
Verwende ich große Daten-Dateien, manchmal brauche ich nur zu wissen, die Anzahl der Zeilen in diesen Dateien, normalerweise öffne ich Sie und lese Sie Zeile für Zeile, bis ich ans Ende der Datei Ich Frage mich, ob
6
Antworten
Bin ich mit dem Jersey-client für http-basierte Anfrage. Es funktioniert gut, wenn die Datei ist klein, aber in Irrtum, wenn ich eine Datei mit einer Größe von 700 m: Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
4
Antworten
Ich habe einige csv-Dateien, die größer sind als github-Dateigröße-Grenze von 100.00 MB. Ich habe versucht, die Git-Große Datei-Speicher-Erweiterung. https://git-lfs.github.com/ Vom LFS - "Large file versioning- Version large files—even those as large as a couple GB in size—with
3
Antworten
Ich versuche laden einer großen Datei (2 GB groß) gefüllt mit JSON-strings, getrennt durch Zeilenumbrüche. Ex: { "key11": value11, "key12": value12, } { "key21": value21, "key22": value22, } … Den Weg bin ich importieren es jetzt ist:
2
Antworten
Versuchen wir wieder große Bild-Dateien mit ASP.Net WebApi und mit dem folgenden code stream die bytes an den client. public class RetrieveAssetController : ApiController { //GET api/retrieveasset/5 public HttpResponseMessage GetAsset(int id) { HttpResponseMessage httpResponseMessage = new HttpResponseMessage();
4
Antworten
Habe ich zum importieren einen großen mysql-dump (bis zu 10G). Aber den sql dump bereits vordefiniert, mit der Struktur einer Datenbank mit index-definition. Ich will zur Beschleunigung der db-insert durch das entfernen des index-und Tabellen-definition. Dass heißt,