Tag: partitioning
Partitionierung ist ein performance-Strategie, wobei Sie teilen möglicherweise sehr große Gruppen von Daten in eine Anzahl von kleineren Gruppen von Daten.
2
Antworten
Ich habe eine Tabelle partitioniert basierend auf Zeitstempel (wie partition1 haben 9 Monate alte Daten partition2 haben 6 Monate alte Daten partition3 3 Monate alten Daten und so weiter) Brauche ich zum löschen von Daten auf Grundlage
4
Antworten
Brauche ich einige Ratschläge von Euch Experten zu diesem Thema. Die Sache ist, dass wir haben eine Facebook-Anwendung einige Tage her, und es hat eine Menge von Viralität zum Glück, das problem ist, dass unsere Datenbank angefangen,
4
Antworten
Ich habe eine sehr komplexe Oracle-Ansicht basierend auf anderen materialisierte Ansichten, normale Ansichten sowie einige Tabellen (ich kann nicht "fast refresh"). Die meisten der Zeit, die vorhandenen Datensätze in dieser Ansicht basieren auf einem date sind und
8
Antworten
Ich habe 2 Tabellen, eine aktive Tabelle und eine inaktive Tabelle. Ich möchte bewegen Zeilen aus der aktiven auf die inaktive Tabelle. Mein Erster Gedanke war insert into inactive select * from active where ... delete from
2
Antworten
Ich bin auf der Suche in die horizontale Partitionierung einer Tabelle mit Zeit-Serien-Daten. Ich habe festgestellt, dass das partitionieren viel einfacher ist, im Jahr 2005, als es war im Jahr 2000, aber ich kann nicht scheinen zu
2
Antworten
Ich bin versucht zu schreiben, eine neue Hadoop-job für die Eingabe der Daten ist etwas schief. Eine Analogie HIERFÜR wäre die word count Beispiel in Hadoop tutorial, außer, sagen wir ein bestimmtes Wort vorhanden ist, sehr Häufig.
2
Antworten
Was wäre ein geeigneter Weg, dies zu tun, da mySQL offenbar nicht genießen. Zu verlassen, entweder partitionieren oder die foreign keys aus der Datenbank-design würde nicht scheinen, wie eine gute Idee für mich. Ich Schätze, dass es
3
Antworten
Möchte ich dynamisch deklarieren Sie die Palette von meiner partition-Funktion. Ich will nicht zu hart-code der range-Wert,wie folgt: CREATE PARTITION FUNCTION PartFun(smallint)ALS RANGE-LINKS FÜR WERTE (1,2,3,4,5) Das problem ist:Die Spalte(ID IDMASTER Tabelle) auf, das will ich "partition
1
Antworten
Ich habe die Tabelle, für die ich jeden Tag tun möchten automatische Archivierung. So klar zu sein, dass ich jeden Tag zu sich nehmen möchten erzeugten Informationen während des Tages und bewegen es in eine andere partition
2
Antworten
Ich möchte meine partition-Tabelle (Oracle -) automatisiert auf einer täglichen basis. Habe ich nur eine Timestamp-Spalte gegeben: DD.MM.YYYY HH24:MI:SS Bisher fand ich dies, aber es funktioniert nicht: create table pos_data ( start_date DATE, store_id NUMBER, inventory_id NUMBER(6),
7
Antworten
In Kafka, ich möchte nur eine einzige broker, einziges Thema und eine einzige partition mit einem Erzeuger und mehrere Verbraucher (jeder Verbraucher erhält seine eigene Kopie der Daten, die vom broker). Angesichts dieser, ich will nicht den
1
Antworten
Ich versuche zu schreiben dataframe in spark zu einem HDFS-Lage, und ich erwarte, dass wenn ich hinzufüge, die partitionBy notation Funke partition erstellen (ähnlich wie beim schreiben in Parkett-format) Ordner in form von partition_column_name=partition_value ( ich.e partition_date=2016-05-03).
1
Antworten
Einer Anwendung führt Folgendes aus: schreibt eine Zeile in eine Tabelle mit einer eindeutigen ID Lesen Sie die Tabelle und finden Sie die eindeutige ID und den Ausgang der anderen Variablen (darunter die Zeitstempel). Die Frage ist:
3
Antworten
Was ist der Weg, um automatisch aktualisieren Sie die Metadaten von Hive-Tabellen? Wenn neue partition, die Daten Hinzugefügt wurden, um HDFS (ohne alter table add partition, Befehl-Ausführung) . dann können wir die Synchronisierung der Metadaten, indem Sie
4
Antworten
Ich bin Partitionierung eine sehr große Tabelle enthält, zeitliche Daten, und wenn man bedenkt, was Granularität sollte ich die Partitionen. Die Postgres partition Dokumentation behauptet, dass "eine große Anzahl von Partitionen sind wahrscheinlich zu erhöhen, Abfrage der
5
Antworten
Ich machte meine partition 300MB Tisch und versucht zu machen, wählen Sie Abfrage aus p0 partition mit diesem Befehl SELECT * FROM employees PARTITION (p0); Aber ich erhalte folgende Fehlermeldung ERROR 1064 (42000): You have an error
2
Antworten
Ich verstehe, dass partitionBy Funktion Partitionen meine Daten. Wenn ich rdd.partitionBy(100) es wird die partition meine Daten durch Schlüssel in 100 Teile. D. H. Daten, die im Zusammenhang mit ähnlichen Tasten gruppiert werden, Ist mein Verständnis richtig?
1
Antworten
Ich versuchte Tabelle die Partitionierung in MySQL durch ändern der Tabelle mit dem folgenden code: ALTER TABLE tt DROP PRIMARY KEY, ADD PRIMARY KEY(id, st); ALTER TABLE tt ADD PARTITION BY LIST(st) ( PARTITION p0 VALUES IN
2
Antworten
Wie jeder weiß, Partitionierer, Zündkerzen haben eine große Auswirkung auf die Leistung auf alle "große" Operationen, so ist es in der Regel veredelt in Betrieb. Ich war das Experimentieren mit dem folgenden code: val rdd1 = sc.parallelize(1
1
Antworten
Ich versuche zu Partitionieren einer Tabelle von beiden Jahr und Monat. Die Spalte, durch welche ich partition ist eine datetime-Typ-Spalte mit einem ISO-Format ('20150110', 20150202", etc.). Ich habe zum Beispiel Umsatz-Daten für 2010, 2011, 2012. Ich möchte
1
Antworten
Habe ich installiert, oracle 10G XE, aber in der Zeit der installation kann ich noch nicht aktiviert, die partion option.nun, wenn ich den Befehl ausführen select * from v$option where parameter = 'Partitioning'; its showing false ..
3
Antworten
Nun begann ich zu lernen, partition-Konzept in oracle.einige, wie werde ich zum verwalten von Partitionen jetzt habe ich versucht, erstellen Sie sub-partition in Oracle. Ich habe diesen Fehler SQL Error: ORA-14160: this physical attribute may not be
1
Antworten
Ich bin daran interessiert, herauszufinden, ob es einen performance-Vorteil der Partitionierung einer numeric-Spalte, die Häufig das Ziel von Abfragen. Derzeit habe ich eine materialisierte Sicht mit ~50 Millionen Datensätze. Wenn du eine normale b-tree-index und Suche durch
4
Antworten
Für QA-Zwecke, die ich brauche, um in der Lage sein, um partition einer Festplatte über ein bash-script bis zu 30 oder mehr Partitionen für beide RHEL und SLES. Habe ich versucht, dies zu tun in der BASH
3
Antworten
Ich versuche, diese Abfrage ausführen im Hive wieder nur die top-10-url, die öfter erscheinen, in der adimpression Tabelle. select ranked_mytable.url, ranked_mytable.cnt from ( select iq.url, iq.cnt, rank() over (partition by iq.url order by iq.cnt desc) rnk from
2
Antworten
Sorry für den langen post! Ich habe eine Datenbank mit ~30 Tabellen (InnoDB engine). Nur zwei dieser Tabellen, nämlich, "Transaktion" und "shift" sind sehr groß (die ersten 1,5 Millionen Zeilen und shift hat 23k Zeilen). Jetzt funktioniert
2
Antworten
Ich habe eine Tabelle ist, die eine partition vom Typ int, aber die möchte ich umwandeln in string. Allerdings kann ich nicht herausfinden, wie dies zu tun. Dem Tisch Beschreibung: Col1 timestamp Col2 string Col3 string Col4
3
Antworten
Lese ich bis auf die Dokumentation der HashPartitioner. Leider nichts wurde viel erklärt, außer für die API-Aufrufe. Ich bin unter der Annahme, dass HashPartitioner Partitionen verteilt, basierend auf dem Hashwert des keys. Zum Beispiel, wenn meine Daten
1
Antworten
Ist es möglich, einen lokalen index als Primärschlüssel in Oracle, wenn die Tabelle partitioniert ist? Zum Beispiel, wenn die Tabelle Spalten A, B, C, D, E, partitioniert A und B, und die gewünschte primary-key auf Spalten A,
2
Antworten
Habe ich eine partition Funktion, aber ich bin nicht in der Lage, wenden Sie es auf einen Tisch. Ich bin mir nicht sicher, wohin ich gehe falsch. Hier ist meine partition-Funktion: CREATE PARTITION FUNCTION StaticDateMonthPartition (int) AS
2
Antworten
Mit caret - Paket bei der Erstellung der Daten-partition zu 75% training und 25% test verwenden wir: inTrain<- createDataPartition(y=spam$type,p=0.75, list=FALSE) Hinweis: dataset namens spam - und target-variable namens type Meine Frage ist, was ist der Zweck, einschließlich
2
Antworten
Jemand kann mir sagen, wie können wir das einfügen von Daten in partitionierte Tabelle, die nicht befriedigend ist die Partitionierung Zustand. per definition, das scheint unmöglich! Könnten Sie das mit exchange partition ohne überprüfung. Aber die partition
1
Antworten
Ich habe die Entwicklung gegen SQL Server 2012 Enterprise, und kam zu migrieren, um die Produktion, wo ich unserer hosting-provider installiert hatte-Standard. Ich glaube nicht, dass es sein sollte ein problem, wie ich hatte nicht implementiert jedes
1
Antworten
Habe ich entdeckt, dass die verwendeten Partitionen auf einer bestimmten Tabelle, verletzen die Abfrage-performance und möchte entfernen Sie die Partitionen aus der Tabelle. Gibt es eine einfache Möglichkeit, dies zu tun? Die Tabelle in Frage und 64
4
Antworten
Ich versuche zu erstellen, die dynamische Partitionen im hive mit dem folgenden code. SET hive.exec.dynamic.partition = true; SET hive.exec.dynamic.partition.mode = nonstrict; create external table if not exists report_ipsummary_hourwise( ip_address string,imp_date string,imp_hour bigint,geo_country string) PARTITIONED BY (imp_date_P string,imp_hour_P
2
Antworten
Ich würde gerne Abfragen einer Tabelle mit Millionen von Datensätzen für die Kunden mit dem Namen 'FooBar', Aufzeichnungen, datiert auf 7-24-2016. Die Tabelle hat 10 Tage Daten. select * from table where customer = 'FooBar' and insert_date
4
Antworten
Habe ich 5 Entwicklung von schemas. Und jeder von Ihnen haben partitionierten Tabellen. Wir haben auch Scripte aus, um dynamisch erstellen Sie partition tables (Monatlich/Jährlich). Wir haben zu gehen zu DBA-everytime, das für die Erhebung der Daten
3
Antworten
Mit CQL3, wie macht man alle aufzuzählen, die partition Schlüssel einer Tabelle in Kassandra? Insbesondere gibt es Komplikationen mit der Rückkehr eindeutige Schlüssel, und umbrechen der Ergebnisse. Check diesem Beitrag, von Richard, es geht in großen detail,
3
Antworten
Ich versuche zu schreiben, einen einfachen Algorithmus für das verschieben der Elemente um Sie herum Drehpunkt, so dass die Elemente auf der linken Seite der pivot ist kleiner als das pivot-element und das element rechts von Drehpunkt
2
Antworten
Habe ich Zugriff auf eine Datenbank, und ich muss wissen das Partition-Schema-Definitionen in der Datenbank. d.h. ich muss wissen, das Partitionsschema Namen, die Partition-Funktion ist es mit, was Datei-Gruppen werden die Partitionen zugewiesen, etc... Jemand zum Beispiel
3
Antworten
Dies ist eine zweiteilige Frage: 1) Ist es möglich, um den Namen der partition, die Daten Leben in mit einer select-Anweisung, auf der Basis Ihrer ROWID oder eine andere Kennung? zB. SELECT DATA_ID, CATEGORY, VALUE, **PARTITION_NAME** FROM
2
Antworten
Ich bin beim Lesen über die Partitionierung unter Linux, und ich fand heraus, dass es ist nicht möglich, erstellen Sie eine "unendliche" Anzahl von primären Partitionen, als ich gedacht hatte. Also, warum ist die maximale Anzahl von
2
Antworten
Art von edge-Fall, beim speichern von Parkett-Tabelle in Spark SQL mit partition #schema definitioin final StructType schema = DataTypes.createStructType(Arrays.asList( DataTypes.createStructField("time", DataTypes.StringType, true), DataTypes.createStructField("accountId", DataTypes.StringType, true), ... DataFrame df = hiveContext.read().schema(schema).json(stringJavaRDD); df.coalesce(1) .write() .mode(SaveMode.Append) .format("parquet") .partitionBy("year") .saveAsTable("tblclick8partitioned"); Funke
1
Antworten
Ich habe eine Tabelle mit großen Datenmengen( sagen wir Millionen von Datensätzen eine Fall-Studie!) 5 Jahren, mit einer partition für jedes Jahr. Jetzt würde ich behalten wollen, in den letzten 2 Jahren die Daten, und übertragen Sie
2
Antworten
Ich arbeite mit einer Oracle 11g DB, hat einen Eingang von 3-5m Zeilen pro Tag. In der Zukunft möchte ich die Partitionierung verwenden, basierend auf der Spalte Timestamp. Mein Ziel ist es, eine neue partition erstellen, für
2
Antworten
Abgesehen von den offensichtlichen, kann mir jemand erklären, was ist der Unterschied zwischen einem mehrspaltigen partitionieren und mit einer subpartition? Und welche ist besser für einen OLTP-Szenario? Für details, siehe Verwalten von Partitionierten Tabellen und Indizes im
1
Antworten
Ich habe eine matrix und ein Vektor mit jeweils 3000 Zeilen: fe = [-0.1850 -0.4485; ... -0.2150 2.6302; ... -0.2081 1.5883; ... -0.6416 -1.1924; ... -0.1188 1.3429; ... -0.2326 -2.2737; ... -0.0799 1.4821; ... ... %# lots
2
Antworten
Ich bin mit dem 11g-Intervall partitioning feature in einer meiner Tabellen. Ich habe es bis zu 1 Tag Partitionen auf einer timestamp-Feld und erstellt eine Aufgabe zum löschen von Daten, 3 Monate alt. Wenn ich versuche zu
3
Antworten
Ich bin mit einem oracle-11-Tabelle mit Intervall-Partitionierung und die Liste subpartitioning wie folgt aus (vereinfacht): CREATE TABLE LOG ( ID NUMBER(15, 0) NOT NULL PRIMARY KEY , MSG_TIME DATE NOT NULL , MSG_NR VARCHAR2(16 BYTE) ) PARTITION
2
Antworten
Bin ich mit einer Tabelle suchen so etwas wie dieses: CREATE TABLE `Calls` ( `calendar_id` int(11) NOT NULL, `db_date` timestamp NOT NULL, `cgn` varchar(32) DEFAULT NULL, `cpn` varchar(32) DEFAULT NULL, PRIMARY KEY (`calendar_id`), KEY `db_date_idx` (`db_date`) )