Oracle-update-Anweisungen in einem batch-Modus

Muss ich laufen, ein paar relativ einfache SQL-update-Anweisungen zum aktualisieren einer einzelnen Spalte in einer Oracle-Tabelle mit 14,4 Millionen Zeilen. Eine Anweisung führt eine Funktion geschrieben in Java und der JVM läuft out of memory wie mache ich das update auf alle 14,4 Millionen Zeilen.

Haben Sie geschrieben, eine Art batch-PL/SQL-routine, die brechen können diese einfach aktualisieren, in Mengen von, sagen wir, 10K Datensätze pro batch? Ich weiß, dass wenn ich richte meine updates nach einer Reihe von Aufzeichnungen, es wird viel schneller gehen, und ich nicht genügend Arbeitsspeicher zur Verfügung. Ich bin sicher, es gibt eine einfache Möglichkeit, dies zu tun mit einem FOR loop und row_num aber ich bin nicht so viel Fortschritt.

Sind hier die beiden Aussagen, die ich ausführen müssen, die für jede charge von n Datensätze:

erste:

 update vr_location l set l.usps_address=(
   select mylib.string_utils.remove_duplicate_whitespace(
   house_number || ' ' || pre_street_direction || ' ' || street_name || ' ' || 
   street_description || ' ' || post_street_direction)
 from vr_address a where a.address_pk=l.address_pk);

zweite:

update vr_location set usps_address = mylib.usaddress_utils.parse_address(usps_address);
InformationsquelleAutor Dylan | 2009-05-13
  1. 1

    Tun, eine anfängliche wählen Sie zum abrufen einer Art von Gruppierung-Attribut, so dass Sie am Ende mit Gruppen, die die gewünschte Anzahl von Zeilen. Experimentieren Sie mit den grouping Klausel, zum Beispiel die letzten drei Ziffern der zip-code oder etwas, das halb zufällig.

    Schleife über die Gruppierung-Klausel unter Verwendung der Klausel als parameter zur Begrenzung der Zeilen gezielt nach jeder update-Anweisung. commit am Ende jeder iteration.

    • Wenn wir sehen könnten, die Spalten in vr_location, wir können in der Lage sein, etwas zu deuten.
    • Die Spalten in VR_LOCATION beinhalten ein zip_co Spalte, die eine FK-zurück zu einem zip_code Tabelle. Ich werde stili Beratung und verwenden Sie diese Option, um Teilmengen von Daten. Es geht weniger darum, zu versuchen, alles zu erhalten getan in einem Satz-Basis-Anweisung, und mehr über mein JVM mit 20-30K Zeilen zu einer Zeit, ohne abzustürzen.
    InformationsquelleAutor stili
  2. 1

    Können Sie (oder Ihr DBA) sollte die Größe der RÜCKGÄNGIG machen und tun dies als eine einzige SQL-Transaktion

    Die Vorteile sind:

    • Lesen Sie die Konsistenz auf den Tisch, während dies geschieht
    • Sie weiterhin die Möglichkeit, rollback für die Transaktion in dem Fall, dass etwas ausfällt

    Wenn Sie in irgendeiner Art der Belastung Umgebung, wo Sie nicht kümmern, entweder von diesen, dann nutzen CTAS ("create table as select), um eine neue Tabelle mit dem geänderten Wert, erstellen Sie die Indizes, constraints, etc. und tauschen Sie die Tabelle Namen. 14 Millionen Zeilen, ist nicht groß in diesen Tagen.

    • Klingt nicht RÜCKGÄNGIG problem, aber mit der java-stored procedure keinen Arbeitsspeicher freigibt.
    • Ja, es ist, dass die JVM tötet mein Gedächtnis. Arbeiten auf einem laptop mit 4GB RAM, die Hälfte davon wird genutzt von oracle, und der Rest ist aufgeteilt zwischen OS, Java, etc. Aber ich habe erwähnt, dass dieses zu meinem DBA. Auch dies ist nicht für die Produktion: ich habe munge einige Daten für exp/imp auf einer Produktions-Tabelle.
    InformationsquelleAutor dpbradley
  3. 0

    Gut, ich musste Sachen erledigen und so nahm ich Ihren Empfehlungen habe dann ein wenig Python zu tun. Ich landete mit cx_Oracle zu geben mir eine gute Kontrolle über die Transaktionen. Offensichtlich PL/SQL wäre besser gewesen, aber ich weiß es nicht. Python ist meine neue hammer, und alles ist ein Nagel!

    #!/usr/bin/env python
import csv
import time
import cx_Oracle

# Parses USPS addresses from voter addresses
# and inserts them into VR_LOCATION table ready
# for geocoding. Does batches by zipcode
def LoadZips():
    zipcodes = []
    zips = open('OH_ZIP_CODES.txt','r')
    for line in zips:
        zip = line[0:5]
        if zip not in zipcodes:
            zipcodes.append(zip)
    zips.close()
    return zipcodes

def UpdateAddresses(ziplist):
    counter = 1
    total = len(ziplist)

    for zipcode in ziplist:
        orcl = cx_Oracle.connect('voter/voter@oracle')
        curs = orcl.cursor()
        countsql = "select count(*) from vr_location where zip_co = '%s'" % zipcode
        concatsql = """update vr_location l set l.usps_address=(
                    select mizar.string_utils.remove_duplicate_whitespace(
                        house_number
                        ||' '||pre_street_direction
                        ||' '||street_name
                        ||' '||street_description
                        ||' '||post_street_direction)
                    from vr_address a where a.address_pk = l.address_pk)
                where zip_co = '%s'""" % zipcode
        parsesql = """update vr_location set usps_address =  mizar.usaddress_utils.parse_address(usps_address)
                where zip_co = '%s'""" % zipcode
        curs.execute(countsql)

        records_affected = curs.fetchone()[0]
    if records_affected == 0:
        print "No records for zipcode %s" % zipcode
        counter += 1 
        continue

    print "[%s] %s of %s: %s addresses" % (zipcode, counter, total, records_affected)
    curs.execute(concatsql)
    orcl.commit()
    curs.execute(parsesql)
    orcl.commit()
    curs.close()
    counter += 1 

    # Uncomment this to debug - just steps through X zipcodes      
    #if counter == 3:
    #    print "Cleaning up..."
    #    break


if __name__ == "__main__":
    start = time.clock()
    zipcodes = LoadZips()
    print "Processing addresses in %s zip codes" % len(zipcodes)
    UpdateAddresses(zipcodes)

    Blog-post zum Thema

    InformationsquelleAutor Dylan
Schreibe einen Kommentar