LeaseExpiredException in Hive

alle. Ich führen Sie einen hive-Abfrage ausgeführt, die zu 97% und der Ausnahme zeigt, dass die org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: Keine lease sth.

Kann mir jemand freundlicherweise erklären, der Grund, warum dieser Fehler aufgetreten ist?
Und dies ist ein single-user-Hive-cluster-Umgebung.

Vielen Dank im Voraus.

2013-01-02 22:16:17,833 ERROR org.apache.hadoop.hdfs.DFSClient: Exception closing file /tmp/hive-hadoop/hive_2013-01-01_21-21-32_067_6367259756570557828/_task_tmp.-ext-10002/_tmp.000004_1 : org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No lease on /tmp/hive-hadoop/hive_2013-01-01_21-21-32_067_6367259756570557828/_task_tmp.-ext-10002/_tmp.000004_1 File does not exist. Holder DFSClient_attempt_201301012114_0002_m_000004_1 does not have any open files.
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkLease(FSNamesystem.java:1631)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkLease(FSNamesystem.java:1622)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.completeFileInternal(FSNamesystem.java:1677)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.completeFile(FSNamesystem.java:1665)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.complete(NameNode.java:718)
        at sun.reflect.GeneratedMethodAccessor13.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:601)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382)

org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No lease on /tmp/hive-hadoop/hive_2013-01-01_21-21-32_067_6367259756570557828/_task_tmp.-ext-10002/_tmp.000004_1 File does not exist. Holder DFSClient_attempt_201301012114_0002_m_000004_1 does not have any open files.
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkLease(FSNamesystem.java:1631)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkLease(FSNamesystem.java:1622)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.completeFileInternal(FSNamesystem.java:1677)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.completeFile(FSNamesystem.java:1665)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.complete(NameNode.java:718)
        at sun.reflect.GeneratedMethodAccessor13.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:601)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382)

        at org.apache.hadoop.ipc.Client.call(Client.java:1070)
        at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
        at $Proxy2.complete(Unknown Source)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:601)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
        at $Proxy2.complete(Unknown Source)
        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.closeInternal(DFSClient.java:3897)
        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.close(DFSClient.java:3812)
        at org.apache.hadoop.hdfs.DFSClient$LeaseChecker.close(DFSClient.java:1345)
        at org.apache.hadoop.hdfs.DFSClient.close(DFSClient.java:275)
        at org.apache.hadoop.hdfs.DistributedFileSystem.close(DistributedFileSystem.java:328)
        at org.apache.hadoop.fs.FileSystem$Cache.closeAll(FileSystem.java:1446)
        at org.apache.hadoop.fs.FileSystem.closeAll(FileSystem.java:277)
        at org.apache.hadoop.fs.FileSystem$ClientFinalizer.run(FileSystem.java:260)

InformationsquelleAutor KaiZhao | 2013-01-05

hadoop hive

2

Macht Ihr hive-Abfrage erstellen, die parallele MR-jobs ?
Ich hatte das gleiche problem, und festgestellt, dass: LeaseExpiredException: Keine Leasing-Fehler, die auf HDFS :

Wenn der Auftrag endet, er löscht /data/work/Ordner. Wenn nur wenige Aufträge ausgeführt werden, parallel das löschen wird auch löschen Sie die Dateien von dem anderen job. eigentlich brauche ich zum löschen /Daten/work/.

In anderen Worten: diese Ausnahme wird ausgelöst, wenn der job versuchen, Zugriff auf die Dateien, die nicht mehr existierte
- Ich danke Ihnen sehr. Und dein Vorschlag ist richtig. Ich fand den Grund, dass mein cluster ist bereitgestellt in der cloud mit virtuellen Maschinen und eine VM platziert wird zusammen mit mir. Und seine VM besetzten fast alle Speicher und Netzwerk. So, meine Daten von Knoten, die selbst keine Wahl haben, um ping-pong mit dem Kunden. Ich meine migriert Daten von Knoten zu anderen freien Maschinen und es funktioniert.
- das ist sehr spät aber trotzdem finde ich, dass seit dieser Antwort hat Ihnen geholfen, sollten Sie es akzeptieren.
InformationsquelleAutor Alex F
2

SET-Struktur.exec.max.dynamisch ist.Partitionen=100000;
SET hive.exec.max.dynamisch ist.Partitionen.pernode=100000;

InformationsquelleAutor Andrew Trask

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.