Wie kann ich Zugang zu hadoop über die hdfs-Protokoll von java?

Fand ich einen Weg, um eine Verbindung zu hadoop über hftp, und es funktioniert einwandfrei (nur Lesen) :

uri = "hftp://172.16.xxx.xxx:50070/";

System.out.println( "uri: " + uri );           
Configuration conf = new Configuration();

FileSystem fs = FileSystem.get( URI.create( uri ), conf );
fs.printStatistics();

Allerdings möchte ich Lesen/schreiben sowie kopieren von Dateien, das heißt, ich möchte eine Verbindung über hdfs . Wie kann ich die hdfs-verbindungen, so dass ich Bearbeiten können , die tatsächliche, remote-filesystem ?

Habe ich versucht zu ändern, das Protokoll über die von hftp -> hdfs, aber ich bekam die folgende Ausnahme ...

(verzeihen Sie meine mangelnde Kenntnis der url-Protokolle und hadoop , ich nehme an, dies ist eine etwas komische Frage, im Fragen, aber jede Hilfe wäre wirklich dankbar !)

Exception in thread "main" java.io.IOException: Aufruf /172.16.112.131:50070 nicht auf lokale exception: java.io.EOFException bei org.apache.hadoop.ipc.Client.wrapException(Client.java:1139) an der org.apache.hadoop.ipc.Client.Aufruf(Client.java:1107) bei org.apache.hadoop.ipc.RPC$Invoker.aufrufen(RPC.java:226) at $Proxy0.getProtocolVersion(Unknown Source) at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:398) at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:384) auf org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:111) at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:213) auf org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:180) at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:89) at org.apache.hadoop.fs.Dateisystem.createFileSystem(FileSystem.java:1514) auf org.apache.hadoop.fs.Dateisystem.access$200(FileSystem.java:67) at org.apache.hadoop.fs.Dateisystem$Cache.getInternal(FileSystem.java:1548) in org.apache.hadoop.fs.Dateisystem$Cache.bekommen(das Dateisystem.java:1530) auf org.apache.hadoop.fs.Dateisystem.bekommen(das Dateisystem.java:228) at sb.HadoopRemote.main(HadoopRemote.java:24)

InformationsquelleAutor jayunit100 | 2011-10-21

  1. 1

    Fügen Sie einfach die core-site.xml und die hdfs-site.xml des hadoop-Sie wollen zu treffen, um conf so etwas wie dieses: 

    import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.testng.annotations.Test;

/**
 * @author karan
 *
 */
public class HadoopPushTester {

    @Test
    public void run() throws Exception {

        Configuration conf = new Configuration();

        conf.addResource(new Path("src/test/resources/HadoopConfs/core-site.xml"));
        conf.addResource(new Path("src/test/resources/HadoopConfs/hdfs-site.xml"));

        String dirName = "hdfs://hosthdfs:port/user/testJava";

        //Values of hosthdfs:port can be found in the core-site.xml  in the fs.default.name
        FileSystem fileSystem = FileSystem.get(conf);


        Path path = new Path(dirName);
        if (fileSystem.exists(path)) {
            System.out.println("Dir " + dirName + " already exists");
            return;
        }

        //Create directories
        fileSystem.mkdirs(path);

        fileSystem.close();
    }
}

    InformationsquelleAutor karan

  2. 1

    Bezug auf hadoop : Sie müssen sicherstellen, dass die core-site.xml namenode-Eintrag wird dazu dienen, zu 0.0.0.0 statt 127.0.0.1 (localhost) in Ihrem hadoop-Konfiguration. Wichtig ist, clouderas vm distro standardmäßig localhost aus irgendeinem Grund.

    InformationsquelleAutor jayunit100

Schreibe einen Kommentar