当前位置: 首页 > 建站教程

java如何将hdfs文件下载到本地

时间:2026-01-30 12:02:18

可以使用FileSystem类和FSDataInputStream类来实现将HDFS文件下载到本地。

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;public class DownloadHDFSFile {public static void main(String[] args) {try {Configuration conf = new Configuration();conf.set("fs.defaultFS", "hdfs://localhost:8020");FileSystem fs = FileSystem.get(conf);Path hdfsFilePath = new Path("/path/to/hdfs/file");Path localFilePath = new Path("/path/to/local/file");FSDataInputStream in = fs.open(hdfsFilePath);FSDataOutputStream out = new FSDataOutputStream(new FileOutputStream(localFilePath), null);byte[] buffer = new byte[1024];int bytesRead;while ((bytesRead = in.read(buffer)) > 0) {out.write(buffer, 0, bytesRead);}in.close();out.close();fs.close();System.out.println("HDFS file downloaded successfully.");} catch (Exception e) {e.printStackTrace();}}}

在上面的代码中,首先创建了一个Configuration对象,设置了HDFS的配置信息。然后通过FileSystem.get(conf)方法获取一个FileSystem对象,用来操作HDFS文件系统。

接着指定需要下载的HDFS文件的路径hdfsFilePath和本地文件的路径localFilePath。使用fs.open(hdfsFilePath)方法打开HDFS文件,并创建一个FSDataOutputStream对象来写入本地文件。

然后使用一个循环读取HDFS文件的内容,并写入本地文件,直到文件读取完毕。最后关闭输入流、输出流和文件系统对象,完成文件下载操作。

请注意,需要在项目中引入Hadoop的相关依赖包,以便能够正常编译和运行上面的代码。


上一篇:jvm怎么查看某个java进程的情况
下一篇:jvm怎么查看方法中list内存大小
java
  • 英特尔与 Vertiv 合作开发液冷 AI 处理器
  • 英特尔第五代 Xeon CPU 来了:详细信息和行业反应
  • 由于云计算放缓引发扩张担忧,甲骨文股价暴跌
  • Web开发状况报告详细介绍可组合架构的优点
  • 如何使用 PowerShell 的 Get-Date Cmdlet 创建时间戳
  • 美光在数据中心需求增长后给出了强有力的预测
  • 2027服务器市场价值将接近1960亿美元
  • 生成式人工智能的下一步是什么?
  • 分享在外部存储上安装Ubuntu的5种方法技巧
  • 全球数据中心发展的关键考虑因素
  • 英特尔与 Vertiv 合作开发液冷 AI 处理器

    英特尔第五代 Xeon CPU 来了:详细信息和行业反应

    由于云计算放缓引发扩张担忧,甲骨文股价暴跌

    Web开发状况报告详细介绍可组合架构的优点

    如何使用 PowerShell 的 Get-Date Cmdlet 创建时间戳

    美光在数据中心需求增长后给出了强有力的预测

    2027服务器市场价值将接近1960亿美元

    生成式人工智能的下一步是什么?

    分享在外部存储上安装Ubuntu的5种方法技巧

    全球数据中心发展的关键考虑因素