使用commons-pool2实现Hdfs连接池

前面写过一篇java上传文件至hdfs的文章,实现方式上每次操作hdfs都会创建一个新的hdfs连接,这种方式极易产生奇奇怪怪的问题(内存泄漏等等),所以简单研究了一下commons-pool2实现了一个Hdfs连接池,记录一下。先上github地址:https://github.com/AF-lm     阅读全文
AF_'s avatar
AF_ 04月 26,2020

Java上传文件至HDFS(Kerbers认证)

上传之前,需要本机安装Hadoop并且配置环境变量,可以参考之前的文章MacOS安装Hadoop并配置环境变量,然后修改hosts文件,映射HDFSNameNodeIP-主机名。引入依赖<dependency><groupId>org.apache.hadoop</gr     阅读全文
AF_'s avatar
AF_ 02月 21,2020

MacOS 安装Hadoop并配置环境变量

MAC系统安装Hadoop2.7.31.查看是否安装了Java打开终端,运行java-version命令,可以查看java版本。2.下载hadoop地址http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.6/hadoop-2.7     阅读全文
AF_'s avatar
AF_ 02月 17,2020