API网关 - KONG

为什么需要API网关  在微服务架构之下,服务被拆的非常零散,降低了耦合度的同时也给服务的统一管理增加了难度。如上图左所示,在旧的服务治理体系之下,鉴权,限流,日志,监控等通用功能需要在每个服务中单独实现,这使得系统维护者没有一个全局的视图来统一管理这些功能。API网关致力于解决的问题便是为微服务纳     阅读全文
AF_'s avatar
AF_ 11月 26,2020

HDFS 合并碎文件

我们都知道,在HDFS中不宜存储大量的小文件。所谓小文件,就是大小远小于dfs.block.size的文件。如果有大量小文件的话,会浪费block,使元数据增加,挤占宝贵的NameNode内存。另外,大文件能够发挥磁盘顺序读写的优势,小文件会产生很多随机读写,性能下降。前几天编写了SparkStre     阅读全文
AF_'s avatar
AF_ 11月 13,2020

Apollo与Nacos配置中心功能的对比

Apollo与Nacos都是当下比较流行且维护活跃的2个配置中心,今天针对Apollo-1.6.1与Nacos-1.2.1(针对配置中心的功能)从几个方面进行一下对比官方文档方面Apollo携程Apollo虽然没有官方网站,但是github上的文档是十分细致、全面的,从整体架构,快速部署,到分布式H     阅读全文
AF_'s avatar
AF_ 07月 15,2020

Hystrix的一些问题~

前段时间项目中加入了Hystrix做了服务接口的降级和熔断,随之引发了一些问题。发现问题  当Hystrix隔离策略为THREAD模式时,是无法获取到ThreadLocal中的值的;  当时我们使用Feign调用接口时RequestInterceptor作为拦截器来实现远程调用间Header信息的传     阅读全文
AF_'s avatar
AF_ 05月 01,2020

使用commons-pool2实现Hdfs连接池

前面写过一篇java上传文件至hdfs的文章,实现方式上每次操作hdfs都会创建一个新的hdfs连接,这种方式极易产生奇奇怪怪的问题(内存泄漏等等),所以简单研究了一下commons-pool2实现了一个Hdfs连接池,记录一下。先上github地址:https://github.com/AF-lm     阅读全文
AF_'s avatar
AF_ 04月 26,2020

Redis 性能问题分析

文章引用自:刘思宁Redis性能问题分析(https://www.jianshu.com/p/67093716547b)侵删..在一些网络服务的系统中,Redis的性能,可能是比MySQL等硬盘数据库的性能更重要的课题。比如微博,把热点微博[1],最新的用户关系[2],都存储在Redis中,大量的查     阅读全文
AF_'s avatar
AF_ 03月 24,2020

Spring Cloud Stream 简介

springcloudstream从小就有一个梦想,统一消息中间件后宫,他身手灵活,有一个非常厉害的爹spring,会使十八般武器(消息订阅模式啦,消费者组,分区等等),先后征服了东宫娘娘kafka和西宫娘娘rabbitMQ以及后续的KafkaStreams、ApacheRocketMQ等嫔妃。Wh     阅读全文
AF_'s avatar
AF_ 03月 14,2020

Java上传文件至HDFS(Kerbers认证)

上传之前,需要本机安装Hadoop并且配置环境变量,可以参考之前的文章MacOS安装Hadoop并配置环境变量,然后修改hosts文件,映射HDFSNameNodeIP-主机名。引入依赖<dependency><groupId>org.apache.hadoop</gr     阅读全文
AF_'s avatar
AF_ 02月 21,2020

MacOS 安装Hadoop并配置环境变量

MAC系统安装Hadoop2.7.31.查看是否安装了Java打开终端,运行java-version命令,可以查看java版本。2.下载hadoop地址http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.6/hadoop-2.7     阅读全文
AF_'s avatar
AF_ 02月 17,2020

SpringBoot整合FastDFS进行文件上传

最近项目有上传/下载文件的需求,决定使用公司现有的fast-dfs做为文件服务器,发现github上有一个900+stars的FastDFS_Client该作者基本重构了原作者的fastDfsJavaapi整合了spring-boot,遂决定使用看看,一切配置ok,上传成功之后~发现了一个致命问题:     阅读全文
AF_'s avatar
AF_ 01月 07,2020