为什么需要API网关 在微服务架构之下，服务被拆的非常零散，降低了耦合度的同时也给服务的统一管理增加了难度。如上图左所示，在旧的服务治理体系之下，鉴权，限流，日志，监控等通用功能需要在每个服务中单独实现，这使得系统维护者没有一个全局的视图来统一管理这些功能。API网关致力于解决的问题便是为微服务纳
阅读全文
AF_
11月 26,2020
我们都知道，在HDFS中不宜存储大量的小文件。所谓小文件，就是大小远小于dfs.block.size的文件。如果有大量小文件的话，会浪费block，使元数据增加，挤占宝贵的NameNode内存。另外，大文件能够发挥磁盘顺序读写的优势，小文件会产生很多随机读写，性能下降。前几天编写了SparkStre
阅读全文
AF_
11月 13,2020
Apollo与Nacos都是当下比较流行且维护活跃的2个配置中心，今天针对Apollo-1.6.1与Nacos-1.2.1（针对配置中心的功能）从几个方面进行一下对比官方文档方面Apollo携程Apollo虽然没有官方网站，但是github上的文档是十分细致、全面的，从整体架构，快速部署，到分布式H
阅读全文
AF_
07月 15,2020
前段时间项目中加入了Hystrix做了服务接口的降级和熔断，随之引发了一些问题。发现问题 当Hystrix隔离策略为THREAD模式时，是无法获取到ThreadLocal中的值的； 当时我们使用Feign调用接口时RequestInterceptor作为拦截器来实现远程调用间Header信息的传
阅读全文
前面写过一篇java上传文件至hdfs的文章，实现方式上每次操作hdfs都会创建一个新的hdfs连接，这种方式极易产生奇奇怪怪的问题（内存泄漏等等），所以简单研究了一下commons-pool2实现了一个Hdfs连接池，记录一下。先上github地址：https://github.com/AF-lm
阅读全文
文章引用自：刘思宁Redis性能问题分析(https://www.jianshu.com/p/67093716547b)侵删..在一些网络服务的系统中，Redis的性能，可能是比MySQL等硬盘数据库的性能更重要的课题。比如微博，把热点微博[1]，最新的用户关系[2]，都存储在Redis中，大量的查
阅读全文
AF_
03月 24,2020
springcloudstream从小就有一个梦想，统一消息中间件后宫，他身手灵活，有一个非常厉害的爹spring，会使十八般武器（消息订阅模式啦，消费者组，分区等等），先后征服了东宫娘娘kafka和西宫娘娘rabbitMQ以及后续的KafkaStreams、ApacheRocketMQ等嫔妃。Wh
阅读全文
上传之前，需要本机安装Hadoop并且配置环境变量，可以参考之前的文章MacOS安装Hadoop并配置环境变量，然后修改hosts文件，映射HDFSNameNodeIP-主机名。引入依赖<dependency><groupId>org.apache.hadoop</gr
阅读全文
MAC系统安装Hadoop2.7.31.查看是否安装了Java打开终端，运行java-version命令，可以查看java版本。2.下载hadoop地址http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.6/hadoop-2.7
阅读全文
AF_
02月 17,2020
最近项目有上传/下载文件的需求，决定使用公司现有的fast-dfs做为文件服务器，发现github上有一个900+stars的FastDFS_Client该作者基本重构了原作者的fastDfsJavaapi整合了spring-boot，遂决定使用看看，一切配置ok，上传成功之后~发现了一个致命问题：
阅读全文