为什么需要API网关 在微服务架构之下,服务被拆的非常零散,降低了耦合度的同时也给服务的统一管理增加了难度。如上图左所示,在旧的服务治理体系之下,鉴权,限流,日志,监控等通用功能需要在每个服务中单独实现,这使得系统维护者没有一个全局的视图来统一管理这些功能。API网关致力于解决的问题便是为微服务纳
阅读全文
我们都知道,在HDFS中不宜存储大量的小文件。所谓小文件,就是大小远小于dfs.block.size的文件。如果有大量小文件的话,会浪费block,使元数据增加,挤占宝贵的NameNode内存。另外,大文件能够发挥磁盘顺序读写的优势,小文件会产生很多随机读写,性能下降。前几天编写了SparkStre
阅读全文
Apollo与Nacos都是当下比较流行且维护活跃的2个配置中心,今天针对Apollo-1.6.1与Nacos-1.2.1(针对配置中心的功能)从几个方面进行一下对比官方文档方面Apollo携程Apollo虽然没有官方网站,但是github上的文档是十分细致、全面的,从整体架构,快速部署,到分布式H
阅读全文
前段时间项目中加入了Hystrix做了服务接口的降级和熔断,随之引发了一些问题。发现问题 当Hystrix隔离策略为THREAD模式时,是无法获取到ThreadLocal中的值的; 当时我们使用Feign调用接口时RequestInterceptor作为拦截器来实现远程调用间Header信息的传
阅读全文
前面写过一篇java上传文件至hdfs的文章,实现方式上每次操作hdfs都会创建一个新的hdfs连接,这种方式极易产生奇奇怪怪的问题(内存泄漏等等),所以简单研究了一下commons-pool2实现了一个Hdfs连接池,记录一下。先上github地址:https://github.com/AF-lm
阅读全文
文章引用自:刘思宁Redis性能问题分析(https://www.jianshu.com/p/67093716547b)侵删..在一些网络服务的系统中,Redis的性能,可能是比MySQL等硬盘数据库的性能更重要的课题。比如微博,把热点微博[1],最新的用户关系[2],都存储在Redis中,大量的查
阅读全文
springcloudstream从小就有一个梦想,统一消息中间件后宫,他身手灵活,有一个非常厉害的爹spring,会使十八般武器(消息订阅模式啦,消费者组,分区等等),先后征服了东宫娘娘kafka和西宫娘娘rabbitMQ以及后续的KafkaStreams、ApacheRocketMQ等嫔妃。Wh
阅读全文
上传之前,需要本机安装Hadoop并且配置环境变量,可以参考之前的文章MacOS安装Hadoop并配置环境变量,然后修改hosts文件,映射HDFSNameNodeIP-主机名。引入依赖<dependency><groupId>org.apache.hadoop</gr
阅读全文
MAC系统安装Hadoop2.7.31.查看是否安装了Java打开终端,运行java-version命令,可以查看java版本。2.下载hadoop地址http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.6/hadoop-2.7
阅读全文
最近项目有上传/下载文件的需求,决定使用公司现有的fast-dfs做为文件服务器,发现github上有一个900+stars的FastDFS_Client该作者基本重构了原作者的fastDfsJavaapi整合了spring-boot,遂决定使用看看,一切配置ok,上传成功之后~发现了一个致命问题:
阅读全文