序:最近对storm平台系统进行性能检测发现偶尔会出现oncebolt向另一个twobolt发送数据后，twobolt要500毫秒后才接收到进行处理。这里简单说增大twobolt的并行度即可解决，但是究其内部原因是因为storm的通信机制所导致的问题。
先介绍背景:一个拓扑的结构，spout(并行度:1)[处理性能:capacity 0.04],oncebolt(并行度:20)[处理性能:capacity 0.2],twobolt(并行度:100)[处理性能:capacity 0.6];整个拓扑就我预估最大的处理量就是一秒一千条。
原文和作者一起讨论:http://www.cnblogs.com/intsmaze/p/6544017.htmll
微信：intsmaze
最近对系统进行性能检测，统计整个storm系统中一条消息处理中各个IO耗时的时间，找出性能瓶颈。发现除了活动匹配中会有分布式锁以及大量的redis的IO操作，导致最多会耗时30ms,以及从Hbase中查询数据时由于hbase集群当时正在跑任务导致耗时1~2s。唯一出现的问题就是onebolt向twobolt发送数据后，某些数据耗时几百毫秒才会被twobolt接收到。这就引起了我的注意。
先上一下伪代码：
public class OnceBolt extends BaseRichBolt{ private static final long serialVersionUID = -5283595260540124273L;
延伸阅读
- ssh框架
2016-09-30
- 阿里移动安全 [无线安全]玩转无线电——不安全的蓝牙锁
2017-07-26
- 消息队列NetMQ 原理分析4-Socket、Session、Option和Pipe
2024-03-26
- Selective Search for Object Recognition 论文笔记【图片目标分割】
2017-07-26
- 词向量-LRWE模型-更好地识别反义词同义词
2017-07-26
- 从栈不平衡问题 理解 calling convention
2017-07-26
- php imagemagick 处理 图片剪切、压缩、合并、插入文本、背景色透明
2017-07-26
- Swift实现JSON转Model - HandyJSON使用讲解
2017-07-26
- 阿里移动安全 Android端恶意锁屏勒索应用分析
2017-07-26
- 集合结合数据结构来看看(二)
2017-07-26
学习是年轻人改变自己的最好方式