Hadoop集群内存过高，HDFS存储慢

2014-08-12

HDFS存储过慢，内存过高而且不释放

网络方面：

使用 netstat-n |awk'/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 查看网络情况：

情况如下：

CLOSE_WAIT 102
FIN_WAIT2 2
ESTABLISHED 53

各个状态的发生原因可以从下图得到：（TCP的关闭过程中各个状态说明了上面的指标）

上面的状态是DataNode的状态，说明DataNode 在等待Client发起关闭。

如果TIME_WAIT过高，说明在等待关闭确认。

1、去除TIME_WAIT的方法如下：#vi /etc/sysctl.conf


net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1

#sysctl -p

2、去除CLOSE_WAIT

优质内容筛选与推荐>>
1、sp_executesql介绍和使用(转)
2、作品展总结二
3、作品展总结一
4、Azure Queue 和 Service Bus Queue的比较
5、[C++基础]043_看图识C++内存布局