about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 236|回复: 3

[异常错误] 注册免费送体验金平台

[复制链接]

1

主题

0

听众

0

收听

新手上路

Rank: 1

积分
33
发表于 2019-4-11 15:19:15 | 显示全部楼层 |阅读模式
2019-04-11 15:17:07,016 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: BlockSender.sendChunks() exception:
java.io.IOException: 断开的管道
        at sun.nio.ch.FileChannelImpl.transferTo0(Native Method)
        at sun.nio.ch.FileChannelImpl.transferToDirectlyInternal(FileChannelImpl.java:428)
        at sun.nio.ch.FileChannelImpl.transferToDirectly(FileChannelImpl.java:493)
        at sun.nio.ch.FileChannelImpl.transferTo(FileChannelImpl.java:608)
        at org.apache.hadoop.net.SocketOutputStream.transferToFully(SocketOutputStream.java:223)
        at org.apache.hadoop.hdfs.server.datanode.BlockSender.sendPacket(BlockSender.java:635)
        at org.apache.hadoop.hdfs.server.datanode.BlockSender.doSendBlock(BlockSender.java:819)
        at org.apache.hadoop.hdfs.server.datanode.BlockSender.sendBlock(BlockSender.java:766)
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.readBlock(DataXceiver.java:551)
        at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.opReadBlock(Receiver.java:148)
        at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.processOp(Receiver.java:103)
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:246)
        at java.lang.Thread.run(Thread.java:748)
2019-04-11 15:17:07,322 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: BlockSender.sendChunks() exception:
java.io.IOException: 断开的管道
        at sun.nio.ch.FileChannelImpl.transferTo0(Native Method)
        at sun.nio.ch.FileChannelImpl.transferToDirectlyInternal(FileChannelImpl.java:428)
        at sun.nio.ch.FileChannelImpl.transferToDirectly(FileChannelImpl.java:493)
        at sun.nio.ch.FileChannelImpl.transferTo(FileChannelImpl.java:608)
        at org.apache.hadoop.net.SocketOutputStream.transferToFully(SocketOutputStream.java:223)
        at org.apache.hadoop.hdfs.server.datanode.BlockSender.sendPacket(BlockSender.java:635)
        at org.apache.hadoop.hdfs.server.datanode.BlockSender.doSendBlock(BlockSender.java:819)
        at org.apache.hadoop.hdfs.server.datanode.BlockSender.sendBlock(BlockSender.java:766)
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.readBlock(DataXceiver.java:551)
        at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.opReadBlock(Receiver.java:148)
        at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.processOp(Receiver.java:103)
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:246)
        at java.lang.Thread.run(Thread.java:748)
2019-04-11 15:17:08,766 INFO org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetAsyncDiskService: Scheduling blk_1075676861_1937850 file /home/dfs/dn/current/BP-1811233492-192.168.1.11-1539253579675/current/finalized/subdir29/subdir134/blk_1075676861 for deletion



84

主题

30

听众

29

收听

高级会员

Rank: 4

积分
2653

最佳新人活跃会员热心会员

发表于 2019-4-11 18:38:19 | 显示全部楼层
异常信息跟 DN 的一个配置有关系,具体配置项是 DN 可以同时处理的文件上限。对于老版本配置项名称为“dfs.datanode.max.xcievers”,对于新版本配置项名称改为“dfs.datanode.max.transfer.threads”。该参数的默认值为 4096,所以需要修改为 8192。
欢迎加入about云群425860289432264021 ,云计算爱好者群,关注about云腾讯认证空间

1

主题

0

听众

0

收听

新手上路

Rank: 1

积分
33
 楼主| 发表于 2019-4-12 08:20:29 | 显示全部楼层
bioger_hit 发表于 2019-4-11 18:38
异常信息跟 DN 的一个配置有关系,具体配置项是 DN 可以同时处理的文件上限。对于老版本配置项名称为“dfs. ...

2FDA4A01-E476-49c5-9CD8-6C0CC1EC735B.png
非常感谢你的回复,你说的这个配置我已经改过了,报错前的那个black文件,在datanode节点没有找到,有没有可能是文件被误删除了

84

主题

30

听众

29

收听

高级会员

Rank: 4

积分
2653

最佳新人活跃会员热心会员

发表于 2019-4-12 08:28:55 | 显示全部楼层
盤軍發 发表于 2019-4-12 08:20
非常感谢你的回复,你说的这个配置我已经改过了,报错前的那个black文件,在datanode节点没有找到,有 ...

如果只是单个文件,也是有可能的
欢迎加入about云群425860289432264021 ,云计算爱好者群,关注about云腾讯认证空间
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /4 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2019-4-20 14:13 , Processed in 0.400169 second(s), 34 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表