HDFS基础知识之数据目录和分布式存储

B站影视 2024-12-10 10:38 3

摘要:重启osd,系统会对osd执行recovery操作,recovery过程中,会断开block request。request将会重新请求mon节点,重新获得新的pg map,得到最新的数据访问位置。

查看hdfs的namenode节点数据目录的方法是:

hdfs getconf -confKey dfs.namenode.aname.dir | awk -F ':' '{print $2}'

~~~~我是华丽的分隔线~~~

ceph出现request are blocked的异常:

查找block的请求,执行:

ceph health detail

查找osd对应的主机:

ceph osd find xxx或者是

ceph osd tree

重启osd:

/etc/init.d/ceph stop osd.X

/etc/init.d/ceph start osd.X

重启osd,系统会对osd执行recovery操作,recovery过程中,会断开block request。request将会重新请求mon节点,重新获得新的pg map,得到最新的数据访问位置。

ceph health detail

watch ceph -s

查看ceph集群状态。

~~~我是华丽的分隔线~~~

elasticsearch的端口:TCP 9200端口

logstash的端口:5044端口

Kibanan的端口:5601端口

kinana.yml里面配置elasticsearch:

elasticsearch.url: "http://x.x.x.x:9200"

Filebeat配置文件filebeat.yml配置elasticsearch:

output.elasticsearch:

hosts: ["x.x.x.x:9200"]

filebeat:数据采集和传输,主要是采集数据。

Logstash: 数据分析和传输,主要是传输数据。

elasticsearch: 数据存储和分析

Kibana:数据可视化和展示

elasticsearch的配置文件elasticsearch.yml中:

node.name配置成各自的IP或者主机名。

filebeat可以输出到logstash:

output.logstash:

hosts: ["x.x.x.x:5044"]

elasticsearch查看索引:

curl -XGET "http://x.x.x.x:9200/_cat/indices?v"

~~~我是华丽的分隔线~~~

[client]:代表客户端默认设置的内容。

[mysql]:代表我们使用mysql命令登录MySQL数据库时的默认设置。

[mysqld]:代表数据库自身的默认配置。

鱼缸

鼓励的话语:成功者不犹豫,犹豫者不成功。

来源:程程科技杂谈

相关推荐