Scenario
Service
clinet + Server
多台机器怎么沟通?
Storage
保存一个文件
MetaData 的访问更多,A, B 两种存储结构
机械硬盘,磁头调需要时间,所以选择A
文件内容分段储存还是连续存储,B 适合修改或追加内容
100T,block 太多,增加 block 大小, 4k -> 64M, 劣势浪费了小空间, 4m 占用了64m空间
10P,一台电脑 0.1P
offset 可以只存在 Chunk server 上
换格子不用通知 Master
Read & Write
写入
一次写入还是多次写入,传输单位是Chunk
和Master 沟通,直接给chunk server 写
读入
并行从不同 Chunk server 读入
Scale
单 Master
检查损坏
CheckSum, XOR(exclusive OR) 相同为0, 不同为1,有误检情况,极低
1 个 cheksum 4bytes, 1 个 chunk 1个 chunksum
Replica 备份
B. 单次通讯
实战
QPS