Scenario

Service

clinet + Server
多台机器怎么沟通?



Storage

保存一个文件


MetaData 的访问更多,A, B 两种存储结构
机械硬盘,磁头调需要时间,所以选择A
文件内容分段储存还是连续存储,B 适合修改或追加内容


100T,block 太多,增加 block 大小, 4k -> 64M, 劣势浪费了小空间, 4m 占用了64m空间

10P,一台电脑 0.1P
offset 可以只存在 Chunk server 上

换格子不用通知 Master

Read & Write

写入

一次写入还是多次写入,传输单位是Chunk



和Master 沟通,直接给chunk server 写

读入


并行从不同 Chunk server 读入

Scale

单 Master


检查损坏
CheckSum, XOR(exclusive OR) 相同为0, 不同为1,有误检情况,极低

1 个 cheksum 4bytes, 1 个 chunk 1个 chunksum

Replica 备份






B. 单次通讯




实战




QPS



I am a real pikachu!