Cloudflare、DNS cacheのdata layout刷新でmemoryを約100TB削減
これは何?Big PineappleはCloudflareの1.1.1.1、Gateway DNS、DNS Firewallなどを支え、二千五百億件超のDNS応答を保持するRust製cache platformです。
Cloudflareは、固定後もcapacityを持つVecをBoxへ替え、三つのrecord listを一つへ統合し、重複owner名を省き、record dataだけをDNS wire形式の連続bufferへ格納しました。近似trafficのbenchmarkで一entryのnet footprintは953 byteから420 byteへ56%減り、insert throughputは43%上昇、lookup latencyは19%低下しました。productionの常駐memoryもfleet全体で約100 TB減ったと報告しています。
超大規模なin-memory serviceでは、汎用containerの数十byteとallocatorの丸めがfleet costへ直結します。平均的なobject sizeだけでなく、allocation数、cache locality、production RSSまで同じrolloutで測る手順が再利用できます。
- 読むべき人
- distributed systems、Rust、DNS、performance・cost optimization担当者
- HN
- 361 points / 104 comments