OpenAI Habitat、70M req/sを支えるstorage serviceへ進化
これは何?HabitatはChatGPTやCodexが会話・設定などのonline dataを読み書きするための共通storage platformです。
Python client libraryから中央serviceへ移し、deployment・routing・access controlを一元化しました。asyncioのscheduling delay、同期した設定解析、LIFO connection再利用による負荷集中を計測して直し、現在はRust版がtrafficの95%を処理してPython版比でCPU 6倍、memory 15倍の効率だと報告しています。
早い全面rewriteではなく、APIと運用知識をPython版で固めてから移植しています。event loop delayやconnection poolのfeedback loopを直接観測した手順は、高throughput serviceのtail latency対策に再利用できます。
- 読むべき人
- platform engineer、SRE、distributed system developer、Python/Rust team