TECHNOLOGY / EXPLAINED

GLM-5.3 Workers AI मॉडल में क्रॉस-रिक्वेस्ट KV कैश एक्सपोजर और SGLang रिमेडिएशन

2026-10-27 · GlobalTech Daily Editorial Desk · Source: blog.cloudflare.com

मुख्य बातें अवलोकन और मुख्य बातें 8 सितंबर 2026 को, Knostic के सुरक्षा शोधकर्ता गादी एव्रोन ने क्लाउडफ्लाईर को GLM-5.3 Workers AI मॉडल (@cf/zai-org/glm-5.3) को प्रभावित करने वाले एक टेनेंट आइसोलेशन मुद्दे के बारे में सचेत किया, जो 27 अगस्त 2026 से शुरू हुआ था। क्लाउडफ्लाईर ने इस

अवलोकन और मुख्य बातें

8 सितंबर 2026 को, Knostic के सुरक्षा शोधकर्ता गादी एव्रोन ने क्लाउडफ्लाईर को GLM-5.3 Workers AI मॉडल (@cf/zai-org/glm-5.3) को प्रभावित करने वाले एक टेनेंट आइसोलेशन मुद्दे के बारे में सचेत किया, जो 27 अगस्त 2026 से शुरू हुआ था। क्लाउडफ्लाईर ने इस समस्या का समाधान किया और 9 सितंबर को मॉडल को बहाल किया, यह पुष्टि करते हुए कि Workers AI पर होस्ट किया गया कोई अन्य मॉडल प्रभावित नहीं हुआ था। 27 अगस्त से 9 सितंबर के बीच, 155 प्रतिक्रियाएं प्रभावित हुईं, जिनमें सभी 681,280 टोकन से अधिक लंबे संकेत (प्रॉम्प्ट) शामिल थे। क्लाउडफ्लाईर और SGLang मेंटेनर्स ने बग, प्रतिक्रिया समयरेखा और उत्पादन सख्त करने का विवरण देते हुए समन्वित खुलासे प्रकाशित किए।

घटना का विवरण और मूल कारण

यह एक्सपोजर दो ओवरलैपिंग मुद्दों के परिणामस्वरूप हुआ: एक कॉन्फ़िगरेशन बेमेल और SGLang में एक इन्फेरेंस इंजन बग। क्लाउडफ्लाईर ने 1,048,576-टोकन संदर्भ विंडो के साथ GLM 5.3 तैनात किया, लेकिन प्रीफिल GPU KV कैश पूल में केवल 681,280 टोकन के लिए जगह थी। जब कोई प्रॉम्प्ट इस आकार से अधिक हो गया, तो SGLang के शेड्यूलर ने आंतरिक रूप से इसे अस्वीकार कर दिया और क्लाइंट त्रुटि लौटने के बजाय इसे एक-टोकन प्लेसहोल्डर से बदल दिया। डिस्एग्रीगेटेड प्रीफिल/डिकोड मोड में, डिकोड नोड को प्लेसहोल्डर के लिए ट्रांसफर पूर्ण सिग्नल मिला लेकिन पिछले अनुरोधों के KV estado को बरकरार रखा, जिससे डिकोड ने अन्य उपयोगकर्ताओं के डेटा वाले पुराने कैश पेजों का उपयोग करके प्रतिक्रियाएं उत्पन्न कीं।

तत्काल सुधार कार्रवाई

25 मिनट के भीतर HackerOne रिपोर्ट के माध्यम से समस्या को पुनरुत्पादित करने पर, क्लाउडफ्लाईर ने GLM 5.3 मॉडल को निजी पर सेट किया और इसे ऑफ़लाइन कर दिया। कॉन्फ़िगरेशन को ठीक करने के लिए, क्लाउडफ्लाईर ने GLM 5.2 से मेल खाने के लिए GLM 5.3 सेटअप को समायोजित किया, प्रीफिल KV पूल का विस्तार करके लगभग 2.04 मिलियन टोकन रखे - संदर्भ लंबाई से दोगुना - यह सुनिश्चित करते हुए कि वैध प्रॉम्प्ट हमेशा पूल में फिट बैठते हैं। इंजन सुधार के लिए, क्लाउडफ्लाईर ने SGLang को पैच किया ताकि किसी भी आवंटन या KV ट्रांसफर से पहले अस्वीकृति वाले अनुरोधों को डिस्एडमिशन कूप पर सेवानिवृत्त किया जा सके।

अपस्ट्रीम समन्वय और SGLang अपडेट

क्लाउडफ्लाईर ने 10 सितंबर 2026 को RadixArk में SGLang मेंटेनर्स से मुलाकात की, अपस्ट्रीम सुधारों और अखंडता-जांच रणनीतियों पर सहमति व्यक्त की। SGLang ने v0.5.21 में प्रॉम्प्ट-हैंडलिंग बग को संबोधित किया, जिसमें v0.5.22 तक और पैच जारी किए गए। अपस्ट्रीम परिवर्तनों में गर्भपातित प्रीफिल अनुरोधों को सेवानिवृत्त करना, प्रारंभिक प्रवेश अस्वीकृति (#38935), sgl-router रद्दीकरण अपडेट, डिफ़ॉल्ट रूप से विलंबित KV रिलीज़, और अप्रतिबंधित इन-फ्लाइट राइट्स को रोकने के लिए बाउंडेड मूनकेक ट्रांसफर बैच शामिल हैं।

उत्पादन सख्त करना और सत्यापन

क्लाउडफ्लाईर ने सभी विफलता प्रकारों में प्रीफिल स्रोत पृष्ठों को कवर करने के लिए विलंबित रिलीज़ का विस्तार किया, लोड बैलेंसर को अपडेट किया ताकि क्लाइंट डिस्कनेक्ट बीच में ट्रांसफर को निरस्त न करें, और संदर्भ लंबाई के मुकाबले KV पूल आकार को मापने के लिए कड़े प्री-डिप्लॉयमेंट चेक जोड़े। सभी परिवर्तन उत्पादन डिस्एग्रीगेटेड SGLang परिनियोजन में तैनात किए गए हैं, और डिस्एग्रीगेटेड SGLang चलाने वाले ऑपरेटरों को v0.5.22 या बाद के संस्करण में अपडेट करने की सलाह दी जाती है।

मूल स्रोत पढ़ें: Cross-request KV cache exposure in the GLM-5.3 Workers AI model, and our remediation with SGLang

AI की सहायता से तैयार रिपोर्ट; मूल स्रोत के दावों की स्वतंत्र पुष्टि नहीं की गई है।