تیمهای کوچک معمولاً پیش از انتشار mobile app، چند ساعت آن را روی یکی دو گوشی آزمایش میکنند. به گفته نویسنده، این کار برای پیدا کردن crashهای آشکار کافی است، اما همه مشکلهایی را که کاربران در هفته اول با آنها روبهرو میشوند نشان نمیدهد. چکلیست پیشنهادی از انتخاب دستگاه شروع میشود و تا ثبت گزارشهای قابلبازتولید ادامه دارد.
انتخاب گوشی نباید فقط به دستگاههای در دسترس تیم محدود باشد. پیشنهاد مقاله این است که با مراجعه به دادههای کاربران، Play Console یا TestFlight، سه یا چهار مدل پرکاربرد میان کاربران انتخاب شوند. قدیمیترین نسخه سیستمعامل تحت پشتیبانی، یک گوشی با حافظه کم و صفحهنمایشهای کوچک و بزرگ هم باید در این انتخاب لحاظ شوند.
اولویت بعدی، مسیرهای اصلی برنامه است: ثبتنام، ورود، پرداخت و کاری که محصول اساساً برای انجام آن ساخته شده است. هر مسیر باید از ابتدا تا انتها روی تمام دستگاههای فهرست آزمایش شود؛ اگر این بخشها کار نکنند، بررسی بخشهای دیگر اولویت ندارد.
شبکه هم باید عمداً دچار اختلال شود. هنگام انجام یک کار، اتصال را از Wi-Fi سریع به اینترنت همراه کند تغییر بده، هنگام ارسال request اینترنت را قطع کن و پس از اتصال دوباره، بررسی کن که برنامه به کار برمیگردد یا گیر میکند. وقفههای روزمره نیز مهماند: پاسخ دادن به تماس هنگام پرداخت، رفتن به برنامهای دیگر، قفل کردن صفحه و بازگشت به برنامه. مقاله هشدار میدهد که crash هنگام بازگشت رایج است و بهراحتی از چشم پنهان میماند.
تغییر تنظیمات نیز بخشی از آزمایش است: بزرگ کردن نوشتهها و نمایش، فعال کردن Dark Mode، تغییر زبان یا منطقه، چرخاندن صفحه و رد کردن permission بهجای پذیرفتن آن.
برای هر bug، مدل دستگاه، نسخه سیستمعامل و برنامه، مراحل دقیق، نتیجه مورد انتظار، نتیجه واقعی و میزان تکرار ثبت شود. نویسنده یک فیلم کوتاه از صفحه را مفیدتر از توضیح طولانی میداند و تأکید میکند مشکلی که کسی نتواند بازتولیدش کند، بهندرت رفع میشود.
در نهایت، اگر تیم دستگاه کافی ندارد، Crowd Testing راهی برای آزمایش توسط افراد روی دستگاههای خودشان و دریافت گزارشهای قابلبازتولید است. توصیه اصلی مقاله این است که پیش از انتشار، برنامه روی دستگاههایی آزمایش شود که کاربران واقعاً دارند.




