Magic Quadrant برای تست اتومات
خلاصه
پیشگامان اپلیکیشن که در حال مدرن کردن توسعه اپلیکیشن هستند، با نیاز رو به رشد تحویل سریع‌تر و با کیفیت‌تر اپلیکیشن مواجه‌اند. ما فروشنده‌های اصلی را که به تست عملکردی خودکار سرعت بخشیده و تست مداوم لازم برای DevOps را نیز ممکن می‌سازند، ارزیابی می‌کنیم.
فرضیه برنامه‌ریزی استراتژیک
تا سال 2021، 50 % شرکت‌ها از تست خودکار هوشمند مبتنی بر هوش مصنوعی و یادگیری ماشین، بهره‌مند خواهند شد.
توضیح / تعریف بازار
بازار تست خودکار نرم‌افزار، ابزارها، تکنولوژی‌ها، اجزا و سرویس‌هایی را عرضه می‌کند که با یکدیگر، اجزای حیاتی تست خودکار را تشکیل می‌دهند و شامل ابزارهایی برای تحلیل ایستای کد، تست عملکردی، و تست بار و کارایی به روش خودکار میباشد.
Magic Quadrant، بر روی ابزارهای تست عملکردی خودکار نرم‌افزار تمرکز دارد. این ابزارها، یک سازمان را قادر به طراحی، توسعه، نگهداری، مدیریت، اجرا و تحلیل تست‌های عملکردی خودکار برای اپلیکیشن‌هایی که بر روی پلتفرم‌های مختلف (از قبیل دسکتاپ، وب، موبایل و سرور) اجرا می‌شوند، می‌سازد. آنها میتوانند تست‌های عملکردی خودکار را با تست واسط کاربری (UI) یک اپلیکیشن (تحت عنوان تست خودکار UI)، یا تعامل با اپلیکیشن از طریق واسط برنامه‌نویسی اپلیکیشن (تست خودکار API) اجرا کنند.
ابزارهای تست خودکار، برای دستیابی به یک رویکرد تست مداوم لازم برای DevOps، ضروری‌اند. تست مداوم، فرایند اجرای تست‌های خودکار به عنوان بخشی از خط لوله (pipeline) تحویل نرم‌افزار، به منظور کسب بازخورد فوری ریسک‌های تجاری مرتبط با نسخه انتشار نرم‌افزار میباشد. این امر به توانایی یکپارچگی با محیط‌های مختلف شامل توسعه و نه محدود به آن، یکپارچگی مداوم، تضمین کیفیت، پیش‌تولید، تست کارایی، استقرار و حتی تولید (مثلا با استفاده از مانیتورینگ تولید) نیاز دارد.
بازار تست خودکار نرم‌افزار، شامل فروشنده‌های مستقل و محصولات تست خودکار که بخشی از راهکارها و یا نمونه کارهای (portfolios) فروشندگان بزرگتر هستند، میباشد. مشتریان میتوانند هر محصول تست خودکار را به عنوان یک محصول عرضه‌شده به طور مستقل بخرند. برخی از این محصولات دارای اجزای اختیاری و مرتبط هستند و اکثر آنها "ارزیابی رایگان" یا ابزارهای منبعباز ارائه می‌دهند که می‌تواند درصد قابل توجهی از پایه کاربری مشتریان را تشکیل دهد. همچنین توجه داشته باشید که بسیاری از فراهم‌کنندگان سرویس تست، یک عرضه تست خودکار دارند، هرچند که در حالت کلی به صورت سرویس‌های مستقل عرضه نمی‌شوند.
در طی سال‌ها، تعدادی از فروشندگان مستقل در این فضا بر فروشندگان بزرگتر غلبه کرده‌اند که نشان‌دهنده اهمیت تست خودکار در بسیاری از سیستم‌های سازمانی است. اما هنوز ده‌ها فروشنده مستقل وجود دارد و همچنین فروشندگان جدیدی وارد بازار می‌شوند و فروشندگانی نیز محصولات آنها را به منظور عرضه قابلیت‌های پیشرفته تست خودکار، تغییر می‌دهند. Gartner، انتظار دارد فضای تست خودکار به سرعت به تکمیل ادامه دهد. این امر به مرور زمان باعث افزایش تقاضا برای تست خودکار بر روی طیف وسیعی از پلتفرم‌ها و تکنولوژی‌ها می‌شود.
منبعباز (open source)، به تاثیر بر روی بازار ادامه می‌دهد. در حال حاضر، راهکارهای منبعباز، عمدتا به سمت توسعه‌دهندگان گرایش داشته و بر روی تکنولوژی‌های وب و موبایل متمرکز است که آنها را تا حدودی تخصص و مناسب برای همه نیازهای تست می‌سازد. ما انتظار داریم که در آینده اکثر سازمان‌ها از بیش از یک راهکار برای در طی 5 سال آینده استفاده کنند. ما همچنین انتظار داریم که منبعباز، عنصر اصلی تعداد روزافزونی از سرویس‌های تست خودکار مبتنی بر ابر (cloud) شود.
Magic Quadrant
تکنولوژی‌های CA
تکنولوژی‌های CA که در بخش Visionaries quadrant قرار می‌گیرند، مبتنی بر دیدگاه خود از DevOps، تست Shift-left، و تست مداوم می‌باشند. نمونه کار (portfolio) تست خودکار آن، برای تعریف فازهای مختلف تحویل نرم‌افزار، شامل طراحی، ساخت، تست، انتشار و عملکرد، تکامل یافته است و از شیوه‌های توسعه agile و lean نیز پشتیبانی می‌کند.
عرضه تست خودکار CA، شامل چندین محصول از قبیل طراح نیازمندی‌های چابک CA (CA Agile Requirements Designer) برای طراحی و تولید تست، مجازی‌سازی سرویس (SV)/ تست اپلیکیشن CA برای اجرای تست در محل (on-premises)، و CA BlazeMeter برای تست مبتنی بر SaaS میباشد. یک یکپارچگی با مدیر داده تست CA (CA Test Data Manager) برای ایجاد و تامین داده تست وجود دارد.
موارد آزمون میتوانند با یک الگوی مدلسازی دیداری با استفاده از مسیرهای مختلف، یک رویکرد مبتنی بر ریسک یا با رکورد کردن سناریوهای زنده ایجاد شوند. به طور پیش‌فرض موارد آزمون به طور دستی ایجاد می‌شوند. اما اسکریپت‌های تست میتوانند با استفاده از فایل‌های پیکربندی و قطعه کدهایی برای موتورهای اجرایی مختلف، از قبیل تست اپلیکیشن CA (CA Application Test) ، Selenium، Ranorex یا Testplant، و همچنین فریمورک تست منبعباز Taurus ایجاد شوند. یکپارچگی‌هایی با ابزارهای CI مانندJenkins و مدیر تحویل مداوم CA (CA Continuous Delivery Director) وجود دارد که تست و تحویل مداوم را هماهنگ می‌کند.
CA، تست خودکار را با استفاده از یک الگوی مبتنی بر فریمورک عرضه می‌کند. آن از تست طیف گسترده‌ای از تکنولوژی‌ها، از قبیل دسکتاپ، وب و موبایل، با کمک تست اپلیکیشن CA و یا با تولید اسکریپت‌های خودکارسازی برای ابزارهای خودکارسازی پشتیبانی شده و فریمورک‌های منبعباز پشتیبانی می‌کند. تست‌ها میتوانند در محیط‌های ابری مانند وب‌سرویس‌های آمازون یا Microsoft Azure، و یا بر روی ماشین‌های محلی اجرا شوند.
نقاط قوت
CA، با استفاده از ابزارهای مبتنی بر SaaS، مبتنی بر API، پشتیبانی شده از منبعباز، که از تست مداوم در طی چرخه توسعه پشتیبانی می‌کنند، تست shift-left را ممکن می‌سازد.
CA، ایجاد خودکار و سیستماتیک مجموعهای از موارد آزمون و داده‌های آزمون بهینه را بر اساس تغییرات در مدل ممکن می‌سازد. این امر مزایای قابل توجهی را نسبت به ایجاد موارد آزمون با روشی که کمتر سیستماتیک است و با نگهداری مجموعه‌های خودکار موجود به طور دستی فراهم می‌کند.
CA دارای شبکه گسترده‌ای از شرکای سرویس و تکنولوژی هستند که راهکارهای مشترکی را ارائه کرده و در مورد نام تجاری (Brand) CA اطلاع‌رسانی می‌کنند. یکپارچه‌سازهای سیستم جهانی راهکارهای CA را به شیوه خود عرضه می‌کنند، و فراهم‌کنندگان سرویس مدیریت شده، از راهکارهای CA برای بهبود اشتراک خود بر اساس خدمات IT استفاده می‌کنند.
نقاط ضعف
CA، با تکیه بر سایر ابزارهای تست خودکار UI که از تشخیص شی UI، تست دستگاه/اپلیکیشن موبایل یا تست برنامه‌های کاربردی که مبتنی بر وب نیستند، پشتیبانی می‌کنند، عمدتا از این موارد پشتیبانی نمی‌کند. این امر ممکن است منجر به هزینه‌های لایسنسهای مجزای ابزارها گردد.
مدیریت روابط با مخازن دارایی شخص سوم و حفظ جامعیت میان نیازمندی‌ها، کد و تست به طور هماهنگ، متکی بر صادرات (exports) و واردات (imports) مکرر میباشد.
هرچند CA دارای یک مجموعه قوی از محصولات میباشد که از تست مداوم با استفاده از یک رویکرد مبتنی بر مدل پشتیبانی می‌کند، چندین مشتری اصلی آن خاطر نشان کرده‌اند که این امر هنوز کاملا تشدید نشده است. با این حال، این فروشنده از روش‌های سنتی ایجاد تست نیز پشتیبانی می‌کند.
IBM
IBM که در بخش Challengers quadrant قرار می‌گیرد، توانایی خوبی برای اجرا و پشتیبانی از مشتری‌های سازمانی دارد اما سرعت نوآوری آن در مقایسه با Visionaries و Leaders کمتر است. در سال 2016، IBM برای توسعه و نگهداری خط تولید خود با تکنولوژی‌های HCL همکاری کرد، که به IBM اجازه می‌داد تا برای ظهور راهکارهای ابر- بومی (cloud-native) و شناختی (cognitive) سرمایه‌گذاری کند.
تست خودکار Rational Test Workbench (RTW) شرکت IBM، یک پلتفرم تست است که از طیف گسترده‌ای از سناریوها، از قبیل تست API، تست عملکردی UI و مجازی‌سازی سرویس پشتیبانی می‌کند. RTW، پس از یک الگوی رکورد/بهبود/اجرا، گزینه‌های اسکریپت‌نویسی برای نمایش تست به همراه ویرایش تصویری Visual Basic .Net و Java، و یک زبان طبیعی ارائه می‌دهد. برای تست UI برنامه‌های کاربردی موبایل و وب، مراحل تست، جایگزینی داده‌ها و نقاط بازبینی می‌تواند از طریق تصاویر لحظه‌ای تعاملی اپلیکیشن ایجاد شود. RWT با پلتفرم UrbanCode شرکت IBM و همچنین سایر ابزارهای CI از قبیل Jenkins یکپارچه می‌شود. دارایی‌های تست میتوانند از هر بخشی از RTW در سیستم‌های کنترل نسخه مانند Git یا IBM Rational Team Concert نسخه‌گذاری شوند.
RTW، تست‌های عملکردی را برای Windows، Java یا .Net، برنامه‌های کاربردی وب و موبایل، و Mainframe خودکار می‌کند. همچنین تست API را ممکن می‌سازد و می‌تواند با Rational Test Virtualization Server برای مجازی‌سازی سرور یکپارچه شود. IBM به تنهایی از مدیریت و تست دستگاه‌های موبایل پشتیبانی نمی‌کند، بلکه از طریق همکاری با Bitbar و Perfecto Mobile این کار را انجام می‌دهد.
نقاط قوت
محصولات تست خودکار IBM، به طور قوی از پشته (Stack) تکنولوژی IBM، شامل Mainframe، Middleware مانند MQ series، و محیط‌های مبتنی بر Linux پشتیبانی می‌کند. این امر موجب می‌شود که محصولات تست خودکار IBM انتخاب خوبی برای سازمان‌هایی باشد که سرمایه‌گذاری قابل توجهی بر روی اکوسیستم IBM می‌کنند. IBM از طریق سرویس‌های تست IBM که پشتیبانی، افزونه‌ها و سرویس‌هایی برای کمک به تسریع زمان فراهم می‌کنند، شبکه گسترده‌ای از منابع سریع به کاربران ارائه می‌دهد.
IBM با فراهم ساختن یکپارچگی میان مدیریت چرخه حیات اپلیکیشن (Application Life Cycle Management (ALM)) ، تست خودکار و انتشار خودکار، از فرایند جامع DevOps پشتیبانی می‌کند، که تحویل مداوم به وسیله تست خودکار را ممکن می‌سازد.
نقاط ضعف
پاسخ‌های نظرسنجی مشتریان اصلی و گزارش‌های نظرسنجی Gartner Peer نشان‌دهنده رضایت کمتر از حد معمول از عرضه تست خودکار IBM میباشد. چالش‌های اصلی شناسایی شده توسط مشتریان اصلی، عدم پشتیبانی از آخرین تکنولوژی‌ها و جعبه‌ابزارهای (toolkits) مدرن واسط کاربری وب، و همچنین پشتیبانی فنی میباشد.
نمونه کار IBM بسیار جامع است و می‌تواند به صورت بسیار پیچیده، خصوصا در مراحل اولیه سرمایه‌گذاری در زمینه تست خودکار یا برای سایر نیازهای تست مشاهده شود. IBM برای قابلیت‌های اضافی متکی بر شرکای خود است که می‌تواند منجر به پیچیدگی فنی و هزینه بیشتر گردد.
اگر چه IBM برخی از ویژگی‌های سودمند مانند رکورد/اجرای مجدد، ارائه می‌کند، پشتیبانی محدودی از تولید تست مبتنی بر مدل ارائه می‌دهد. این امر ممکن است منجر به تلاش اضافی برای نگهداری مجموعه‌های زیادی از تست‌ها گردد.
Micro Focus
Micro Focus که در بخش Leaders quadrant قرار می‌گیرد، شرکتی است که قابلیت دید آن در بازار پس از اتمام موفقیت‌آمیز ادغام چرخشی با نرم‌افزار Hewlett Packard Enterprise (HPE) در سپتامبر 2017 به میزان قابل توجهی افزایش یافت. این حرکت یکی از بزرگترین شرکت‌های نرم‌افزاری اختصاصی در جهان را ایجاد کرده، و از طریق اشتراک سهام، Micro Focus را تبدیل به بزرگترین فراهم‌کننده ابزار تست در جهان کرده است.
نمونه کاری مشتق شده از HPE Software شامل محصولات تست خودکار، مدیریت چرخه حیات اپلیکیشن (ALM) و تست مبتنی بر ابر میباشد. Micro Focus علاوه بر محصول اصلی Unified Functional Testing (UFT) برای موتورهای تست خودکار، Business process Testing (BPT) را برای تحلیلگرها/تسترهای تجاری ارائه می‌کند و نقش‌های فنی بیشتری را با استفاده از UFT Pro که از قابلیت‌های تست Selenium برای مهندسان خودکارسازی چابک (Agile) و تسترهای توسعه‌دهنده پشتیبانی می‌کند، ارائه می‌دهد. این شرکت محصولات تست را تحت نام تجاری (Brand) Silk نیز می‌فروشد. Silk Test توسعه سریع تست‌های خودکار را با استفاده از الگوهای خودکارسازی مختلف، از قبیل رکورد/اجرای مجدد و تست مبتنی بر کلمه کلیدی، ممکن می‌سازد. Silk Test شامل یک واسط تست بصری برای کاربران متمرکز بر کسب و کار، و همچنین واسط‌های متمرکز بر توسعه‌دهنده Java و .Net نیز میباشد.
هر دو مجموعه از محصولات از تست طیف گسترده‌ای از تکنولوژی‌ها مانند برنامه‌های کاربردی دسکتاپ، وب و موبایل پشتیبانی می‌کنند. UTF می‌تواند در محل (on-premises) یا برروی Amazon Web Services (AWS) اجرا شود، و تست‌های موبایل نیز میتوانند در محل (on-premises) یا برروی دستگاه AWS اجرا شود. Micro Focus با ابزارهای CI، سیستم‌های کنترل نسخه و مدیریت تست یکپارچه می‌شود.
نقاط قوت
Micro Focus یک رویکرد تست مدوام به همراه یک مجموعه محصول برای تست‌های خودکار انتشار می‌دهد. آن از یک رویکرد مشارکتی برای تست خودکار با پشتیبانی از نقش‌های مختلف مانند تحلیلگران کسب و کار، مهندسان و توسعه‌دهندگان تست خودکار پشتیبانی می‌کند.
مجموعه محصولات یکپارچه Micro Focus، قابلیت‌های جامعی را با پشتیبانی از الگوهای تست مختلف مانند BDD، تست مبتنی بر کلمه کلیدی و بدون اسکریپت‌نویسی، و گزینه‌های اسکریپت‌نویسی مختلف، فراهم می‌کند.
امروزه Micro Focus علیرغم ادغام چرخشی با HPE Software، بیشترین سهم را در بازار تست دارد و می‌تواند شبکه وسیعی از شرکای خبره که از افزونه‌ها و سرویس‌ها پشتیبانی می‌کنند، ارائه دهد.
نقاط ضعف
در حالیکه Micro Focus پیشرفت خوبی در همپوشانی یکپارچه محصولات تست از طریق دستاوردهای قبلی داشته است، اکنون با دو چالش یکپارچگی دو مجموعه محصول با درجه بالایی از همپوشانی و همچنین تطبیق با سازمان قبلی HPE Software مواجه است.
Micro Focus نیاز به استراتژی رو به جلوی برقراری ارتباط برای بسیاری از محصولاتی که نمونه کاری آن را تشکیل می‌دهند، دارد. هر گونه تاخیری باعث افزایش بیشتر عدم اطمینان و نگرانی‌هایی در رابطه با آینده محصولات و سرمایه‌گذاری‌های انجام شده می‌شود.
سازمان‌هایی که به دنبال گزینه‌های سبک‌وزن‌تر هستند میتوانند نمونه کاری Micro Focus را به صورت پیچیده‌تر، خصوصا برای نیازهای ساده‌تر تست، احساس کنند. Gartner همچنین به دنبال مشاهده رقابت در بدست آوردن سهم بازار به طور مستقیم با اضافه شدن مشتری‌های HPE Software میباشد.
Microsoft
Microsoft که در بخش Challengers quadrant قرار دارد، مبتنی بر اجرای قوی سراسری به همراه عرضه‌های تست و توسعه آن میباشد. این شرکت در سال 2016 کسب و کار Xamarin را با بخش Visual Studio یکپارچه کرده درحالیکه تیم و محصولات اصلی Xamarin را دست نخورده نگه داشته است.
عرضه تست خودکار Microsoft شامل Visual Studio و پلتفرم Xamarin برای ایجاد تست، Visual Studio Team services (VSTS) و Xamarin Test Cloud برای اجرای تست مبتنی بر ابر، و Team Foundation server (TFS) برای اجرای تست در محل (on-premises) میباشد.
Microsoft دارای یک شبکه شخص سوم (third-party) است که افزونه‌های اضافی مانند SpecFlow+ را فراهم می‌کند، که BDD را برای .Net فعال می‌سازد. راهکارهای Microsoft، طیف وسیعی از گزینه‌های اسکریپت‌نویسی را برای جامعه توسعه‌دهندگان ارائه نموده و از بسیاری از فریمورک‌های تست پشتیبانی می‌کند. پشتیبانی از رکورد و اجرای مجدد (playback)، بهره‌وری را افزایش داده و یکپارچگی با سایر ابزارها را ممکن می‌سازد. با استفاده از Azure stack، تست‌ها میتوانند در محیط‌های تست مختلف اجرا شوند، و Xamarin Test Cloud مجموعه بزرگی از دستگاه‌های واقعی با پیکربندی‌های مختلف را فراهم می‌سازد. Microsoft از طریق VSTS پشتیبانی قوی از CI/CD را فراهم نموده و از یکپارچگی با ابزارهای CI مانند Jenkins پشتیبانی می‌کند.
Microsoft از برنامه‌های کاربردی مبتنی بر .NET، وب و موبایل پشتیبانی نموده و قالب‌هایی برای سایر اهداف تست مانند Universal Windows Platform فراهم می‌کند. ویژگی IntelliTest به طور خودکار تست‌های واحد را برای کد .NET تولید می‌کند. قابلیت تست واحد زنده و تحلیل تاثیر تست به طور خودکار تست‌های تحت تاثیر قرار گرفته را بر اساس تغییرات کد شناسایی و اجرا می‌کند.
نقاط قوت
Microsoft پشتیبانی قوی از تست مداوک ارائه می‌دهد. Microsoft به توسعه‌دهندگان امکان می‌دهد تا تست‌های واحد، تست‌های خودکار UI و تست‌های API را مستقیما در محیط مورد نظر خود بنویسند و آنها را به عنوان بخشی از ساخت‌های یکپارچه اجرا کنند.
Microsoft، یک انتخاب مناسب برای سازمان‌هایی است که سرمایه‌گذاری و مهارت‌های چشمگیری در اکوسیستم خود دارند. پلتفرم Xamarin به توسعه‌دهندگان .NET اجازه می‌دهد تا مهارت‌های خود را در توسعه و تست برنامه‌های کاربردی موبایل به کار گیرند.
Microsoft توسعه‌دهندگان حرفه‌ای مدرن را درک می‌کند و جوامع منبع باز را ملزم می‌کند که نیازهای خود را برآورده سازند. کاربران میتوانند از فریمورک‌های منبع باز مانند SpecFlow+ یا Selenium و Visual Studio Test Platform که در حال حاضر یک cross-platform و منبع باز است، استفاده کنند.
نقاط ضعف
Microsoft به طور ذاتی از تست API پشتیبانی نمی‌کند. اما با Parasoft همکاری می‌کند تا با دربرگرفتن سرویس‌دهندهVirtualize/SOAtest Desktop در Visual Enterprise Subscription خود، به کاربران به مدت 6 ماه دسترسی رایگان دهد.
اگرچه راهکار تست خودکار Microsoft برخی از ابزارهای سودمند مانند قالب‌های تست و تسهیلات رکورد/اجرای مجدد را ارائه می‌دهد، تمرکز شدید آن بر روی توسعه‌دهندگان آن را برای غیر توسعه‌دهندگان نامناسب می‌سازد. آن تمایلی در میان خریداران سطح بالای LOB ایجاد نمی‌کند.
نگهداری مجموعه زیادی از تست‌ها نیاز به تلاش بیشتری دارد. اگرچه Microsoft اجرای خودکار تست‌هایی که تحت تاثیر تغییرا کد قرار گرفته‌اند را ممکن می‌سازد، اما تولید سیستماتیک موارد آزمون- به عنوان مثال مبتنی بر تغییرات مدل اپلیکیشن را اجازه نمی‌دهد.
Parasoft
Parasoft برای اولین بار به عنوان یک Niche player در Magic Quadrant ظاهر شد. این شرکت در طی سال‌های زیادی در بازار تست خودکار، با مشتریانی در بخش‌های مالی، مخابراتی، بیمه و مراقبت‌های درمانی بوده است. این شرکت یکی از پیشگامان ابزارهای تست API بوده و برروی سازمان‌هایی که به دنبال تست مداوم به عنوان بخشی از رویکرد DevOps هستند، متمرکز است.
SOAtest، محصول تست API آن بخشی از یک نمونه کاری بزرگتر است که شامل تست واحد، مدیریت محیط و مجازی‌سازی سرویس میباشد. Parasoft بر روی سازمان‌های QA که دارای نقش‌های توسعه‌دهنده و تسترهای توسعه‌دهنده می‌باشند، متمرکز است و محصولات SOAtest و Virtualize آن از طیف گسترده‌ای از پروتکل‌ها و فریمورک‌ها پشتیبانی می‌کنند. تست‌ها می توانند با استفاده از رکورد و اجرای مجدد و همچنین از طریق artifactهای Swagger، RAML و WSDL ایجاد شوند.
Parasoft هر دو واسط وب و دسکتاپ را برای توسعه تست بدون اسکریپت‌نویسی ارائه می‌دهد، و ابزار تولید داده آن می‌تواند داده تست را به عنوان بخشی از این فرایند ایجاد کند. اجرای انتها به انتهای (end-to-end) سناریوهای تست، شامل تست‌های عملکردی وب (با استفاده از Selenium)، تست‌های API، تست‌های موبایل (با استفاده از Appium) تست‌های یکپارچه‌سازی و تست‌های اعتبارسنجی پایگاه‌داده امکان‌پذیر است. Parasoft تعدادی Rest API برای ایجاد و اجرای تست فراهم می‌کند که می‌تواند به عنوان بخشی از فرایند CI مورد استفاده قرار گیرد، و قابلیت‌های اضافی از طریق پلاگین‌های Parasoft marketplace در دسترس است.
Parasoft از طیف گسترده‌ای از پروتکل‌ها پشتیبانی می‌کند که دسترسی و تست میان‌افزار (middleware) و سیستم‌های پس‌زمینه (back-end) ، شامل ESBها و پایگاه‌داده‌ها را ممکن می‌سازد. تست‌ها میتوانند بر روی ماشین‌های محلی و یا با استفاده از زیرساخت‌های پویا که از Docker images، Microsoft Azure VMs یا Amazon Web Services VMs استفاده می‌کنند، اجرا شوند.
نقاط قوت
Parasoft انتخاب خوبی برای سازمان‌هایی است که بر روی تست مداوم و رویکرد DevOps متمرکزند. آن یکپارچگی قوی با سیستم‌های مدیریت تست و ابزارهای CI مانند Jenkins را ممکن می‌سازد.
Parasoft با پشتیبانی از بیش از 120 نوع پروتکل و پیام، قابلیت‌های بسیار جامع تست API را ارائه می‌دهد. آن اجرای خودکار سناریوهای تست انتها به انتها بر روی چندین نقطه پایانی (endpoint)، شامل سرویس‌ها، پایگاه‌داده‌ها و EBS ها را ممکن می‌سازد. Parasoft یک نسخه Community رایگان از Parasoft Virtualize را منتشر نموده، و با Microsoft برای ارائه Visual Studio Enterprise Subscription همکاری نموده به طوری که کاربران میتوانند به سرویس‌گیرنده Virtualize/SOAtest Desktop آن به طور رایگان به مدت 6 ماه دسترسی داشته باشد. این امر به افزایش قابلیت مشاهده Parasoft در جامعه توسعه‌دهندگان .Net کمک می‌کند.
نقاط ضعف
Parasoft با استفاده از Selenium برای وب و Appium برای موبایل مبتنی بر وب، از تست وب در دو سطح API و UI پشتیبانی می‌کند، اما از تست در سطح UI برای برنامه‌های کاربردی که مبتنی بر وب نیستند، پشتیبانی نمی‌کند.
در حالیکه Parasoft با یکپارچه‌سازهای سیستم مانند Cognizant، Infosys و Accenture همکاری می‌کند، آن هنوز قادر به استفاده از این روابط به طور کامل نیست. تیم Parasoft professional services اکثریت نصب‌های Parasoft را ارائه می‌دهد. اگرچه مشتریان اصلی Parasoft رضایتمندی نسبی کمتر از حد متوسط را نشان داده‌اند اما آنها از عدم ارائه یک انجمن آنلاین پشتیبانی‌کننده از کاربر و یک استراتژی منبع باز توسط Parasoft به عنوان زمینه‌های نگرانی ایراد کرده‌اند.
Ranorex
Ranorex که در بخش Niche Player quadrant قرار می‌گیرد مبتنی بر استراتژی توزیع محدود است و بر فروش مستقیم به توسعه‌دهندگان و تسترها متمرکز است. Ranorex یک محصول قابل اطمینان با پشتیبانی خوب از تکنولوژی است، اما این شرکت هنوز کوچک است و بلوغ و تکامل دید آن برای تست خودکار ادامه دارد.
محصول تست خودکار Ranorex، یعنی Ranorex Studio، محیط کاملی برای ساخت تست خودکار مبتنی بر فریمورک Microsoft .NET ارائه می‌دهد. آن شامل تست خودکار، تست مبتنی بر داده و مبتنی بر کلمه کلیدی، تست چند دستگاه و پلتفرم در یک ابزار منفرد میباشد. Ranorex بر توسعه‌دهندگان و تسترها متمرکز است که مختارند کد تست را در C# یا Visual Basic .Net (VB.NET) بنویسند. Ranorex قابلیت ادغام خودکار را در مواردی که پس از تغییر همزمان اسکریپت در هنگام استفاده از Git تضادی رخ می‌دهد، ارائه می‌کند. Ranorex Studio برای کاربران غیرفنی، قابلیت‌های بهره‌وری از توسعه سریع تست‌های خودکار، مانند الگوی مبتنی بر کلمه کلیدی و ماژول‌های قابل استفاده مجدد که میتوانند با استفاده از امکانات Ranorex Recorder ایجاد شوند، را ارائه می‌دهد. موارد آزمون و پوشه‌های هوشمند میتوانند به طور شرطی و بر اساس داده‌های منبع داده یا پارامترها اجرا شوند. Ranorex از Selenium WebDriver پشتیبانی می‌کند که دارای قابلیت رکورد و مدیریت object repository و همچنین قابلیت اجرای تست‌های Selenium بر روی چند مرورگر میباشد.
Ranorex از طیف گسترده‌ای از تکنولوژی‌ها، شامل native Windows، .NET or Java technology stacks و بسیاری از فریمورک‌های معروف پشتیبانی می‌کند. آن از تست مبتنی بر وب طیف گسترده‌ای از web development front-end toolkit ها و مرورگرها (دسکتاپ و موبایل) پشتیبانی می‌کند و می‌توانداز زیرساخت Selenium مانند Selenium Grid برای اجرای تست‌ها از راه دور پشتیبانی می‌کند.
نقاط قوت
Ranorex با تشخیص شی UI برای تکنولوژی‌های Windows، .Net، Java، برنامه‌های کاربردی وب و موبایل، پشتیبانی جامعی از تکنولوژی ارائه می‌دهد. آن خصوصا برای توسعه‌دهندگان و تسترهای دارای مهارت‌های .Net بسیار مناسب است.
Ranorex از طریق یکپارچگی با ابزارهای CI مانند Jenkins، Teamcity و Microsoft TFS، و با پشتیبانی از Docker images و همچنین پلتفرم‌های اجرایی مبتنی بر SaaS مانند Sauce Labs یا BrowserStack برای اجرای تست، از تست مداوم پشتیبانی می‌کند.
Ranorex، یک مدل لایسنس مستقیم و نسبتا کم هزینه ارائه می‌دهد که شامل تست طیف گسترده‌ای از تکنولوژی‌ها و پلتفرم‌ها است و فاقد هزینه اضافی برای پلاگین‌ها و افزونه‌ها است.
نقاط ضعف
درحالیکه تشخیص شی UI آن خیلی قدرتمند است، Ranorex یک راهکار تست API فراهم نمی‌کند و تا کنون هیچ قابلیتی برای import یا تبدیل تست‌های API موجود به تست‌های Ranorex و یا برعکس ارائه نکرده است.
Ranorex هنوز کوچک است. در حالیکه آن دارای تعدادی شریک توزیع و سرویس میباشد، فاقد مشارکت‌های استراتژیک با یکپارچه‌سازهای سیستم‌های بزرگ که میتوانند به آن کمک کنند تا به سازمان‌های بزرگ وارد شود، میباشد.
پاسخ‌های مشتریان اصلی، بررسی‌های Gartner Peer Insights و تحقیق‌های تعاملی نشان داد که رضایتمندی از عرضه تست خودکار Ranorex کمتر از حد متوسط میباشد. زمینه‌های اصلی که باید بهبود داده شوند عبارتند از پایداری محصول و حل مسائل مرتبط با پشتیبانی.
SmartBear
موفقیت مداوم SmartBear که در بخش Challengers quadrant قرار دارد، در تمرکز بر روی نیازهای سازمان‌های IT به تغییر به سمت تست مداوم ثابت شده است. SmartBear تست خودکار انتها به انتها (end-to-end) را ارائه نموده و تمرکز شدیدی بر روی چرخه حیات API دارد.
عرضه تست خودکار SmartBear، مجموعهای از ابزارها برای ایجاد تست‌های عملکردی در لایه UI و در لایه API، و همچنین ابزارهایی برای اجرای مبتنی بر ابر تست‌های UI و مجازی‌سازی سرویس میباشد. TestComplete، مهندسین QA را قادر به توسعه تست‌های خودکار در لایه UI با استفاده از دو سبک مبتنی بر کلمه کلیدی و توسعه برنامه‌ای می‌سازد. TestLeft، توسعه‌دهندگان را هدف قرار داده و آنها را قادر همکاری برای تست خودکار از طریق یکپارچگی با IDE مورد نظرشان، از قبیل Visual Studio می‌سازد. برای لایه API، ReadyAPI قابلیت‌های تست عملکردی، کارایی و امنیت را فراهم می‌سازد، در حالیکه TestServer این قابلیت‌ها را در ابزارهای Developer-native ارائه می‌دهد. تست‌های خودکار وب میتوانند در بسیاری از مرورگرهای دسکتاپ و موبایل اجرا شوند و از فریمورک‌هایی مانند Selenium و Appium پشتیبانی می‌کنند. smartBear در جوامع منبع باز (open-source) و ابزارهای sponsoring مانند soapUI و swagger مورد استفاده قرار می‌گیرد.
SmartBear از Windows، .NET و برنامه‌های کاربردی Java و همچنین web development toolkits و دستگاه‌های موبایل پشتیبانی می‌کند. آن تست مداوم را از طریق قابلیت‌هایش برای تست API و مجازی‌سازی سرویس، پشتیبانی از سرورهای مختلف Build و CI، و یکپارچگی با ابزارهای کنترل منبع، تشخیص ابزارهای ردیابی و سیستم‌های مدیریت تست، ممکن می‌سازد.
نقاط قوت
SmartBear دارای یک پلتفرم گسترده با مجموعهای از قابلیت‌ها برای تست عملکردی برنامه‌های کاربردی دسکتاپ و کنترل‌های فریمورک GUI، برنامه های کاربردی وب و موبایل میباشد.
SmartBear دارای یک عرضه چرخه حیات API است که شامل تست عملکردی و بار، مجازی‌سازی سرویس، و تعریف و مدیریت سرویس‌ها میباشد. این امر شرکت را برای تست معماری‌های میکروسرویس در موقعیت خوبی قرار می‌دهد.
SmartBear دارای یک جامعه قوی است که از مشتریان پشتیبانی کرده و به آنها کمک می‌کند تا محصولات خود را برای نیازهای خا‌ص‌شان توسعه داده و سفارشی کنند. آن از طریق پشتیبانی از Swagger و SoapUI با جوامع منبع باز به خوبی ارتباط برقرار می‌سازد.
نقاط ضعف
محصولات در حال توسعه SmartBear، یعنی TestLeft و TestServer نسبتا جدیدند و هنوز محدودیت‌هایی دارند، مانند فقدان قابلیت رکورد و تست‌ها نیاز به اسکریپت دارد. در حالیکه توسعه‌دهندگان کدنویسی را ترجیح می‌دهند، فقدان ویزگی‌های بهره‌وری محصولات ممکن است بر روی تلاش‌های کلی توسعه تست تاثیر بگذارد.
در حالیکه SmartBear از BDD پشتیبانی می‌کند، آن دارای قابلیت‌های طراحی خودکار مورد آزمون و تولید تست مبتنی بر مدل نمی‌باشد. این امر منجر به تلاش بیشتری برای نگهداری مجموعه‌های زیادی از تست‌ها می‌شود.
SmartBear از یک شرکت دارای یک محصول منفرد برای تست UI، به یک فراهم کننده ابزارهای کیفیت نرم‌افزار برای تیم‌ها، با چندین خط تولید که هنوز بخش‌های مختلف آنها را نشان می‌دهد، رشد یافته است.
Testplant
Testplant که در بخش Visionaries quadrant قرار دارد، مبتنی بر دیدگاه خود از تست خودکار تکنولوژی آگنوستیک و چند پلتفرمی (cross-platform) و تشریح نیاز به تست تجربه کاربر واقعی میباشد. آن یکی از پیشگامان تشخیص و تست خودکار شی مبتنی بر تصویر است که تست بر روی هر تکنولوژی یا دستگاهی را ممکن می‌سازد. آن مشتریان زیادی در صنایعی مانند فروشگاه، خودرو، هوافضا و دفاع دارد.
محصول Eggplant Functional از Testplant، بخشی از Digital Automation Intelligence Suit آن میباشد که شامل Eggplant AI برای تولید موارد آزمون بهینه نیز میباشد. Eggplant Functional توسعه سریع تست خودکار قابل استفاده مجدد و تکنولوژی آگنوستیک را به همراه گزینه‌های مختلفی برای توسعه تست‌ها، مانند حالت رکورد هدایت شده و اسکریپت‌نویسی دستی، ممکن می‌سازد. آن ویژگی‌های بهره‌وری مانند تست مبتنی بر جدول (مبتنی بر کلمه کلیدی) و پشتیبانی از فریمورک Gherkin/BDD برای کاربران غیر فنی را ارائه می دهد. Eggplant Functional زبان اسکریپت‌نویسی خاص خود، یعنی SenseTalk را فراهم می‌کند، اما دارای language binding هایی برای زبان‌های برنامه‌نویسی مختلف میباشد.
توسعه‌دهندگان میتوانند از eggDrive API ها برای Java و .NET برای مدیریت Eggplant Functional استفاده کنند. Eggplant AI به کارران اجازه می‌دهد تا به طور خودکار مجموعهای از تست‌های بهینه را بر اساس الگوی کشف نقص‌ها تولید و اجرا کنند. یکپارچگی با ابزارهای CI مانند Jenkins از طریق پلاگین‌ها و API ها صورت می‌گیرد. دارایی‌های تست میتوانند از طریق Eggplant Functional در Git یا SVN نسخه‌گذاری شوند.
Testplant از تکنولوژی‌ها یا پلتفرم‌های خاص UI پشتیبانی نمی‌کند، در عوض توسعه تست‌های خودکار قابل استفاده مجدد برای هر نوع اپلیکیشن که دارای یک GUI می باشد را از طریق تشخیص شی مبتنی بر تصویر ممکن می‌سازد. این فروشنده یکپارچگی با ابزارهای تست خاص دامنه، شامل سیستم‌های Controller Area Network (CAN) وسایل نقلیه مانند اتوبوس و سیستم‌های پرداخت فروشگاه را فراهم می‌سازد.
نقاط قوت
Testplant یک راهکار تست خودکار کارآمد ارائه می‌دهد که از طیف گسترده‌ای از تکنولوژی‌ها و دستگاه‌های سفارشی به واسطه برنامه‌های کاربردی خاص صنعت، مانند ماشین‌های فروش، سیستم‌های اطلاعاتی خودرو و کنسول‌ها پشتیبانی می‌کند.
Testplant تمرکز زیادی بر روی برنامه‌های کاربردی omnichannel و loT دارد که آن را تبدیل به انتخابی برای برنامه‌های کاربردی consumer-facing در تجارت الکترونیک و سایر سناریوهای تعاملی می‌سازد.
Testplant یک رویکرد همکاری برای تست خودکار فراهم می‌کند که به کاربران غیرفنی اجازه می‌دهد تا در فرایند ایجاد تست‌های خودکار از طریق پشتیبانی آن از تست مبتنی بر رفتار همکاری کنند که این امر منجر به افزایش چابکی و بهره‌وری می‌گردد.
نقاط ضعف
علیرغم این که Testplant از تست فراخوانی‌های REST/SOAP API پشتیبانی می‌کند، اما از سایر پروتکل‌ها و تکنولوژی‌های تست API پشتیبانی نمی‌کند.
تکنولوژی Testplant متکی بر یک الگوی تشخیص تصویر است که استفاده از آن آسان میباشد. با این حال، مشتریان اصلی خاطر نشان کردند که هنگام استفاده از محصول بدون آموزش و راهنمایی از یک منبع باتجربه، چالش‌هایی وجود دارد.
Testplant در آمریکای شمالی و EMEA گسترش خوبی دارد، اما نیاز به افزایش تلاش‌های بازاریابی برای آگاهی بیشتر از محصول میباشد. آن رد پای کوچکی در رسانه‌های اجتماعی دارد و جامعی که کاربران بتوانند در آن بهترین شیوه‌ها را به اشتراک بگذارند وجود ندارد.
Tricentis
Tricentis که در بخش Leaders quadrant قرار دارد، نشان می‌دهد که فروش‌های زیاد با سرمایه‌گذاری IT و ISV ها شروع شده و با همکاری با یکپارچه‌سازهای سیستم ادامه می‌یابد. آن یک دید رو به جلو برای تست مداوم دارد و تسترهای دستی را تبدیل به کارشناسان تست خودکار می‌کند.
Tricentis Tosca، مجموعهای از ابزارهاست که از تست عملکردی خودکار در لایه UI و API، مجازی‌سازی سرویس، و تست اکتشافی پشتیبانی می‌کند. آن تست خودکار مبتنی بر مدل را با استفاده از یک رویکرد توسعه فاقد اسکریپت، و ویژگی‌های بهره‌وری مانند اسکن UI/API ارائه می‌دهد. تست‌ها میتوانند با استفاده از یک الگوی table-view از طریق جزئیات فنی مربوطه توسعه یابند. قابلیت طرح مورد آزمون اجازه می‌دهد تا کاربران مجموعهای از تست‌های داده‌گرا را بر اساس گزینه‌های ترکیبی مختلف از داده تست و پوشش ریسک مورد نظر تولید کنند. این محصول از مهاجرت خودکار و یکپارچگی تست‌های Selenium، و اجرای آنها در مجموعه آزمون‌های (test suites) بزرگتر که میتوانند شامل تست‌های سایر انواع برنامه‌های کاربردی مانند دسکتاپ یا موبایل باشند، پشتیبانی می‌کند. از تست مداوم از طریق یکپارچگی با ابزارهای CI مانند Jenkins به خوبی پشتیبانی می‌کند.
چند نسخه از Tricentis Tosca، ویژگی‌های اصلی مانند طراحی مورد آزمون، مدیریت تست و داده تست و همچنین پشتیبانی از مجموعهای از تکنولوژی‌های مختلف را ارائه می‌دهند. نسخه جدید برنامه‌های کاربردی شامل پشتیبانی از تست دسکتاپ، برنامه‌های کاربردی وب و موبایل، تست API، و یکپارچگی با CI میباشد. نسخه Premium از برنامه‌های کاربردی سازمانی و بسته‌بندی‌شده نیز پشتیبانی می‌کند.
نقاط قوت
Tricentis Tosca یک ترکیب قوی از طراحی مورد آزمون مبتنی بر ریسک، تست خودکار مبتنی بر مدل، مدیریت و تحلیل یکپارچه داده تست ارائه می‌کند. آن برای تیم‌های متشکل از خودکارسازهای تست ماهر و کم مهارت بسیار مناسب است. Tricentis Tosca مجموعه جامعی از قابلیت‌ها برای تست تکنولوژی‌های اپلیکیشن مدرن بر روی لایه UI و API ارائه می‌دهد. آن از طیف گسترده‌ای از برنامه‌های کاربردی سازمانی نیز پشتیبانی می‌کند.
Tricentis با شرکای تکنولوژی و سرویس، از جمله برنامه‌های آموزشی و بازاریابی مشترک روابط قوی برقرار می‌سازد که منجر به تایید تعداد قابل توجهی از منابع می‌شود. آن فعالانه به همکاری با یکپارچه‌سازهای سیستم جهانی برای پشتیبانی از فروش و سرویس مشترک ادامه می‌دهد.
نقاط ضعف
در حالیکه Tricentis در آمریکای شمالی گسترش بیشتری داشته و در برخی از معاملات بزرگ در این منطقه برنده شده است، اکثر مشتریان آن EMEA و APAC هستند. این فروشنده نیاز به افزایش تلاش‌های بازاریابی در North America برای آگاهی بیشتر از محصول دارد.
راهکار تست خودکار Tricentis، برخی از ویژگی‌های مبتنی بر توسعه‌دهنده، مانند Tosca API Scan برای ایجاد موارد آزمون برای وب‌سرویس‌ها و همچنین یک .NET API برای گسترش قابلیت Tosca ارائه می‌دهد. با این حال، تمرکز آن بر روی کاربران غیرفنی است که باعث می‌شود کمتر برای توسعه‌دهندگان مناسب باشد.
مشتریان اصلی Tricentis اشاره کردند که قیمت‌گذاری می‌تواند جذاب‌تر باشد. قیمت‌گذاری بسیار پیچیده است و Tosca یک محصول با قیمت بالاست که توجیه آن در یک عصر منبع باز و قیمت‌گذاری مبتنی بر SaaS دشوارتر است.
مشتریان ملحق‌شده و از دور خارج شده
ما در حال بررسی و اصلاح معیارهای ورود به Magic Quadrant به دلیل تغییر بازارها هستیم. در نتیجه این اصلاحات، ترکیب فروشندگان در Magic Quadrant ممکن است در طی زمان تغییر کند. ظهور یک فروشنده در Magic Quadrant در یک سال و عدم ظهور آن در سالی دیگر، لزوما نشان‌دهنده این نیست که نظر ما راجع به آن فروشنده تغییر کرده است. این امر ممکن است بازتاب تغییر بازار و در نتیجه تغییر معیارهای ارزیابی یا تغییر تمایل آن فروشنده باشد.
مشتریان ملحق شده
CA Technologies
Parasoft
مشتریان از دور خارج شده
Hewlett Packard EnterpriseWorksoft
معیارهای ورود (Inclusion) و خروج (Exclusion)
مشتریان Magic Quadrant سال جاری، معیارهای زیر را برآورده می‌سازند:
توانایی ایجاد، توسعه، مدیریت و اجرای تست‌های عملکردی خودکار برای حداقل یکی از موارد زیر: تست خودکار UI (تست‌های لازم برای UI یک اپلیکیشن)، یا تست خودکار API (تست‌های لازم برای یک API). توانایی نوشتن تست بر روی پلتفرم Windows. علاوه بر این، توانایی اجرای تست‌ها بر روی پلتفرم Windows و حداقل پلتفرم‌های موبایل Android و iOS (پشتیبانی از اجرای تست بر روی سایر پلتفرم‌ها مانند Mac OS یا Linux مطلوب است).
توانایی تست برنامه‌های کاربردی دسکتاپی Windows بومی. توانایی تست حداقل یکی از موارد زیر: برنامه‌های کاربردی واکنش‌گرای (responsive) وب، برنامه‌های کاربردی موبایل بومی یا برنامه‌های کاربردی بسته‌بندی شده.
درآمد نرم‌افزاری بیش از 10 میلیون دلار از لایسنس محصول تست خودکار نرم‌افزارشان در سال 2016 (ارائه محصول به طور مستقل و نه به صورت بخشی از یک سرویس و ابزار ترکیبی ارائه شده).
داشتن نمایندگی در بازار جهانی و حضور مستقیم در حداقل دو تا از مناطق زیر: آمریکای شمالی، آمریکای لاتین، EMEA یا آسیا/اقیانوس آرام.
پیوستن حداقل 20 مشتری سازمانی پرداخت کننده جدید برای محصول تست خودکار آنها در سال 2016 در حداقل دو تا از مناطق زیر: آمریکای شمالی، آمریکای لاتین، EMEA یا آسیا/اقیانوس آرام.
ما فروشندگانی را از دور خارج می‌کنیم که:
فقط پلتفرم‌های اجرای تست، بدون ابزاری برای ایجاد، توسعه یا مدیریت تست‌های خودکار ارائه کرده‌اند.
فقط تست موبایل را ارائه کرده‌اند (تذکر 1 را ببینید).
فقط ابزارهای تست commercial off-the-shelf (COTS) را ارائه کرده‌اند و یا عمدتا بر روی سناریوهای تست برنامه‌های کاربردی بسته‌بندی شده متمرکز شده‌اند (تذکر 2 را ببینید).
نرم‌افزارهای خود را فقط با سرویس‌های توسعه/حرفه‌ای فروختند، که به موجب آن این ابزار به طور انحصاری توسط مشاوران شرکت مورد استفاده قرار گرفته است.
یک عرضه سازمانی تجاری نفروخته‌اند- یعنی راهکار را تنها به صورت نرم‌افزار منبع باز ارائه کرده‌اند.
معیار ارزیابی
توانایی اجرا
ما ارائه دهندگان تکنولوژی را بر مبنای کیفیت و کارایی فرایندها، سیستم‌ها، متدها یا رویه‌هایی ارزیابی می‌کنیم که کارایی ارائه دهندگان IT را رقابتی، کارآمد و موثر می‌سازد و بر درآمد، حفظ و اعتبار در دیدگاه Gartner از بازار تاثیر مثبت دارد.
عملکرد اصلی تست خودکار به سرعت در حال تبدیل شدن به یک کالاست، و فروشندگان به طور فزاینده با افزودن قیمت فریمورک‌ها و ابزارها رقابت می‌کنند. رهبران قادر به تحویل نه تنها یک محصول قوی، بلکه یک عرضه جامع که نشان‌دهنده برتری فکری است و شامل سرویس‌ها، پشتیبانی، انجمن‌های قوی و اکوسیستم‌های شریک میباشد، هستند که در مجموع باعث بهره‌وری موفقیت‌آمیز این محصولات می‌شود.
محصول یا سرویس
گستردگی و عمق محصولات و ویژگی‌ها در سراسر چرخه حیات توسعه نرم‌افزار (SDLC)، شامل طراحی و توسعه تست، نگهداری و استفاده مجدد از مورد آزمون، و مدیریت تست و داده تست، تست خودکار و یکپارچگی، با تمرکز شدید بر رو ی پشتیبانی از تست مداوم میباشد.
توانایی (Viability) کلی:
زمان صرف شده برای R&D محصول تست خودکار، رشد تجاری تست خودکار نرم‌افزار، و سرمایه‌گذاری و جمع‌آوری سرمایه.
پاسخگویی/سابقه بازار:
محصولات و ویژگی‌های جدید با چه سرعتی می‌تواند از طریق توسعه ارگانیک، مشارکت‌ها و مالکیت‌ها به بازار عرضه شود.
بازاریابی:
آگاهی عمومی فروشنده در بازار. نمایش تعاملات مشتری، حضور در رویدادها و رسانه‌های اجتماعی، درک IT و LOBs، و میزان سادگی درک خریداران از تفاوت‌های فروشنده.
تجربه مشتری:
توانایی برآوردن نیازهای مشتری به منظور دستیابی به سطوح بالایی از خودکارسازی و نگهداری آن خودکارسازی؛ سهولت onboarding و آموزش برای توسعه، و افزایش بلوغ تست کلی مشتریان. مدیریت موثر، ثبات دید مدیریت، و حفظ کارکنان.
| معیار ارزیابی | |
|---|---|
| محصول یا سرویس | |
| وزن | زیاد |
| توانایی کلی | |
| وزن | متوسط |
| عملیات فروش / قیمت گزاری | |
| وزن | متوسط |
| ثبت / پاسخگویی بازار | |
| وزن | متوسط |
| عملیات بازاریابی | |
| وزن | متوسط |
| تجربه ی مشتری | |
| وزن | زیاد |
| عملکردها | |
| وزن | کم |
تکمیل دید
ما ارائه دهندگان تکنولوژی را بر اساس توانایی‌شان در بیان جملات منطقی متقاعد کننده در مورد مسیر فعلی و آینده بازار، نوآوری، نیازهای مشتری و توان رقابتی، و همچنین میزان مطابقت با دید Gartner از بازار ارزیابی می‌کنیم.
رهبران با داشتن دید کامل، توانایی زیادی برای رسیدن به بازار از طریق یک پیام متقاعد کننده و ارائه یک راهکار جهانی دارند. همانطور که شرکت‌ها درگیر تحولات چندین ساله شیوه‌های agile، DevOps و bimodal هستند، توانایی فروشنده برای ایجاد دیدی از تست خودکار که ارزش را در طی مسیر ایجاد می‌کند و باعث تغییر مثبت می‌شود، بسیار مهم خواهد بود.
در حال حاضر پیام‌های کلیدی حول بهره‌وری و توانایی کمک به تکنولوژی و تغییر فرایند می‌چرخند.
درک بازار
توانایی مواجهه با یک بازار بسیار پویا و رقابتی و همچنین موفقیت مشتری با تست خودکار را ممکن می‌سازد. این امر شامل درک نیازهای IT و LOBs و همچنین نیازمندی‌های خاص سبک‌های کاری قابل پیش‌بینی‌تر و اکتشافی‌تر است. (به ترتیب، مدل 1 و مدل 2 از bimodal).
استراتژی بازاریابی
شناسایی قوی Brand، که بازارهای مختلف تست را وارد دنیای جدیدی می‌کند.
استراتژی فروش
یک استراتژی قوی go-to-market بر فروش تست خودکار به سازمان IT، LOBs و توسعه‌دهندگان چابک (agile) تمرکز دارد.
استراتژی عرضه (محصول):
درک صحیح نیازهای سازمانی در سراسر SDLC. یک راهکار منسجم که به طراحی مورد آزمون و تولید تست خودکار، نگهداری و اجرای تست خودکار، و مدیریت تست، یکپارچگی و تست خودکار به عنوان بخشی از ابتکارات سازمانی مبتنی بر تجارت دیجیتال agile و DevOps می‌پردازد.
مدل تجاری: افزایش درآمد محصول، سهولت انجام تجارت با مشتریان، و اکوسیستم قوی شریک که استراتژی go-to-market فروشنده را تقویت می‌کند.
استراتژی vertical/صنعت:
قابلیت‌های متفاوت ساخته شده برای صنایع خاص، شتاب‌دهنده‌های نهایی خاص، و یک رویکرد متمرکز بر go-to-market برای هر یک از صنایع خاص.
نوآوری:
پیشرفت‌های تکنولوژی در زمینه‌هایی مانند تست مداوم، "automating the automation" (به عنوان مثال، تولید خودکار مورد آزمون، تست خودکار مبتنی بر مدل)، توانمندسازی منابع non-QA و تسترهای دستی برای کمک به تلاش‌های تست (به عنوان مثال، خودکارسازی بدون اسکریپت‌نویسی، تبدیل تست‌های اکتشافی به تست‌های خودکار)، و پشتیبانی از تکنولوژی‌های توسعه یافته (به عنوان مثال، تکنولوژی‌های loT، wearables، omnichannel).
استراتژی جغرافیایی
گسترش مشتریان مختلف در سراسر جغرافیا، آگاهی جغرافیایی از حضور مشتری در سراسر جهان و در داخل کشور.
| معیار ارزیابی | |
|---|---|
| درک بازار | |
| وزن | زیاد |
| استراتژی بازاریابی | |
| وزن | متوسط |
| استراتژی فروش ها | |
| وزن | متوسط |
| استراتژی عرضه | |
| وزن | زیاد |
| مدل کسب وکار | |
| وزن | متوسط |
| نوآوری | |
| وزن | زیاد |
| استراتژی جغرافیایی | |
| وزن | متوسط |
توضیحات Quadrant
رهبران (Leaders)
رهبران، ترکیبی قوی از توانایی اجرا و تکمیل دید ارائه می‌دهند. آنها موقعیت‌های قوی بازار را به وسیله وسعت پذیرش، استقرار جهانی و یکپارچگی سایر محصولات ایجاد کرده‌اند. رهبران در پایه‌ریزی بنیان وفاداری مشتری موفق بوده‌اند و رشد زیاد درآمد و/یا سهم بالای بازار را نشان داده‌اند. همچنین آنها دید خوبی از نیازهای سازمان، پشتیبانی از منبع باز و استانداردها، درک جامع از نیازمندی‌های IT، و کانال‌های مقیاس‌پذیر و شرکاء دارند. آنها معمولا در میان تعداد قابل توجهی از تکنولوژی‌ها و پلتفرم‌های پشتیبانی شده گسترده شده‌اند و قابلیت‌های پیشرو در بازار را در یک یا چند منطقه کاربردی ارائه می‌دهند. رهبران باید راهکارهایی ارائه دهند که برای خرید، استفاده، مدیریت و ارتقاء آسان باشند و بتوانند به طیف وسیعی از سیستم‌های مکمل متصل شوند.
رقبا (Challengers)
رقبا در این بازار دارای شمار زیادی از سرویس‌گیرنده‌های سازمانی راضی، تعداد زیادی گزینه قابل توسعه و توانایی برآورده کردن نیازهای چندین دپارتمان در سراسر دنیا هستند. رقبا، فروشندههایی با چندین سال سابقه اجرایی در بازار گسترده هستند، اما ممکن است که هنوز پیشرفت قابل توجهی در یک سری از سناریوها در بازار تست خودکار نداشته باشند. بر طبق مستندات مالی و فروش‌های قابل توجه، معمولا فروشنده‌ها در این Quadrant قابلیت‌های اجرایی قدرتمندی دارند. آنها تمایل دارند که مشارکت‌های خوبی برقرار کرده و یک حضور جامع جهانی داشته باشند. به طور کلی، رقبا ممکن است نوآورانی باشند که در بازار توسعه اپلیکیشن حضور پررنگی نداشته باشند. همچنین رقبا ممکن است فاقد یک دید تجاری یا تکنیکی منسجم (Cohesive) باشند یا ممکن است دارای گپ‌های به تعویق انداختن محصول یا استراتژی متناقض یا ناقص در مسیر تولید محصول باشند.
متفکرین (Visionaries)
متفکران دید قانع کننده‌ای از محصولات و آینده بازار، و همچنین مسیر فنی (و منابع لازم) برای حصول آنها دارند. اگرچه هنوز آن دید را در یک یا چند بخش زیر ثابت نکرده‌اند: تاریخچه اجرا، درآمد، تعداد مشتریان اصلی، تنوع راهکارها یا نتایج مالی قابل توجه. فروشندگان در این Quadrant دیدی بسیار قوی نسبت به دسته خاصی دارند که به صورت بالقوه توانایی بهم زدن توازن بازار از طریق نوآوری یا پشتیبانی از تکنولوژی‌های جدید را دارند، اما محصولات ممکن است آنقدر کامل یا خوش ساخت نباشند که مورد پشتیبانی سازمان‌های جهانی قرار گیرند.
بازیکنان ذخیره (Niche Players)
امروزه، Niche Player ها راهکارهایی دارند که برای مخاطبان خاص یا با پشتیبانی محدود از use case تدارک دیده شده است. آنها در یک یا چند معیار زیر قوی نیستند: گستردگی محصول/ کامل بودن یا تمرکز، جغرافیا یا تعداد مشتریان. هر چند ممکن است که آنها گزینه‌های مناسبی برای use case یک سازمان، منطقه یا صنعت خاص باشند، اما معمولا آنها به عنوان یک پلتفرم گسترده برای استفاده در یک سازمان مناسب نیستند. به علاوه، فروشنده‌ها در این بخش از quadrant ممکن است توانایی‌های محدودتری برای سرمایه‌گذاری بر روی عملکردهای لازم و همچنین قابلیت‌های‌سازمانی برای گسترش تمرکز فعلی خود داشته باشند. با این حال، برای سناریوهای خاص، ارائه یک Niche Player ممکن است انتخاب مطلوبی باشد. در برخی از موارد، این فروشنده‌ها ممکن است نسبت به برخی از فراهم‌کنندگان متفکر (Visionary) بالغ‌تر و قادر به پشتیبانی بیشتر از مشتریان باشند.
محتوا
Magic Quadrant 2017 برای رفع چالش‌ها و تغییر نیازهای سازمان‌هایی که تست پیوسته و DevOps را در بر می‌گیرند، تکامل یافته است. همانطور که اصول DevOps جذابیت قابل توجهی را در سازمان‌ها به دست می‌آورند، تست و QA دیگر مرحله‌ای از تحویل نیستند، بلکه یک فعالیت جدایی‌ناپذیر از DevOps است که در فرم‌های مختلف در سراسر مناطق وجود دارد.
خودکارسازی به یک عنصر ضروری در این تلاش‌ها تبدیل شده است، و تمرکز بیشتری بر روی ابزارهای تست خودکار نرم‌افزار به عنوان بخشی از یک زنجیره ابزار که DevOps را فعال می‌سازد، وجود دارد. این شامل تحلیل ایستای کد و تست‌هایواحد، و همچنین شامل تست عملکردی خودکار در لایه UI و لایه API و همچنین مجازی‌سازی سرویس و تست‌های کارایی که با هر build اجرا شده و از طریق ابزارهای CI شروع می‌شوند، میباشد.
مهم است که توجه داشته باشید که خودکارسازی صرفا به معنای توانایی ایجاد سریع مجموعهای از اسکریپت‌های تست خودکار نیست، بلکه به معنای توانایی ایجاد مجموعه ای از تست‌های موثر که میتوانند با حداقل تلاش نگهداری شوند و بدون دخالت انسانی به عنوان بخشی از زنجیره ابزار DevOps اجرا شوند، نیز میباشد. نگهداری مجموعهای از تست‌های خودکار درست و مناسب در طی زمان، یکی از بزرگترین چالش ها در تست خودکار میباشد. اغلب زمان صرف شده برای اجرای تست ها به طور خودکار، از زمانی که صرف به‌روز‌رسانی تست‌ها می‌شود، یشتر است. خودکارسازی موفقیت‌آمیز تست باید شامل طراحی موارد آزمون خودکار-به عنوان مثال، مبتنی بر مدلی از اپلیکیشن یا مجموعهای از نیازمندی‌ها و همچنین ایجاد خودکار داده‌های آزمون مربوطه نیز باشد. در نهایت، تست‌ها باید نشان دهند که برنامه‌های کاربردی نه تنها کار می‌کنند، بلکه نیازمندی‌های تجاری واقعی را نیز برآورده می‌سازند.
موضوع Magic Quadrant امسال، تست مداوم است و بر روی تغییر تمرکز کرده است. ما فروشندههایی را ارزیابی کردیم که راهکارهای تست خودکار را با پشتیبانی قوی از سازمان‌هایی که درصد بالایی از برنامه‌های کاربردی سفارشی توسعه‌داده‌اند، ارائه کرده‌اند و نیاز به پشتیبانی از تست خودکار مداوم به عنوان بخشی از خط لوله (pipeline) تحویل DevOps دارند. این عرضه‌ها شامل توانایی استفاده از فریمورک‌ها و ابزارهای تست منبع باز و همچنین افزایش کارایی تستر از طریق ویژگی‌های ارزش افزوده میباشد. آنها میتوانند تست را در تمام لایه‌های یک اپلیکیشن (GUI، API و داده) ساده کنند.
چنانچه بر روی سناریوهای توسعه سفارشی تمرکز می‌کردیم، فروشندههایی که اساسا بر روی سناریوهای تست برنامه‌های کاربردی بسته‌بندی شده تمرکز داشتند را ارزیابی نمی‌کردیم. سناریوهای تست برای اکثر نرم‌افزارهای ساخته شده به طور سفارشی متفاوتند، زیرا سازمان‌ها تمرکز بیشتری بر روی اعتبارسنجی فرایند تجاری، نقاط یکپارچگی و کارایی دارند.
وضعیت بازار تست خودکار در سال 2017 مجددا نشان‌دهنده بی‌ثباتی فزاینده تکنولوژی‌های تست خودکار است. آن همچنین به بلوغ در حال رشد بازار اشاره دارد، زیرا بار همچنان افزایش یافته است. ثابت شده است که فرمول برنده آنها در quadrant های Leaders و Visionaries، استراتژی‌های قوی go-to-market به همراه دیدهای قوی برای تکنولوژی‌های خودکارسازی نسل بعدی میباشد. Quadrant های Challengers و Niche Players، ترکیب خوبی از فروشندگانی ارائه می‌دهند که استراتژی‌ها و عرضه‌های تست خودکار خود را اغلب به عنوان بخشی از نمونه‌های کاری بزرگتر محصول، به خوبی تنظیم می‌کنند.
همگام با تغییرات سریع بازار، تهیه لیستی از فروشندگان از Leaders quadrant، موفقیت را تضمین نمی‌کند. رهبرانIT برای شناسایی بهترین راهکار بر مبنای use case های خاص، مجموعه مهارت‌ها و منابع، و همچنین آماده‌سازی DevOps برای برنامه‌های کاربردی سازمانی تجاری، معماری و زیرساخت IT، به کار با ذی‌نفعان LOB خود نیاز دارند.
چند نکته باید در مورد موقعیت فروشنده‌ها در Magic Quadrant مد نظر قرار گیرد:
توجه داشته باشید که انتخاب یک Leader ممکن است بر حسب قابلیت‌های برخی از سازمان‌ها، بر اساس آماده‌سازی و use case های شما ، بسیار پر هزینه و غافلگیر کننده باشد.
اگر یک Challenger را بر مبنای توانایی ارائه ارزش فوری انتخاب کنید، متوجه می‌شوید که آن فاقد یک دید فنی یا تجاری منسجم است- یا ممکن است دارای گپ‌های به تعویق انداختن محصول یا قابلیت‌های موروثی باشد
اگر یک Visionary را انتخاب کنید، توجه داشته باشید که آن به درک بهتر بازار و محصول نیاز دارد، اما شاید منابع یا شرکت قادر به تحقق دید آن نباشند.
برای برخی از سناریوهای خاص، مثل آنهایی که مبتنی بر مجموعه مهارت‌های داخلی خاص و یا نیازهای سازمانی هستند، انتخاب یک Niche Player را مد نظر قرار دهید. این می‌تواند بهترین گزینه برای شروع و یا برای تکمیل ابزارهای تست خودکار باشد.
چشم‌انداز بازار تست خودکار گسترده و متنوع است، و شامل بسیاری از فروشندگان با تخصص‌های متفاوت است. Gartner از بیش از 100 فروشنده عرضه‌کننده راهکارهای تست خودکار در سطح جهانی آگاهی دارد، اما این فروشندگان بیانگر کل بازار نیستند. نُه فروشنده که در Magic Quadrant ارزیابی شده‌اند، تنها تعداد کمی از فروشندگانی هستند که قادر به پشتیبانی از مشتریان سازمانی‌اند. توجه داشته باشید که بسیاری از فرشندگان کوچکتر که در این Magic Quadrant پوشش داده نشده‌اند، ممکن است برای نیازهای خاص شما مناسب باشند.
Gartner از معیارهای ورود برای شناسایی فروشنده‌های جهانی که میتوانند پروژه‌های پیچیده را در سازمان‌های بزرگ مدیریت کنند، استفاده می‌کند، اما فروشندگان زیادی وجود دارند که بر روی تکنولوژی‌هایی (مثلا، پشتیبانی از COTS) متمرکزند که ممکن است مناسب‌تر باشند. در هنگام انتخاب ابزار، درک use case های خاص و همچنین مجموعه مهارت‌ها، شیوه‌ها و مدل‌های عملیاتی، کلیدی است. به دلیل تنوع تکنولوژی‌ها برای تست، و به علت این که سازمان‌ها bimodal شده‌اند، تیم‌ها باید انتظارِ داشتنِ بیش از یک ابزار تست را داشته باشند. به مشتریان توصیه می‌شود که برای محدود کردن لیست فروشندگان مناسب و گفتگو در مورد ارائه‌دهندگانی که در اینجا پوشش داده نشده‌اند، با نویسندگان Magic Quadrant صحبت کنند.
بعد از بررسی این تحقیق، رهبران IT باید فعالیت‌های زیر را مدنظر قرار دهند:
اگر تاکنون از هیچیک از راهکارهای تست عملکردی خودکار استفاده نمی‌کردید: از این Magic Quadrant برای درک بازار استفاده کنید. ابزارهایی را که برای use case های شما مناسب‌اند و مهارت‌های فنی افرادی را که در تلاش‌های خودکارسازی همکاری می‌کنند، ارزیابی کنید. یک ابزار تست خودکار از رویکرد تکرارپذیرتر و سازگارتر تست در پروژه‌ها پشتیبانی می‌کند و تست مقیاس‌پذیرتر را با افزایش اهداف تست ممکن می‌سازد.
اگر قبلا از یکی از راهکارهای تست خودکار (لیست شده یا نشده در Magic Quadrant) استفاده کرده‌اید و در فکر تعویض فروشنده هستید: در نظر بگیرید که آیا ممکن است با افزودن ابزارهای مکمل، قابلیت از دست رفته بهتر شود-به عنوان مثال، فریمورک‌های منبع باز یا پلاگین‌‌هایی که قابلیت مورد نیاز را فراهم می‌کنند و با ابزارهای موجود شما یکپارچه می‌شوند. هزینه سوییچ از یک راهکار تست خودکار به راهکار تست خودکار دیگر می‌تواند بسته به میزان یکپارچه‌سازی سفارشی با محیط شما و منطق اسکریپت سفارشی‌شده، زیاد باشد.
اگر از یک ابزار تست خودکار استفاده می‌کنید که دیگر پاسخگوی نیازهای شما نیست یا اینکه فکر می‌کنید ممکن است مناسب نباشد: شروع کنید به ارزیابی پلتفرم‌های دیگر بر مبنای نیازهای فعلی و آینده خود، مانند پشتیبانی از تکنولوژی‌های جدید (مانند wearables, conversational interfaces, loT objects). گزینه‌هایی را مدنظر قرار دهید که تکنولوژی‌های مشابه را ارائه می‌دهند و یا به مجموعه مهارت‌های مشابه، مانند پشتیبانی از اسکریپت یا visual paradigms نیاز دارند، اما خودتان را به این نیازهای موجود محدود نکنید اگر نیازمندی‌های تست اپلیکیشن شما به آنها افزوده می‌شوند.
اگر از یک راهکار تست خودکار استفاده می‌کنید و از آن راضی هستید: قابلیت‌های آن و ویژگی‌های نقشه مسیر (roadmap) را حداقل هر 6 تا 12ماه ارزیابی کنید تا مطمئن شوید که آن ابزار با انتظارات و طرح‌های سازمان شما مطابقت دارد.
بررسی بازار
تقاضا برای تست خودکار با توجه به ملاحظات زمان-به-بازار و با افزایش اپلیکیشن‌های پیچیده‌ای که منجر به تجارت دیجیتال می‌شوند، همچنان رشد می‌کند. سازمان‌ها باید به دنبال راه‌هایی برای دستیابی به نرخ خودکارسازی بیشتر و پشتیبانی از شیوه‌های agile و DevOps باشند. شیوه‌های تحویل پیوسته (Continuous delivery) بر خط لوله (pipeline) تحویل کاملا خودکار، شامل تست عملکردی خودکار و همچنین کیفیت کد، تست امنیت و کارایی، تکیه دارد. همراه با فرصت‌های جدید ایجاد شده توسط تغییر به سمت راهکارهای مبتنی بر ابر، یک بازار پر جنب و جوش ایجاد می‌شود-بسیاری از محصولات جدید وارد فضا، خرید، و نوآوری فروشندگان موجود می‌شوند.
در طی انجام این تحقیق، Micro Focus و heritage HPE Software spinmerge در 1 سپتامبر 2017 نهایی شدند. این معامله یک سال زودتر در 7 سپتامبر 2016 اعلام شد و باعث گمانه‌زنی در مورد تاثیر بازار آن شد. آن همچنین به رقبا فرصت داد تا مشتاقانه به سهم بازار دست یابند. با وجود اینکه معامله اکنون پایان یافته است ما انتظار داریم که بازخوردها همچنان بهبرهم زدن بازار ادامه دهد.HPE ، در طی سال‌های زیادی نیروی پیروز در این بازار بوده است و اکنون از بازار خارج شده است. Micro Focus، در حال حاضر نیاز به تعریف و ارتباط با استراتژی رو به جلوی خود دارد.
ما انتظار داریم که بازار با ایجاد فرصت‌هایی برای فروشنده‌ها در طول 12 تا 18 ماه آینده همچنان پویا باقی بماند، زیرا سرمایه‌های قابل توجه سرمایه‌گذاری همچنان جریان می‌یابد و ارائه دهندگان تجاری برای پشتیبانی بیشتر از بهترین شیوه‌های agile و DevOps به ارتقاء نمونه‌های کاری می‌پردازند. فروشندگان به دنبال یافتن موقعیت در عرصه تجارت دیجیتال، تقویت بیشتر سهم بازار و یا ایجاد یک خط لوله حفظ درآمد هستند. هجوم مداوم فروشندگان جدید و نوآور که نیازی به مقابله با legacy heritage ندارند و میتوانند از مزایای بلاک‌های ساختاری منبعباز بهره گیرند، و به سرعت یک نمونه کاری مدرن و کاربرپسند از محصول بسازند که برای توسعه‌دهندگان agile جذاب باشد، ادامه می‌یابد. اکثر این فروشندگان هنوز در مرحله راه‌اندازی هستند و درآمد کم و مشتریان اصلی معدودی دارند. با این حال، ما انتظار داریم که بسیاری از آنها افزونه‌های مفیدی برای نمونه‌های کاری برخی از فروشندگان بزرگتر که دارای گَپ‌هایی در عرضه‌هایشان هستند، باشد. ما همچنین شاهد تلاش‌های زیاد شرکت‌های ارائه‌دهنده خدمات تست به منظور تولید ابزارها هستیم و انتظار داریم که ارائه‌دهندگان خدمات تست به علت میزان استفاده و رشد برون‌سپاری تست، تاثیر بیشتری بر روی کل بازار داشته باشند.
منبع باز همچنان دارای اثر گالوانیستی (galvanizing) در بازار است. آن در بسیاری از موارد، سطحی از استانداردسازی را عرضه می‌کند که با سازمان‌هایی که از شیوه‌های توسعهagile و CI/CD استفاده می‌کنند، به خوبی سازگار است. عرضه‌های منبع باز به طور فزاینده‌ای در حال جایگزینی اجرای سنتی مبتنی بر ALM تست‌ها با اجرای خودکار تست‌ها، به عنوان بخشی از فرایندهای CI/CD هستند. تست در حال تکامل به ذهنیت استفاده از ابزارهایی که برای تیم بهتر کار می‌کنند، میباشد، و توسعه‌دهندگان به جای استفاده از یک ابزار یکپارچه (monolithic)، از ترکیی از ابزارهای منبع باز و تجاری برای انجام فعالیت‌های مختلف تست استفاده می‌کنند-به عنوان مثال:
Selenium به عنوان استاندارد de facto برای تست وب شناخته شده است، و اکوسیستم بزرگی حول آن توسعه یافته است.
Appium نیز به عنوان یکی از معروف‌ترین فریمورک‌های خودکار منبع باز و چندپلتفرمی موبایل برای اجرای تست‌ها بر روی iOS و Android و همچنین Windows desktop طرفداران زیادی دارد.
فریمورک‌های BDD از قبیل SpecFlow، Cucumber و JBehave، همراه با زبان Gherkin توس بسیاری از سازمان‌های توسعه agile اتخاذ شده است. فروشندگان تست خودکار از این فریمورک‌ها پشتیبانی می‌کنند.
سایر ابزارها و فریمورک‌های منبع باز، از قبیل Geb، SoapUI، Watir، Protractor، Bugzilla و Apache JMeter نیز طرفدارانی دارند و این تعداد رو به افزایش است.
منبع باز همچنین یکی از عوامل کلیدی است که به طور فزاینده در حال تقسیم بازار است. بسیاری از ابزارها، توسعه‌دهندگان و تسترهای فنی را هدف قرار می‌دهند. آنها به خوبی با پشته کلی ابزار توسعه یکپارچه می‌شوند و یک رویکرد مبتنی بر کد برای توسعه اسکریپت‌های تست، عرضه می‌کنند. هر چند این ابزارها برای افرادی غیر از توسعه‌دهندگان اصلا خوب نیستند. متخصصان موضوع و تحلیلگران تجارت که در تلاش‌های صورت گرفته برای تست خودکار مشارکت دارند، به دنبال گزینه‌هایی هستند که با کدنویسی به طور کامل پنهان یا حذف می‌شوند. ما انتظار داریم که اکثر سازمان‌ها خودشان را با استفاده از تعدادی از ابزارهای ارائه‌دهندگان مختلف (یا منبع باز) به جای داشتن تنها یک فروشنده برای حل همه مشکلات، پیدا کنند. راهکار تست خودکار به عنوان بخش جدایی‌ناپذیر از زنجیره ابزار DevOps، به سرعت در حال توسعه است. راهکارهای پیشین، انواع کاربران مختلف را قادر به مشارکت در ایجاد تست‌های خودکار برای اهداف مختلف تست می‌سازد و همکاری در تیم بزرگتر در زمینه همان ابزار را افزایش می‌دهد.
برای رسیدن به این دگرگونی، باید 3 اصل مهم زیر را با کمک ابزارهای تست خودکار مدنظر قرار دهید:
- جداسازی متدولوژی و تکنولوژی توسعه تست: Use case های یک سازمان بسیار متنوع‌اند. قابلیت‌های تست خودکار باید در Front end ها، فریمورک‌ها و IDE های مختلفی که برای use case ها و user role های مختلف مناسب‌اند، نمایش داده شوند.
- پذیرش منبع باز و استانداردها: پذیرش راهکارهای منبع باز تست در حال سرعت گرفتن است و سازمان‌ها در تلاش هستند تا ریسک قفل شدن فروشنده را کاهش دهند. بنابراین، ابزارهای تست خودکار باید با ابزارهای منبع باز و فریمورک‌های پشتیبانی از تست مانند Selenium، Appium یا SoapUI یکپارچه شوند.
- فعال‌سازی توسعه خودمختار (self-service). توسعه تست خودکار به طور فزاینده‌ای آغاز شده و توسط اجزاء خارج از IT پشتیبانی می‌شود. راهکارهای تست خودکار باید مُد توسعه خودمختار (selfservice) را ممکن ساخته و الگوهای بصری و مبتنی بر مدل را برای تسترهای citizen از قبیل تحلیلگران تجارت، متخصصان LOB و متخصصین بازاریابی ارائه دهند
در طی 5 سال آینده، ما انتظار داریم که یادگیری ماشین و تحلیل‌های پیشگویانه، نقش فزاینده‌ای در تست و خودکارسازی نرم‌افزار ایفا کند. ما در آغاز مشاهده نشانه‌های اولیه این اصل در تحقیقات یا در حوزه‌های تحت تمرکز هستیم. احتمالا اپلیکیشن‌های بسته‌بندی شده و همچنین طراحی و مدیریت تست اولین حوزه موفق کنونی است. در آینده شاهد رشد ابزارهای طراحی شده در زمینه خودکارسازی فرایند رباتیک (RPA) و استخراج فرایند تجاری برای انجام تست خودکار، و همچنین استفاده از تحلیل‌های پیشگویانه برای تمرکز بر روی تلاش های تست هستیم.
واژه نامه ها و کلمات مخفف
| ALM | |
|---|---|
| Application life cycle management | Application programming interface |
| BDD | |
| Application life cycle management | Behavior-driven development |
| CD | |
| Application life cycle management | Continuous development |
| CI | |
| Application life cycle management | Continuous integration |
| IDE | |
| Application life cycle management | Integrated development environment |
| LOB | |
| Application life cycle management | Line of business |
| QA | |
| Application life cycle management | Quality assurance |
| VM | |
| Application life cycle management | Virtual machine |
شواهد و مدارک
Magic Quadrant بازتابی از تحقیقات گسترده است که عبارتند از:
مصاحبه با بیش از 700 نفر از مشتریان Gartner در مورد ابزارهای تست خودکار در طی 12 ماه گذشته. بسیاری از بحث‌های شخصی و سایر تعاملات با فروشندگان در این Magic Quadrant.
نظرسنجی دقیق از یک فروشنده که به بیش از 200 سوال پاسخ داد.
یک نظرسنجی از سازمان‌ها توسط Gartner با استفاده از ابزارهای آنلاین از ژوئن تا ژوئیه 2017 صورت گرفت. شرکت‌کنندگان در این نظرسنجی مشتریان اصلی انتخاب شده توسط هر فروشنده در این Magic Quadrant بوده‌اند. از این مشتریان 50 سوال در زمینه تجربیاتشان در مورد فروشندگان و راهکارها پرسیده شد. نتایج بدست آمده برای پشتیبانی از ارزیابی بازار تست خودکار نرم افزار استفاده شد. ما 76 پاسخ کامل به نمایندگی از شرکت‌های مرکزی در چندین منطقه جغرافیایی مختلف به دست آوردیم.
یک محصول از هر نه فروشنده شرکت‌کننده در Magic Quadrant که هر کدام به منظور ارائه آگاهی در مورد توانایی‌شان در پشتیبانی از وظایف خاص، درخواست داده بودند، به نمایش گذاشته شد.
تذکر 1
تست اپلیکیشن موبایل
بازار تست موبایل بسیار پویا است و با رشد قابلیت‌های اصلی (خودکارسازی، device clouds و غیره). در حال تحول است. ما انتظار داریم که ثبات بازار در نتیجه مالکیت‌ها، فشار ابزارهای منبع باز و ارائه شده برای پلتفرم موبایل، و همچنین تغییر سریع نیازهای بازار ادامه یابد. اکثر فروشنده‌های پوشش داده شده در این Magic Quadrant از تست اپلیکیشن موبایل پشتیبانی می‌کنند تا این قابلیت بیشتر در مسیر اصلی قرار گیرد. این کار از طریق تکنولوژی دارای لایسنس و یا فروشنده بومی صورت می‌گیرد.
بسیاری از فروشنده‌های پوشش داده شده در این "Magic Quadrant برای پلتفرم‌های توسعه اپلیکیشن موبایل" تا حدی قابلیت تست موبایل را نیز ارائه می‌دهند. هرچند ما متوجه شده‌ایم که فروشنده‌های متمرکز بر روی موبایل در بسیاری از موارد مزایای قایل توجهی از قبیل سرعت پشتیبانی از ارتقاء‌های OS (به عنوان مثال، رفتارهای جدید)، و پشتیبانی از تهیه و مدیریت device cloud ها، ارائه می‌دهند.
ما ابزارهایی که تمرکزشان فقط بر روی موبایل است را مدنظر قرار ندادیم، ما در حال حاضر این بخش را در "راهنمای بازار برای ابزارهای تست خودکار اپلیکیشن" پوشش می‌دهیم. گزینه‌های متنوع زیادی از جامعه منبع باز نیز وجود دارد- خصوصا، Appium در حال به دست آوردن جنبش زیادی است.
تذکر 2
تست تجاری off-the-shelf
بسیاری از فروشنده‌ها از تست اپلیکیشن بسته‌بندی شده پشتیبانی می‌کنند تا جایی که میتوانند برای واسط کاربری front end به کار گرفته شوند-یعنی، در صورتی که front end سرویس‌گیرنده یک Windows بومی یا وب اپلیکیشن باشد، آن "Just another application" است که می‌تواند به همان شیوه‌ای که سایرین بر روی آن تکنولوژی ساخته شده‌اند، خودکار شود. اما، این مسئله که سناریوهای تست اپلیکیشن بسته‌بندی شده متفاوت با اکثر نرم افزارهای ساخته شده به طور سفارشی است، نادیده گرفته می‌شود. سازمان‌ها بیشتر بر روی اعتبارسنجی فرایند تجاری، نقاط یکپارچه‌سازی و کارایی تمرکز دارند. ما آن دسته از ابزارهایی که اصولا بر روی پشتیبانی از اپلیکیشن‌های COTS متمرکزند را در این تحقق لحاظ نکرده‌ایم.
پشتیبانی از اپلیکیشن‌های بسته بندی شده توسط فروشندگان تجاری نیز محدود است. اکثر راهکارها بر روی اپلیکیشن‌های ERP و/یا CRM از SAP و/یا Oracle متمرکزند. در حال حاضر مجموعهای از راهکارها برای عرضه‌های SaaS از قبیل Saleforce در حال رشد است، اما هنوز به طور کامل پوشش داده نشده است. بسیاری از ارائه‌دهندگان خدمات تست نیز دارای عرضه‌های خاص اپلیکیشن‌های بسته‌بندی شده‌اند، و برخی از آنها نیز دارای اپلیکیشن‌های بسته‌بندی شده خاص صدر بازار (مانند Infosys Finacle می‌باشند.
راهکارهای دارای بهترین تمرکز، شتاب بیشتری از قبیل مدیریت داده‌های تست، اتصال به مدیریت تغییر (برای انتخاب خودکار تست هایی که باید اجرا شوند) و تحلیل تاثیر تغییر ارائه می‌دهند.
تعاریف معیارهای ارزیابی
توانایی اجرا
محصول یا سرویس
کالاها و سرویس‌های اصلی ارائه شده توسط فروشنده برای بازار تعریف شده. این شامل قابلیت‌های فعلی محصول/سرویس، کیفیت، مجموعه ویژگی‌ها، مهارت‌ها و غیره، و اینکه آیا به طور بومی و یا از طریق موافقت‌نامه‌ها/مشارکت‌های OEM به صورت تعریف شده در تعریف بازار و تشریح شده در زیرمعیارها عرضه شده، می‌شود.
توانایی (Viability) کلی:
توانایی شامل ارزیابی سلامت مالی سازمان‌ها، موفقیت مالی و عملی واحد تجاری، و احتمال این که واحدهای تجاری انحصاری به سرمایه‌گذاری در محصول و عرضه محصول ادامه دهند و وضعیت صنعت را در نمونه کاری محصولات سازمان توسعه دهند، میباشد.
فروش/قیمت‌گذاری:
قابلیت‌های فروشنده در تمام فعالیت‌های پیش‌فروش و ساختاری که از آنها پشتیبانی می‌کند. این شامل مدیریت معاملات، قیمت‌گذاری و مذاکره، پشتیبانی از پیش‌فروش، و اثر بخشی کلی کانال فروش می‌شود.
پاسخگویی/سابقه بازار:
متوانایی پاسخ دادن، تغییر مسیر، انعطاف‌پذیری و دستیابی به موفقیت رقابتی در هنگام توسعه فرصت‌ها، فعالیت رقبا، استنتاج نیازهای مشتری و تغیر پویای بازار. این معیار سابقه پاسخگویی فروشنده را نیز در نظر می‌گیرد.
بازاریابی:
وضوح، کیفیت، خلاقیت و کارایی برنامه‌های طراحی شده برای انتقال پیام سازمان به منظور تاثیرگذاری بر بازار، ترویج Brand و تجارت، افزایش آگاهی از محصولات، و ایجاد یک شناخت مثبت از محصول/Brand و سازمان در ذهن خریداران. این "اشتراک ذهن" می‌تواند با ترکیبی از تبلیغات، ابتکارات تبلیغاتی، برتری تفکر، صحبت کردن و فعالیت‌های فروش صورت گیرد.
تجربه ی مشتری
روابط، محصولات و سرویس‌ها/برنامه‌ها که مشتریان را قادر می‌سازد تا در ارزیابی محصولات موفق باشند. خصوصا، شامل راه‌هایی است که مشتریان از طریق آنها پشتیبانی فنی یا پشتیبانی حساب دریافت می‌کنند. می‌تواند شامل ابزارهای کمکی، برنامه‌های پشتیبانی از مشتری (و کیفیت آن)، دسترسی گروه‌های کاربری، توافق‌نامه‌های سطح سرویس و غیره باشد.
عملیات
توانایی سازمان در برآوردن اهداف و تعهدات آن. فاکتورهایی از قبیل کیفیت ساختار سازمانی، مهارت‌ها، تجربیات، برنامه‌ها، سیستم‌ها و سایر وسایل که سازمان را قادر می‌سازد تا به طور موثر و کارامد عمل کند.
تکمیل دید
درک بازار
توانایی فروشنده برای درک خواسته‌ها و نیازهای خریداران و تبدیل آنها به محصولات و خدمات. فروشندگان دارای دید بالا، خواسته‌ها و نیازهای خریداران را درک کرده و میتوانند با دید بالای خود آنها را تغییر و یا بهبود دهند.
استراتژی بازاریابی
مجموعهای از پیام‌های واضح و متفاوت که به طور مداوم از طریق سازمان مراوده شده و از طریق وب‌سایت، تبلیغات و برنامه‌های مشتری به خارج از کشور منتشر می‌شود.
استراتژی فروش
استراتژی فروش محصولات که از شبکه‌های فروش مستقیم و غیرمستقیم، بازاریابی، خدمات، و ارتباطات مناسب استفاده می‌کند و گستره و عمق بازار، مهارت‌ها، تخصص‌ها، تکنولوژی‌ها، سرویس‌ها و پایگاه مشتری را گسترش می‌دهد.
استراتژی عرضه
رویکرد فروشنده به منظور توسعه و تحویل محصول که بر تمایز، قابلیت، متدولوژی و مجموعهای از ویژگی‌ها که به نیازهای فعلی و آینده می‌پردازند، تکیه دارد.
مدل تجاری
منطق و دلیل پیشنهاد تجاری مشتری.
استراتژی vertical/صنعت
استراتژی فروشنده برای هدایت منابع، مهارت‌ها و عرضه‌ها به منظور برآوردن نیازهای خاص بخش‌های منحصر به فرد بازار، از جمله بازارهای vertical.
نوآوری
طرح‌بندی مستقیم، مرتبط، مکمل و هم‌افزایی منابع، تخصص یا سرمایه برای اهداف سرمایه‌گذاری، تقویت، دفاعی یا پیشگیرانه.
استراتژی جغرافیایی
استراتژی فروشنده برای هدایت منابع، مهارت‌ها و عرضه‌ها به منظور برآوردن نیازهای خاص جغرافیایی خارج از "خانه" یا جغرافیای بومی، به طور مستقیم یا از طریق شرکا، کانال‌ها و شرکت‌های تابعه آن جغرافیا و بازار.
شرکت مهندس پیشگان آزمون افزار یاس، ابزارهای پیشرفته زیر را در حوزه تست نرم افزار ارائه می دهد:
تهیه و آموزش ابزارهای تست عملکردی همچون SOATest و Ranorex
تهیه و آموزش ابزارهای تست پرفورمنس همچون WPLT و LoadTest
تهیه و آموزش ابزارهای تست امنیت و نفوذ همچون WebInspect و AppScan
راه‌اندازی ابزارهای تحلیل ایستا (مرور سورس کد) همچون JTest، dotTest، C++Test، Sonar و Checkmarx
راه‌اندازی ابزارهای تحلیل پویا (پروفایلر) همچون Yourkit Java Profiler و Yourkit dotNet Profiler
مانیتور کردن شاخص‌های کارایی سامانه‌های نرم‌افزاری از طریق ابزارهای مدیریت کارایی همچون AppDynamics
نویسنده : شرکت مهندس پیشگان آزمون افزار یاس