Magic Quadrant برای تست اتومات

خلاصه

سردمداران اپلیکیشن کسانی هستند که در حال مدرن کردن توسعه اپلیکیشن با نیاز رو به رشد تحویل سریع اپلیکیشن با کیفیت بهتر هستند. ما شرکت های اصلی که تست های اتومات شده ی عملکرد را مقیاس دهی نموده، آن را تسریع کرده و برای تست پیوسته ی مورد نیاز DevOps را فراهم ساخته اند، ارزیابی کرده ایم . تا سال 2021 ، 50% شرکت های enterprise اتومات سازی تست هوشمند مبتنی بر AI و یادگیری ماشین را تقویت خواهند کرد.

توضیح / تعریف بازار

بازار تست اتومات شده ی نرم افزار ، ابزارها، تکنولوژی ها، اجزا و سرویس هایی را عرضه می کند که با هم اجزای حیاتی تست اتومات را تشکیل می دهند و آن شامل ابزارهایی برای اجرای تحلیل کد استاتیک، تست عملکرد و بارگزاری و تست کارایی به روش اتومات است. Magic Quadrant برروی ابزارهای اتومات سازی تست عملکرد نرم افزار تمرکز دارد. این ابزارها یک سازمان را قادر به طراحی ، توسعه، نگهداری، مدیریت، اجرا و تحلیل تست های عملکرد اتومات شده برای اپلیکیشن هایی که بر روی پلتفرم های مختلف اجرا می شوند، می نماید.

آنها می توانند تست های عملکرد اتومات شده را با تست UI یک اپلیکیشن یا تعامل با اپلیکیشن از طریق API آن اجرا کنند. ابزارهای اتومات سازی تست، پایه های رسیدن به رویکرد تست پیوسته ی مورد نیاز DevOps هستند. تست پیوسته ، پروسه ی اجرای تست های اتوماتی هستند که قسمتی از خط تولید و تحویل نرم افزار کاندید تولید هست.این نیاز به توانایی ادغام با و تقویت محیط های مختلف شامل توسعه نامحدود ،CI،QA، تولید، تست کارآیی، مرحله بندی و حتی تولید، دارد.

بازار تست اتومات شده شامل وندورهای مستقل و محصولات تست اتومات شده ای است که قسمتی از کار یا راهکار یک وندور بزرگتر است. مشتریان می توانند هر محصول اتومات کننده ی تست را به عنوان یک محصول مستقل عرضه شده بخرند. برخی از این محصولات دارای گزینه های فراوان و اجزای مرتبط هستند و بیشتر ابزارهای open source را عرضه می کنند که می توانند درصد قابل توجه از مشتری مداری وندورها را تشکیل دهد. ما همچین توجه کردیم که بسیاری از سرویس های تست نیز یک عرضه ی تست اتومات دارند، هرچند که آنها در حالت کلی مستقل از سرویس ها نیستند.

در طول سالها تعدادی از وندورهای مستقل در این محیط توسط وندورهای بزرگتر خریداری شده اند که این خود بیانگر اهمیت زیاد تست اتومات شده در بسیاری از سیستم های enterprise است.Gartner انتظار دارد عرصه ی تست اتومات شده به سرعت به تکامل ادامه دهد. این به مرور زمان باعث افزایش تقاضا برای تست اتومات شده بر روی طیف وسیعی از پلتفرم ها و تکنولوژی هاست.

Open source ها به تاثیر بر روی بازار ادامه می دهند. در حال حاضر راه کارهای open source عمدتا بر مبنای توسعه دهندگان بوده و تمرکز آن برروی تکنولوژی های وب و موبایل است که آنها را به نوعی خاص می سازد و البته برای همه ی نیازهای تست مناسب نیست. ما انتظار داریم که بیشتر سازمانها در آینده از بیش از یک راه کار برای 5 سال آینده استفاده کنند. ما همچنین انتظار داریم که open source ها به عنوان المان های اصلی مقدار رو به رشد سرویس های تست اتومات شده ی مبتنی بر cloud شناخته شوند.

Magic Quadrant

Magic Quadrant

Technologies CA

تکنولوژی های CA در قسمت Visionaries quadrant براساس چشم اندازش برای DevOps، تست Shift-left ، و تست پیوسته قرار گرفته است. کار تست اتومات شده اش برای پوشش دادن فازهای مختلف تحویل نرم افزار از جمله طراحی ساخت تست و تولید نهایی وعملکرد می شود وهمچنین از agile و کارهای توسعه ی کم سود نیز پشتیبانی می کند.

اتومات کننده ی تست CA شامل چندین محصول از جمله CA Agile Requirement Test برای اجرای تست در محل و CA BlazeMeter برای تست SaaS-based است. یک ادغام با CA Test Data Manager برای ساخت و ارائه ی دیتای تست وجود دارد.

Test Case ها می توانند با استفاده از یک الگوی مدل سازی دیداری که از گزینه های مختلف استفاده می کند تولید شوند.هر چند که اسکریپت های تست می تواند با استفاده از فایل های پیکر بندی و تکه های کد برای موتورهای اجرایی مختلف مانند CA Application Test، Selenium ، Ranorex یا Testplant و همچنین فریم ورک open source Taurusتولید شوند. چندین ادغام با ابزارهای CI مانند Jenkins و CA Continuous Delivery Director وجود دارند که تست پیوسته و تحویل آن را هماهنگ می کند.

CA تست اتومات شده را با استفاده از الگوی framework-driven عرضه می کند.آن از تست ها برای طیف گسترده ای از تکنولوژی ها پشتیبانی می کند که شامل دسکتاپ، وب و موبایل می شود. تست ها می توانند بر روی محیط cloud مثل Amazon Web Services یا Microsoft Azure یا ماشین های Local اجرا شوند.

نقاط قوت

CA، تست shift-left را از طریق SaaS-based ، API-driven، و ابزارهای open-source-supported که تست پیوسته را از طریق توسعه ی چرخه ی حیات پشتیبانی می کند، موجود می سازد.

CA اجازه ی تولید مجموعه های بهینه شده ی test case ها و دیتای تست بر مبنای تغییرات در این مدل را به روش اتوماتیک و سیستماتیک می دهد. این یک فایده ی چشمگیر نسبت به test case های ساخته شده در روش کمتر سیستماتیک که به صورت دستی از مجموعه های اتومات شده نگهداری می کنند، دارد.

CA یک شبکه ی گسترده از سرویس ها و شرکای تکنولوژی دارد که راه کارهای پیوسته ای را عرض می کنند و درباره ی برندCA به خوبی اطلاع رسانی می کنند.ادغام کننده های سیستمی جهانی راه کارهای CA را در میان کارهای خود عرضه می کنند و سرویس های مدیریت شده راه کارهای تقویت شده ی CA را به منظور تقویت خدمات IT مشترک مدار خود عرضه می کنند.

نقاط ضعف

CA به صورت بومی پشتیبانی برای شناسایی UI object ، تست ابزار/اپلیکیشن موبایل یا تستUI اپلیکیشن ها که مبتنی بر وب نیستند و متکی بر ادغامشان با دیگر ابزارهای تست اتومات UIهستند که آنها را پشتیبانی می کند، ندارد. این ممکن است باعث به وجود آمدن هزینه های اضافی برای ابزارهای جداگانه شود.

مدیریت روابط با ذخایر سوم شخص و نگهداشتن یکپارچگی بین نیازمندی ها، کد و تست به صورت هماهنگ متکی بر صادرات و واردات مکرراست.هرچند CA یک مجموعه ی قدرتمند دارد که از تست پیوسته که از رویکرد مبتنی بر مدل پشتیبانی می کند اما چندین مشتری مرجع آن خاطر نشان کرده اند که هنوز این موضوع به طور کامل انجام نشده است.هرچند وندور همچنان متدهای سنتی ساختن تست را پشتیبانی می کند.

IBM

IBM در quadrant رقبا قرار دارد، با یک توانایی خوب برای اجرا و پشتیبانی مشتریان enterprise اما سرعت کمتر نوآوری از قسمت Visionaries و Leaders. در سال 2016، IBM با HCL Technologies برای توسعه و نگهداری خط تولید Rational خود شراکت کرد.که به IBM این اجازه را می دهد که بر روی cloud-native به وجود آمده و راه کارهای شناختی سرمایه گزاری کند.

عرضه ی تست اتومات RTW شرکت IBM یک پلتفرم تست است که از طیف وسیعی از سناریو ها پشتیبانی می کند که شامل تست API تست UI عملکرد و مجازی سازی سرویس است. با دنبال کردن الگوی ثبت / تقویت / اجرا، RTW گزینه های اسکریپتی برای VB.Net و جاوا و ارائه ی تست natural-language را با نسخه ی دیداری آن عرضه کرده است. برای تست UI اپلیکیشن های موبایل و وب ، مراحل تست، جای نشانی دیتا و نقاط تاییدی می تواند توسط تصاویر اپلیکیشن تعاملی ساخته شوند.RTW با پلتفرم UrbanCode IBM مثل دیگر ابزارهای تستCI مانند Jenkins ادغام شده است .

RTW تست های عملکرد را برای ویندوزهای ستنی ، جاوا یا .Net، اپلیکیشن های وب وموبایل اتومات می کند.این همچنین تست API را موجود می کند و می تواند با RTVS برای مجازی سازی سرویس ترکیب شود.IBM پشتیبانی خود را برای مدیریت و تست ابزارهای موبایل عرضه نمی کند. در عوض برای پوشش این موضوع با Bitbar و Perfecto Mobile شریک شده است.

نقاط قوت

محصولات تست اتومات شده ی IBM پشتیبانی بسیار قوی ای برای مجموعه محصولات IBM ارائه می کندکه شامل mainframe ، middleware مانند سری MQ و محیط های مبتنی بر لینوکس است.این شرایط آن را تبدیل به یک شرایط خوب برای شرکت های enterprise می کند تا یک سرمایه گذاری قابل توجه بر روی محصولات IBM داشته باشند.

IBM به مشتریان یک شبکه ی وسیع از منابع آموزش دیده از طریق IBM Testing Services که باعث پشتیبانی ، توسعه ها و خدماتی برای کمک کردن به شتاب بخشیدن تبدیل زمان به ارزش می شود.

IBM ازیک پروسه ی جامع DevOps را برای ارائه ی یکپارچگی بین ALM، تست اتومات شده و اتومات سازی تولید شده پشتیبانی می کند که ارسال با تست اتومات شده را به صورت مداوم ممکن می سازد.

نقاط ضعف

پاسخ ها به نظر سنچی مشتریان و همچنین مرور GPI نشان می دهد که عرضه ی تست اتومات شده به طور کلی دارای رضایت بخشی کمتر از میانگین است. دلیل اصلی این اتفاق کمبود پشتیبانی از آخرین تکنولوژی ها و جعبه ابزارهای web UI مدرن است

نمونه کارهای IBM بسیار جامع است و به نوعی می توان آن را در گروه کارهای بسیار پیچیده به خصوص در مراحل ابتدایی سرمایه گزاری در اتومات سازی تست یا نیازهای اولیه ی تست در نظر گرفت.IBM بر شرکای خود برای عملکردهای اضافه تر که باعث پیچیده تر شدن شرایط فنی و هزینه ای می شود تکیه می کند.

اگرچه IBM بسیاری از ویژگی های بهره وری مانند ثبت / پاسخگویی را ارائه می دهد ولی برای تولید تست های مبتنی بر مدل پشتیبانی محدودی عرضه می کند که ممکن است باعث تحمیل کار زیادی برای نگهداری مجموعه ها ی بزرگ تست ها شود.

Micro Focus

Micro Focus یک از 4 قدرت برتر و به عنوان شرکتی است که موفقیت خود را با تکمیل موفقیت آمیز spin-merge خود با نرم افزار HPE در سپتانبر 2017 چندین برابر کرد.این حرکت باعث شده که Micro Focus تبدیل به یکی از بزرگترین عرضه کننده ابزار تست با استفاده از تسهیم سود شود.

این نمونه کار از نرم افزار HPE به ارث برده شده وکه شامل محصولاتی برای اتومات سازی تست و ALM و تست های مبتنی بر cloud است به علاوه ی محصول UTF برای مهندسی های اتومات سازی تست ، Micro Focus برای تست کننده ها / تحلیل کنندگان کسب و کار BPT را عرضه می کند و نقش های تکنیکال تری با UTF Pro نشان کرده که ازقابلیت های تست Selenium برای مهندسی اتومات سازی agile و تسترهای توسعه دهنده پشتیبانی می کند. تست Silk توسعه ی سریع تست های اتوماتیک شده ی که از الگوهای اتومات سازی متفاوت مانند ثبت/پاسخگویی و تست مبتنی بر کلمه ی کلیدی استفاده می کند را موجود می سازد. آن شامل یک واسط دیداری برای کاربران business-focused مانند جاوا و واسط های developer-focused .NET هستند. هر دو مجموعه ی تست از تست مجموعه ی بزرگی از تکنولوژی ها مانند desktop، web و اپلیکیشن های موبایل پشتیبانی می کند.UTF می تواند به عنوان on-premises یا AWS اجرا شود و تست های موبایل می توانند همچنین به عنوان on-premises یا بر روی مزرعه ی ابزارهای AWS اجزار شوند. Micro Focus ادغام با ابزارهای CA، کنترل منبع و سامانه ی مدیریت تست را ارائه می دهد.

نقاط قوت

Focus در زمینه ی رویکرد تست مداوم با مجموعه ی محصول برای تست های اتومات شده در مقیاس های متفاوت پیشرفت کرده است. آن از رویکرد همکاری برای اتومات سازی تست با پشتیبانی از نقش های متفاوت مانند تحلیل کسب و کار، توسعه دهندگان و مهندسان تست اتومات شده، حمایت می کند.

مجموعه های ترکیب شده ی Micro Focus قابلیت های جامعی برای پشتیبانی از الگوهای تست متفاوت مانند BDD، keyword-driven ، تست های بدون اسکریپت و گزینه های تست متفاوت ،عرضه می کنند

به دلیل spin-merge خود با ابزار HPE، Micro Focus حالا بزرگترین سهم بازار را در بازار تست دارد و می تواند به کاربران شبکه ی بسیار گسترده ای شرکای با مهارت که پشتیبانی ، توسعه و سرویس را فراهم می کنند را ارائه دهد.

نقاط ضعف

در حالی که Micro Focus در زمینه ی محصولات جالب توجهی که با دیگر محصولات تست همپوشانی دارند نسبت به دیگر مالکان پیشرفت قابل توجهی داشته است اکنون به یک چالش دوگانه برای داشتن یکپارپگی با دو مجموعه از محصولات با درجه ی بالا همپوشانی همگام با تلفیق آنها با ساختار نرم افزار HPE قبلی مواجه شده اند.

Micro Focus نیاز به ارتباطات شفاف برای استراتژی رو به جلوی خود برای بسیاری از محصولات دارد که باعث خسارت زدن به نمونه کارهایش می شود. هر تاخیری باعث تقویت بیشتر عدم قطعیت و تقویت نگرانی هایی می شود که از قبل نسبت به آینده ی محصولات و سرمایه گزاری ها وجود داشته است.

سازمان هایی که به دنبال گزینه های سبک تر هستند می توانند نمونه کار Micro Focus را بسیار پیچیده دریابند مخصوصا برای نیازهای تستی ساده تر.Gartner به ادامه ی روند دید ن بقیه ی رقبایی که با افزودن مشتریان نرم افزار HPE سابق سهم از بازار را به دست آورده اند، می پردازد.

Microsoft

Microsoft یکی از 4 قدرت اصلی است که بر اجرای قوی جهانی خود درعرضه های تست و توسعه مبتنی است. آن تجارت Xamarin را که در سال 2016 به مالکیت خود درآورده را با بخش Visual Studio خود در با حفظ تیم مرکزی Xamarin و دیگر محصولات، با هم ادغام کرده است.

عرضه ی تست اتومات شده ی Microsoft شامل Visual Studio و پلتفرم Xamarin برای نویسنده ی تست ، VSTS و Xamarin Test Cloud برای اجرای تست های مبتنی بر cloud و TFS برای اجرای تست های on-premises هست.

Microsoft یک شبکه ی سوم شخص قوی دارد که توسعه های اضافی مانند SpecFlow+ که BDD را برای .Net موجود می کند و جامعه ی توسعه دهندگان .Net را هدف قرار می گیرد ، عرضه می کند.راه کار Microsoft یک طیف گزاره های اسکریپتی و پشتیبانی برای بسیاری از چارچوب های تست را عرضه می کند.با استفاده از محصول Azure تست ها می توانند درهر مقیاسی بر روی محیط های تست متفاوت اجرا شوند.

Microsoft پشتیبانی برای اپلیکیشن های مبتنی بر .Net ، وب و موبایل را ارائه می کند و نمونه هایی برای اهداف اضافه تر برای تست نیز مانند Universal Platform Test عرضه می کند. ویژگی IntelliTest به صورت اتوماتیک برای کدهای .Net یک واحد تست تولید می کند. قابلیتی برای تست واحد live و تحلیل اثر تست به طور اتوماتیک شناخته می شود و اجرا می شود و تنها بر روی آن کدی که نتیجه ی تستش مسئله داشته تغییرات اعمال می شود.

نقاط قوت

Microsoft یک پشتیبانی قوی برای تست مداوم عرضه می کند .آن توسعه دهندگان را قادر می سازد تا واحدهای تست ، تست های اتومات شده ی UI و تست های API را مستقیما در محیط مورد نظر خود بنویسند و آنها را در هر مقیاسی به عنوان بخشی ازbuild های ادغام شده اجرا کنند.

Microsoft توسعه دهندگان مدرن حرفه ای را می فهمد وبرای رفع نیازهای جامعه ی open-source نیز متعهد است.کاربران میتوانند از فریم ورک های open-source مانند SpecFlow+ یا Selenium و پلتفرم تست Visual Studio که حالا open source و cross platform هست ، استفاده کنند

نقاط ضعف

Microsoft برای تست API به صورت بومی هیچ عرضه ای ندارد. در حالیکه تست اتومات شده ی Microsoftچندین ابزار کارا مانند نمونه های تست و یک امکان record/reply عرضه کرده است اما تمرکز زیاد آن بر روی توسعه دهندگان آن را برای غیر توسعه دهندگان نامناسب می کند. آن در بین خریداران LOB سطح بالاترکششی ایجاد نکرده است.

نگهداری مجموعه های بزرگ تست ممکن است که نیاز به کارهای اضافه تر داشته باشد.اگرچه Microsoft توانایی اجرای اتوماتیک تنها برای تست هایی ممکن می سازد که از تغییر کد تاثیر گرفته اند . Microsoft تولید سیستماتیک test case های مورد نیاز را عرصه نکرده است بخ عنوان مثال بر مبنای تغییرات در مدل یک اپلیکیشن.

Parasoft

این شرکت سال ها در بازار اتومات سازی تست با مشتریانی در قسمت های مالی ، مخابرات ، بیمه و بهداشت، حضور داشته است. این شرکت یکی از پیشگامان ابزارهای تست API است و بر روی آن دسته از سازمان هایی تمرکز کرده است که به دنبال تست مداوم تطبیقی به عنوان بخشی از اصول DevOps هستند.

محصول تست API آن SOATest بخشی از یک کار بزرگ تر است که شامل تست واحد، مدیریت محیط و مجازی سازی سرویس می شود. Parasoft بر روی سازمان های QA که نقش های توسعه دهنده و تستر توسعه دهنده دارند تمرکز کرده است و نرم افزار SOAtest آن و محصولات Virtualize آن از طیف وسیعی از پروتکل ها و چارچوب ها پشتیبانی می کنند. تست ها می توانند با استفاده ی از تجربه ی record و playback همگام با استفاده از ابزارهایی مانند Swagger، RAML و WSDL تولید شوند.

Parasoft هر دو نسخه ی دسکتاپ و وب را برای توسعه ی تست بدون اسکریپت عرضه می کند وابزار تولید کننده ی دیتای آن می تواند دیتای تست را به عنوان بخشی از پروسه تولید کند. اجرای سناریوهای تست end-to-end شامل تست های عملکرد وب، تست های API، تست های موبایل، تست های ادغامی و تست های اعتبارسنجی دیتابیس، ممکن است. Parasoft تعدادی REST API برای ساخت تست و اجرای آن عرضه می کند که می تواند به عنوان بخشی از پروسه ی CI استفاده شود و عملکرد اضافی نیز از طریق plug-in هایی که در Parasoft marketplace موجودند، عرضه می شوند.

پشتیبانی Parasoft از طیف وسیعی از پروتکل ها آن را قادر به دسترسی و تست middleware ها و سیستم های back-end از جمله ESB ها و دیتابیس ها می کند. تست ها می توانند بر روی ماشین های local اجرا شوند یا از زیرساخت های پویایی که Docker Image ها ، Microsoft Azure VMs یا amazon Web Services VMs را نیرو می بخشد، استفاده کنند.

نقاط قوت

Parasoft یک انتخاب مناسب برای enterprise هایی است که بر روی تست مداوم و اصول DevOps تمرکز کرده اند. قابلیت یکپارچگی قدرتمند با سیستم های مدیریت تست و ابزارهای CI نظیرJenkins دارد.

Parasoft قابلیت های تستAPI بسیار جامعی دارد که از بیشتر از 120 پروتکل و انواع پیام ها پشتیبانی می کند. آن اجرای اتوماتیک سناریوی یک تست end-to-end را بر روی چندین نقطه ی پایانی از جمله سرویس ها، دیتابیس هاو ESB ها ممکن می سازد.

Parasoft یک نسخه ی رایگان از Virtualize Parasoft را عرضه کرده و با Microsoft برای عرضه دسترسی رایگان به Virtualize/SOAtest به مدت 6 ماه به کاربران VSES شراکت کرده است. این به برجسته تر شدن Parasoft در جامعه ی توسعه دهندگان .Net کمک خواهد کرد.

نقاط ضعف

Parasoft برای تست وب در دو سطح API و UI با استفاده از selenium برای وب و Appium برای موبایل پشتیبانی عرضه می کند اما تست سطح UI برای اپلیکیشن هایی که مبتنی بر وب نیستند را پشتیبانی نمی کند.

هرچند Parasoft با ادغام کنندگان سیستم نظیر Cognizant،Infosys و Accenture شراکت کرده است، هنوز برای تقویت این روابط به طورکامل قادر نیست. تیم PPS بسیاری از نصب های Parasoft را ارسال می کنند. هرچند که مشتریان مرجع Parasoft رضایتمندی نسبی را نشان داده اند اما آنها کمبود جامعه کاربری آنلاین حامی بزرگ و یک استراتژی open-source برای Parasoft را به عنوان جایی برای نگرانی عنوان نکرده اند.

Ranorex

Ranorex جزء بازیگردانان ذخیره برمبنای استراتژی توزیع محدود است و بر روی فروش مستقیم به توسعه دهنده ها و تسترها تمرکز دارد. Ranorex یک محصول تنها با پشتیبانی تکنولوژی خوب دارد اما شرکت همچنان کوچک است و به بلوغ و شکوفایی دید خود برای اتومات سازی تست ادامه می دهد.

محصول تست اتومات شده ی Ranorex،Ranorex Studio، یک محیط کامل برای ساخت تست اتوماتیک شده بر مبنای Microsoft .Net عرضه می کند. آن شامل تست های اتومات شده تست دیتا و keyword-driven ، و cross platform و تست ابزارها با یک ابزار است . Ranorex بر روی توسعه دهنده ها و تسترها با یک گزاره برای نوشتن کد تست در C# یا VB.Net تمرکز می کند. آن یک قابلیت automerge در موارد تداخل بعد از اصلاح کد همزمان در زمان استفاده از Git عرضه میکند.برای کاربران کمتر تکنیکی، Ranorex Studioویژگی های کارایی برای توسعه ی سریع تست های اتومات شده نظیر الگوی keyword-driven و ماژول های عملی قابل استفاده که می توانند توسط امکان Ranorex Recorder ساخته شوند، عرضه می کند.Test case ها و فولدرهای هوشمند می توانند به صورت مشروط بر مبنای داده های منبع دیتا یا پارامترها اجرا شوند. Ranorexاز استفاده ی از Selenium WebDriver نیز پشتیبانی می کند.

Ranorex از طیف گسترده ای از تکنولوژی ها از جمله ویندوز بومی،.Net یا تکنولوژی جاوا و بسیاری از فریم ورک های محبوب GUI پشتیبانی می کند.آن از تست وب برای طیف گسترده ای ازجعبه ابزارfront-end توسعه ی وب و مرورگرها پشتیبانی می کند و می تواند زیرساخت selenium مانند selenium Grid رابرای اجرای ریموت تست ها، تقویت کند.

نقاط قوت

Ranorex پشتیبانی تکنولوژی جامعی را با شناخت اجزاء واسط کاربری برای ویندوز،.Net ، جاوا، وب و تکنولوژی های اپلیکیشن موبایل را عرضه می کند.این مخصوصا برای توسعه دهندگان و تسترهای مهارتهای .Net بسیار مناسب است.

Ranorex از تستهای مداوم با ادغام با ابزارهای CI مانند Jenkins، TeamCityو Microsoft TFS و پشتیبانی از Docker images به همراه پلتفرم های اجرایی SaaS-based مانند Sauce Labs یا BrowserStack برای اجرای تست، پشتیبانی می کند.

Ranorex یک مدل پروانه دار سرراست و نسبتا ارزان قیمت را عرضه می کند که شامل تست طیف گسترده ای از تکنولوژی ها و پلتفرم ها و هیچ هزینه ی اضاقی دیگری برای plug-in ها ، توسعه ها یا ادغام هایش دریافت نمی کند.

نقاط ضعف

با وجود اینکه شناخت UI Object آن بسیار قوی است، Ranorex یک راه کار تست API را ارائه نمی کند و هنوز هم هیچ قابلیتی برای ورود یا انتقال تست های API موجود به تست های Ranorex یا بالعکس عرضه نکرده است.

Ranorex هنوز کوچک است. در حالیکه چندین توزیع و شریک خدماتی دارد، به یک شراکت استراتژیک با ادغام کنندگان سیستمی بزرگ که بتوانند به تاخت آن به سمت enterprise های بزرگترکمک کنند، نیاز دارد.

پاسخ های مشتریان مرجع و نظرسنجی های Gartner از عرضه ی تست اتومات شده Ranorex رضایتمندی کلی زیر متوسط را نشان می دهد.

SmartBear

SmartBear در بخش Challengers quadrant است ودارای یک موفقیت مداوم روشن است و بر روی آن دسته از سازمان های IT تمرکز کرده است که نیاز به شیفت به سمت تست های پیوسته دارند. SmartBear تست اتومات شده ی end-to-end را عرضه می کند و تمرکزی قوی بر روی چرخه ی عمر API دارد.

عرضه ی تست اتومات شده ی SmartBear یک مجموعه از ابزارهایی هستند که برای ساخت تست های عملکردی در لایه ی UI و لایه ی API همچون ابزارهایی برای اجرای مبتنی برcloud تست های UI و مجازی سازی سرویس به کار می روند.

TestComplete مهندسان QA را قادر می سازد تا تست های اتومات شده ی خود را در لایه ی UI که از دو روش توسعه ی برنامه ریزی شده و keyword-driven استفاده می کنند را توسعه دهند.

TestLeft توسعه دهندگان را نشانه گرفته است و آنها را قادر می سازند تا در اتومات سازی تست به وسیله ی ادغام با IDE های مورد نظرشان مانند Visual Studio شرکت کنند.

برای لایه ی API، ReadyAPI قابلیت های تست عملکرد،کارآیی و امنیت را عرضه می کند در حالی که TestServer این قابلیت ها را در ابزارهای developer – native ارائه می کند.تست های وب اتومات شده می توانند در هر مقیاسی دربسیاری از محیط های تست مختلف در CrossBrowserTesting cloud اجرا شوند که بسیاری از مرورگرهای موبایل و وب را عرضه می کنند و از فریم ورکهایی مانند Selenium و Appium پشتیبانی می کنند.SmartBear در جوامع open-source کاندید شده است و از ابزارهای مانند SoapUI و Swagger حمایت می کند.

SmartBear پشتیبانی برای ویندوز، .NET و اپلیکیشن های جاوا را به خوبی جعبه ابزارهای توسعه وب و ابزارهای موبایل عرضه می کند.آن تست مداوم را از طریق قابلیت های قدرتمند برای تست API ومجازی سازی سرویس ممکن می سازد و همچنین از build و سرور های CI متفاوت و ادغام هایی با ابزارهای کنترل منبع پشتیبانی می کند و ابزارهای پیگیری و سیستم های مدیریت تست را از کار می اندازد.

نقاط قوت

SmartBear دارای یک طیف وسیعی از پلتفرم ها با یک مجموعه ی خوب از قابلیت ها برای تست عملکرد اپلیکیشن های دسکتاپ و کنترل های فریم ورک GUI محبوب، اپلیکیشن های وب و موبایل هست. SmartBearیک عرضه ی کامل از چرخه ی حیات API دارد که شامل تست عملکرد و تست بارگزاری ،مجازی سازی سرویس و تعریف و مدیریت سرویس هااست. این شرکت را در جایگاه خوبی در زمینه ی تست ساختار میکروسرویس ها قرار می دهد.

SmartBear یک جامعه ی قوی دارد که ازمشتریان حمایت می کنند و به آنها کمک می کنند تا محصولات خود را توسعه و شخصی سازی برای اهداف خاص کنند.این جامعه به خوبی با جامعه ی open-source از طریق پشتیبانی Swagger و SoapUI به خوبی بهم تنیده شده اند.

نقاط ضعف

محصولات مبتنی بر توسعه دهنده SmartBear یعنی TestLeft و TestServer نسبتا جدید هستند و هنوز هم برخی محدودیت ها دارند مثل اینکه هیچ گونه قابلیت ثبتی ندارند و تست ها نیاز به scripting دارند. در حالیکه توسعه دهنده ها ترجیح می دهند کد بزنند، کمبود محصولات از ویژگی های کارا ممکن است باعث اثرگزاری بر روی تلاشهای سرتاسری توسعه ی تست، شود.

در حالیکه SmartBear پشتیبانی BDD را عرضه می کند، هیچ گونه قابلیتی برای طراحی test case های اتوماتیک و تولید تست مبتنی بر مدل عرضه نمی کند. این ممکن است باعث تحمیل تلاشهای بیشتر برای نگهداری مجموعه های بزرگ تست ها شود.

SmartBear از یک شرکت تک محصوله برای تست UI به عرضه کننده ابزارهای تست کیفیت برای تیم ها با چندین خط محصول که هنوزهم میراث متفاوت خود را نشان می دهد، رشد کرده است.

Testplant

Testplant در بخش Visionaries quadrant بر مبنای دیدش برای تست اتومات شده ی technology-agnostic، cross-platform و برای هدف قرار دادن نیاز به تست تجربه ی کاربر حقیقی به وجود آمده اند.این یکی از پیشگامان شناخت Image-based object است واتومات سازی تست که تیت هر ابزاریا تکنولوژی را ممکن می سازد.آن بسیاری مشتری در صنعت هایی مانند خرده فروشی، اتومبیل، هوافضا و دفاع دارد.

محصول Testplant’s Eggplant Functional قسمتی از Digital Automation Intelligence Suite است که همچنین شامل Eggplant AI برای تولید test case بهینه شده است.Eggplant Functional باعث توسعه ی سریع تست اتومات شده ی قابل استفاده ی مجدد و technology-agnostic ، با گزینه های متفاوت برای تست های در حال توسعه مانند شیوه ی ثبت هدایت شده و اسکریپت دستی هست.آن ویژگی های کارایی مانند تست مبتنی بر جدول و پشتیبانی ازفریم ورک Gherkin/BDD برای کاربرهای غیرتکنیکی است. Eggplant Functionalزبان اسکریپتی خود را SenseTalk راعرضه می کند اما برای زبان های برنامه نویسی مختلف، پیوستگی زبانی دارد.توسعه دهندگان می توانند از فواید eggDrive APIs برای جاوا و .NET بهره ببرند.

Eggplant AI به کاربران اجازه ی تولید و اجرای اتوماتیک یک مجموعه ی بهینه از تست ها بر مبنای الگوی دفاعی را می دهد. با ادغام با ابزارهای CI مانند Jenkins وارد plug-ins و API ها می شود. Testplant هیچ پشتیبانی برای تکنولوژی و پلت فرمهای خاص UI عرضه نکرده درعوض به واسطه ی شناخت image-based object توسعه ی تست های اتومات شده قابل استفاده ی مجدد برای هر اپلیکیشنی که GUI دارند را ممکن می سازد. این وندور ادغام هایی با ابزارهای تست domain-specific که شامل CAN وسیله ی نقلیه، سیستم های bus و سیستم های پرداخت خرده فروشی می شود.

نقاط قوت

Testplant یک راه کار تست اتومات شده ی خوب را که از طیف وسیعی از تکنولوژی ها و ابزارهای مختلف مخصوص صنعت مانند ماشین های vending ، کنسول های بازی، عرضه می کند. Testplant یک تمرکز قوی بر روی اپلیکیشن هایOmni channel و IoT دارد که آن را تبدیل به یک انتخاب خوب برای اپلیکیشن های پر مشتری در زمینه تجارت الکترونیکی و دیگر سناریوهای تعاملی می کند.

Testplant یک رویکرد مبتنی بر همکاری برای تست اتومات شده ترویج داده است که توسط آن کاربران غیرتکنیکال می توانند در پروسه ی ساخت تست های اتومات شده از طریق پشتیبانی اش برای تست behavior-driven که باعث افزایش ظرافت و کارایی می شود حضور فعال داشته باشند.

نقاط ضعف

در حالیکه Testplant پشتیبانی برای تست فراخوانی REST/SOAP API را عرضه می کند اما همچنان پشتیبانی برای پروتکل هاو تکنولوژی های دیگربرای تست API را کم دارد.

تکنولوژی Testplant برپایه ی الگوی شناخت تصویر استفاده ی آسان تکیه دارد.اگر چه مشتریان مرجع خاطرنشان کرده اند که ممکن است چالش هایی زمان استفاده از محصولات بدون آموزش و راهنما از یک منبع با تجربه به وجود بیاید.

Testplant تقاضای خوبی رد بازار آمریکای شمالی وEMEA دارد اما نیاز به افزایش تلاش بازاریابی خود به منظور افزایش آگاهی درباره ی محصولات خود دارد.آن یک اثر مختصر در رسانه ی اجتماعی دارد و هیچ جامعه ای که کاربران بتوانند بهترین فعالیت های خود را درآنجا تسهیم کنند،ندارد

Tricentis

Tricentis در قسمت Leaders quadrant است و رشد فروش قابل توجهی با enterprise IT و ISVs از خود نشان داده و همچنان به خوبی به اجرای شراکت با ادغام کنندگان سیستم ها ادامه می دهد و تسترهای دستی را قادر می سازد که به متخصصان تست های اتومات شده تبدیل شوند. Testplant Tosca یک مجموعه از ابزارهاست که از تست اتومات شده ی مالی در لایه ی UI و لایه ی API ، مجازی سازی سرویس و تست اکتشافی پشتیبانی می کند.آن تست اتومات شده ی مبتنی بر مدل را که از رویکرد توسعه بدون اسکریپت و ویژگی های کارایی نظیر اسکن UI/API استفاده می کند را پشتیبانی می کند. یک قابلیت طراحی test case به کاربران اجازه می دهد تا یک مجموعه ی بهینه شده از تست های data-driven تولید کند که بر ترکیبی از گزینه های مختلف دیتای تست و پوشش ریسک دلخواه استوار است. محصول از ادغام و جابجایی تست های اتومات شده ی تست های Selenium و اجرایشان در مجموعه های تست بزرگتر که می تواند همچنین شامل تست هایی برای دیگر انواع اپلیکیشن ها مانند دسکتاپ یا موبایل باشد، پشتیبانی می کند.

یک پشتیبانی خوب برای تست های مداوم از طریق ادغام با ابزارهای CI نظیر Jenkins وجود دارد. چندین نسخه از Testplant Tosca ، ویژگی های اصلی مانند طراحی test case، مدیریت تست و دیتای تست همگام با مجموعه های متفاوت پشتیبانی تکنولوژی را عرضه کرده اند.نسخه های مدرن App ها شامل پشتیبانی تست دسکتاپ ،وب و اپلیکیشن های موبایل ،تست API و ادغام CI می شوند.نسخه ی Premium پشتیبانی برای اپلیکیشن های enterprise را اضافه کرده است.

نقاط قوت

Testplant Tosca ترکیب قوی ای ازطراحی test case های مبتنی برریسک، تست های اتومات شده ی مبتنی بر مدل، مدیریت داده ی تست ادغام شده و تحلیل ها را عرضه می کند.این به خوبی برای تیم های مرکب از اتومات کنندگان تست متخصص و کم تخصص بسته شده است.

Testplant Tosca ارتباط قوی ای با شرکای تکنولوژی و سرویس دارد که عبارتنداز پیوستن به بازاریابی و برنامه های آموزشی که می تواند منجربه صدور گواهی برای تعداد قابل توجهی از منابع شود.

نقاط ضعف

در حالیکه Testplant درآمریکای شمالی بسیارپر تقاضا است و برخی از مناقصات را در این منطقه برده است، عمده ی مشتریانش در ناحیه ی EMEA و APAC هستند.وندور نیاز به افزایش تلاشهای بازاریابی خود در آمریکای شمالی به منظ.ر افزایش آگاهی از محصولات خود دارد.

راه کار تست اتومات شده ی Testplant برخی ویژگی های مبتنی بر توسعه دهنده را مانند Tosca API Scan برای ساخت Test Case برای وب سرویس هایی مانند .NET API به منظور توسعه ی عملکرد Toscaعرضه می کند هرچند تمرکز آن بر روی کاربران کمتر تکنیکی آن را تبدیل به یک مجموعه ی کمترمناسب برای توسعه دهندگان تبدیل می کند.

مشتریان مرجع Testplant Tosca خاطرنشان کرده اند که قیمت گزاری این محصول می تواند قدری بهتر باشد.قیمت گزاری آن بسیار پیچیده است وTosca یک محصول premium-priced است که قضاوت درباره ی آن درعصرقیمت گزاری open source ها و مبتنی برSaaS ها بسیار دشوار است.

معیارهای شمول و عدم شمول

وندورها در لیست امسال Magic Quadrant معیارهای زیر را داشتند:

 

توانایی ساخت، توسعه، مدیریت و اجرای تست های عملکرد اتومات برای حداقل یکی از موارد تست اتومات UI یا تست اتومات API را عرضه کند

قابلیت نوشتن تست در بر روی پلتفرم ویندوز به علاوه قابلیت اجرای تست ها بر روی ویندوز و حداقل یکی از دو پلتفرم موبایل Android و iOS را عرضه کرده باشد.

گزارش سود نرم افزار در سال 2016 بیش از 10 میلیون دلار ازاجازه ی محصولات تست اتومات شده ی خود داده اند.

ارائه دربازارجهانی و حضور مستقیم در حداقل 2 ناحیه ی آمریکای شمالی،آمریکای لاتین، EMEA یا APAC

حداقل 20 مشتری جدید نقد enterprise برای محصول تست اتومات در سال 2016 در حداقل یکی از دو منطقه ی زیر اضافه کرده

حداقل 20 مشتری جدید نقد enterprise برای محصول تست اتومات در سال 2016 در حداقل یکی از دو منطقه ی زیر اضافه کرده باشد: آمریکای شمالی،آمریکای لاتین، EMEA یا APAC

ما وندورهایی را خارج کردیم که:

تنها پلتفرم های اجرای تست را بدون ابزاری برای ساخت، توسعه، یا مدیریت تست های اتومات شده عرضه کرده باشند.

تنها تست های موبایل را عرضه کرده باشند

تنها ابزارهای تست تجاری off-the-shelf-only را عرضه کرده باشند یا ازابتدا بر روی سناریوهای تست اپلیکیشن های بسته تمرکز کرده باشند.

نرم افزارشان را تنها با سرویس های توسعه ای / حرفه ای جفت کرده باشند وبه این دلیل ابزار منحصرا توسط مشاوران شرکت استفاده شود.

یک عرضه ی تجاری enterprise را نفروشد.به این معنی که راه کاری را عرضه کرده باشد که تنها نرم افزار open-source باشد.

معیار ارزیابی

توانایی اجرا

ما عرضه کنندگان تکنولوژی را در کیفیت و اثرگزاری پروسه ها،سیستم ها، متد ها یا روندهایی که کارآیی عرضه کنندگان IT را در کورس رقابت نگه می دارد راارزیابی کردیم همچنین فاکتورهایی که به طور مثبت بر روی سود شرکت و ابقا و اعتبارشرکت در میان نظرسنجی های Gartner اثر دارد را نیز ارزیابی کرده ایم.

تست های عملکرد اتومات شده ی اصلی به سرعت در حال تبدیل به کالا هستند و وندورها با بها دادن به ابزارها و فریم ورک های مورد نظر به طور فزاینده ای در حال رقابت هستند.

محصول یا سرویس

گستردگی و عمق محصولات و ویژگی ها در کنار چرخه حیات توسعه نرم افزار(SDLC) که شامل طراحی تست و توسعه ، نگهداری از test case ها و قابلیت استفاده ی مجدد آنها و مدیریت دیتای تست، تست اتومات شده و ادغام آنها با یک تمرکز قدرتمند بر پشتیبانی از تست مداوم می شود.

توانایی کلی

زمان سپری شده برای R&D محصول تست اتومات شده، رشد صنعت تست اتومات شده و سرمایه گزاری بر روی آن

عملیات فروش/قیمت گزاری

رسیدن به یک فروش زیاد در مناطق و صنایع گوناگون، تأثیر برروی فروش ها مانند چرخه ی فروش های بلندمدت / کوتاه مدت و سادگی مدل های قیمت گزاری

ثبت/ پاسخگویی بازار

محصولات جدید و ویژگی های نو از طریق پروسه ی توسعه و شراکت و مالکیت چقدر سریع می توانند وارد بازار شوند.

عملیات بازاریابی

آگاهی رسانی های عمومی وندور در بازار، حضور در رویدادهای متفاوت و رسانه ی اجتماعی، درک IT و LOBs و اینکه چقدر راحت خریداران تفاوت های وندور را متوجه می شوند.

تجربه ی مشتری

توانایی جذب حداکثری تجربیات مشتریان در به دست آوردن سطوح فزاینده ی اتومات سازی و نگهداری از آن اتومات سازی. سهولت استفاده و آموزش برای توسعه و افزایش سرتاسری تکامل تست مشتریان.

عملکردها

رهبری موثر، ثبات از دید رهبری و ثبات دربه کارگیری منابع

معیار ارزیابی
محصول یا سرویس
وزنزیاد
توانایی کلی
وزنمتوسط
عملیات فروش / قیمت گزاری                           
وزن متوسط
ثبت / پاسخگویی بازار
وزنمتوسط
عملیات بازاریابی
وزنمتوسط
تجربه ی مشتری
وزنزیاد
عملکردها
وزنکم

تکمیل چشم انداز

ما عرضه کنندگان تکنولوژی را از لحاظ توانایی آنها در بیان متقاعد کننده ی جملات منطقی درباره ی مسیرفعلی و آینده ی بازار، نوآوری، نیازهای مشتری وقوای رقابتی همگام با اینکه چقدر خوب آنها مطابق با دید Gartner نسبت به بازارهستند.

رهبرانی که تکمیل چشم انداز را دارند در توانایی هایشان برای رسیدن به بازار از طریق پیام متقاعدکننده و ارسال سراسری یک راه کارکامل ، قوی تر هستند.

پیام های کلیدی هم اکنون حول محور کارآیی و توانایی هدف قرار دادن تکنولوژی و پروسه ی تبدیل است.

درک بازار

توانایی تعامل با بازار به شدت پویا و رقابتی همگام با قادرساختن مشتری برای انجام تست اتومات شده ی موفق. این شامل درک نیازهای IT و LOBs همگام با نیازهای مخصوص قابل پیش بینی ترمی شود.

استراتژی بازاریابی

شناسایی برند قدرتمند ، پیام محصول فکر محور و برنامه های تماس با ما از طریق یک بازار تست متنوع.

استراتژی فروش ها

یک استراتژی go-to-market قدرتمند که بر روی فروش تست اتومات شده به سازمان های enterprise IT ، LOB ها و توسعه دهنده های چابک

استراتژی عرضه

درک قوی از نیازهای enterprise از طریق SDLC.یک راه کار منسجم که طراحی test case ها و تولید تست اتوماتیک ، نگهداری تست اتوماتیک و اجرای آن و مدیریت تست ، یکپارچگی و تست اتومات شده به عنوان قسمتی از digital-business-driven enterprise agile واصول DevOps را در نظر بگیرد.

مدل کسب وکار

رشد سود محصول ، راحتی انجام تجارت با مشتریان و یک فضای شراکتی قدرتمند که استراتژی go-to-market وندور را تقویت می کند.

نوآوری

پیشرفت های تکنولوژی در جاهایی مانند تست پیوسته ، اتومات سازی تست هاس اتومات، قدرتمند سازی منابع non-QA و تسترهایی که به روش های دستی تست می کنند برای شرکت در تلاش برای اتوامت سازی تست ها و توسعه ی پشتیبانی تکنولوژی

استراتژی جغرافیایی

توسعه های مشتریان مختلف در جغرافیای متنوع ، آگاهی بخشی در سراسرجهان و حضور in-country وندور

معیار ارزیابی
درک بازار
وزنزیاد
استراتژی بازاریابی                                            
وزنمتوسط
استراتژی فروش ها
وزنمتوسط
استراتژی عرضه
وزنزیاد
مدل کسب وکار
وزنمتوسط
نوآوری
وزنزیاد
استراتژی جغرافیایی
وزنمتوسط

توضیحات Quadrant

رهبران

رهبران یک ترکیب قدرتمند از قابلیت های اجرا و تکامل چشم انداز را ارائه می دهند.آنها جایگاه های یک بازار قدرتمند را که با وسعت تطابق، توسعه ی جهانی و ادغام با دیگر محصولات نشان داده می شود را پایه گزاری کرده اند. رهبران در پایه ریزی بنیان وفاداری مشتری و نشان دادن رشد بسیار خوب در زمینه ی سود و داشتن سهم بالایی از بازار موفق بوده اند.آنها همچنین یک دید خوب برای نیازهای enterprise ، پشتیبانی از open source و استانداردها ، یک درک جامع از نیازمندی های IT و کانال ها و شراکت های مقیاس پذیر دارند.رهبران باید راه کارهایی را ارائه کنند که دارای سهولت در خرید ، استفاده، مدیریت و ارتقا باشند و بتوانند با طیفی از سیستم های مکمل مرتبط شوند.

رقبا

رقبا در این بازار دارای شمار زیادی از مشتریان راضی enterprise ، تعداد زیادی گزینه ی قابل توسعه و توانایی برآورده کردن نیازهای چندین ذپارتمان در سراسر دنیا هستند. رقبا وندورهایی با چندین سال سابقه ی اجرایی در بازار گسترده هستند اما ممکن است که آنها هنوز یک اثر برجسته در حوزه ی تست اتومات شده در بازار ثبت نکرده باشند . وندورها در quadrant بر طبق مستندات مالی و فروش قابل توجهشان معمولا قابلیت های اجرایی قدرتمندی دارند. آنها تمایل به داشتن یک شرکت خوب پایه ریزی شده و یک حضور جهانی مقبول هستند. به طور کلی ممکن است که رقبا در حالت کلی نوآورانی باشند که در بازار توسعه ی اپلیکیشن حضور پررنگی نداشته باشند.همچنین ممکن است که رقبا کمبود یک دید تجاری یا تکنیکی را داشته باشند یا ممکن است خلأهای اپلیکیشن را نبینند یا استراتژی متزلزل یا ناقص در مسیر تولید محصول داشته باشند.

چشم اندازها

چشم اندازها شامل یک دید روشن و متقاعد کننده از محصولات وآینده بازار همگام با مسیر تکنیکال برلی حصول به آنها است اگرچه آنها هنوز مشخص نکرده اند که دید یک یا چند قسمت از قسمت های معیارهای ذیل مد نظر است:
تاریخچه ی اجرا، سود ، تعداد مشتریان ، تنوع راه کارها یا نتایج مالی قابل توجه .
وندورها در این بخش از quadrant دید بسیار قوی ای نسبت به گروه خاصی دارند که به صورت بالقوه توانایی بهم زدن توازن بازار از طریق نوآوری یا پشتیبانی از تکنولوژی های جدید را دارند اما محصولات ممکن است آنقدر تکمیل یا خوش ساخت نباشند که مورد پشتیبانی enterprise های حهانی قرار بگیرند.

بازیگران ذخیره

راه کارهایی بازیگران ذخیره یا برای گروهی خاص تدارک دیده شده یا با use-case های محدود پشتیبانی می شود.آنها در یک یا بیش از یکی از معیارهای زیر قوی نیستند:
جامعیت / گستردگی محصول ، تمرکز جغرافیایی یا شمار مشتریان. هر چند که ممکن است آنها انتخاب هایی مناسب برای یک سازمان خاص ، یک منطقه یا use case یک صنعت باشند اما به طور معمول آنها آنقدر خوش ساخت نیستند که توسط enterprise استفاده شوند. به علاوه وندورها در این بخش از quadrant ممکن است توانایی های محدودتری برای سرمایه گزاری در عملکردهای ضروری همگام با قابلیت های سازمانی برای توسعه ی پیش نیازهای تمرکز فعلیشان داشته باشند.در برخی از موارد این وندورها ممکن است بالغتر و تواناتر از وندورهای بخش ارائه دهندگان چشم انداز برای پشتیبانی مشتریان باشند.

محتوا

Magic Quadrant در سال 2017 برای بررسی چالش ها و تغییر نیازهای شرکت های enterprise که DevOps و تست پیوسته را پذیرفته اند، تکامل یافته است. همان طور که اصول DevOps جذابیت قابل توجهی را در شرکت های enterprise به دست می آورد، تست و تضمین کیفیت به زودی تبدیل به یک مرحله در تحویل خواهد شد.
اتومات سازی تبدیل به المان ضروری در این کارها شده است ودوباره توجه ها به سمت تست اتومات شده ی نرم افزار به عنوان قسمتی از زنجیره ی ابزاری بزرگتر که DevOps را موجود می کند چرخیده است.این شامل تحلیل کد ایستا و تست هایunit می شود اما همچنان شامل اتومات سازی تست عملکرد در لایه ی UI و لایه ی API همگام با مجازی سازی سرویس وتست های عملکرد که با هر build اجرا می شوند و با ابزارهای CI نیز شروع می شوند. مهم است که توجه شود که اتومات سازی تنها به این معنی نیست که به سرعت یک مجموعه از اسکریپت های تست اتومات شده را بسازیم. این به معنی توانایی ساخت مجموعه ی موثری از تست به عنوان قسمتی از زنجیره ی ابزاری DevOps است که می تواند با کمترین کاری نگهداری شود و بدون مداخله ی انسانی اجرا شوند.نگهداری مجموعه های سالم ومرتبط تست های اتومات شده درطول زمان یکی از بزرگترین چالش ها دراتومات سازی تست است.اغلب زمان ذخیره شده برای اجرای اتوماتیک تست ها مهمتراست اززمانی که صرف به روز رسانی تست ها می شود.اتومات سازی تست موفق باید شامل طراحی اتومات شده ی test case ها هم شود.در نهایت تست ها باید روشن کنند که اپلیکیشن ها فقط کار نمی کنند بلکه نیازمندی های حقیقی تجارت را نیز ارضا می کنند.
زمینه ی امسال Magic Quadrant تست پیوسته است . ما وندورهایی را ارزیابی کردیم که راه کارهای تست اتومات شده با پشتیبانی قوی را به سازمان هایی که درصد بالایی ازتوسعه ی اپلیکیشن های سفارشی داشتند ونیازبه پشتیبانی تست اتومات شده ی پیوسته به عنوان قسمتی ازخط تولید DevOps داشتند،عرضه کرده اند.این عرضه ها شامل توانایی تقویت فریم ورک های تست open source و ابزارهایی که به خوبی باعث افزایش کارایی تستر از طریق ویژگی های ارزش افزوده می شوند.آنها تست اتومات شده ی UI ، قابلیت های تست اتومات شده ی API یا هردو را عرضه می کنند. آنها می توانند تست را برروی همه ی لایه های یک اپلیکیشن ساده کنند.
همزمان با تمرکز ما بر روی سناریوهای توسعه ی سفارشی، ما آن دسته از وندورهایی که در ابتدا بر روی سناریوهای تست اپلیکیشن های بسته شده تمرکز کرده اند را ارزیابی نکردیم . این همچنین اشاره به رشد تکامل بازار نیز دارد.رقبا و بازیگران ذخیره quadrant یک ترکیب خوب از وندورهایی را ارائه کردند که استراتژی های تست اتومات شده ی آن ها و عرضه هایشان بخوبی تنظیم شده اند واغلب به عنوان قسمتی از یک کار بزرگتر به کار می روند. همگام با تغییرات سریع بازار، انتخاب لیست منتخب وندورها از قسمت رهبران quadrant موفقیت آنها را تضمین نمی کند. رهبران IT نیاز به کار با سهامداران LOB خود برای شناخت بهترین راه کار بر مبنای use case های مخصوص، منابع و مجموعه های مهارت ، معماری و زیرساخت IT دارند. چند نکته که باید درباره ی جایگاه وندورها در Magic Quadrant مد نظر گرفته شود:
مطلع باشید که انتخاب یک رهبر ممکن است خیلی پرهزینه و غافلگیرکننده از لحاظ قابلیت های برخی از enterprise ها و وابستگی به آمادگی و use case های شما دارد.
اگر شما یک رقیب را بر مبنای توانایی تحویل سریع انتخاب کنید، ممکن است دارای کمبود دید تجاری یا انسجام تکنیکی باشد یا ممکن است خلأهای اپلیکیشن یا عملکرد واقعی آن را نادیده بگیرد
اگر شما یک visionary را انتخاب کنید آگاه باشید که آن بازار لازم و درک محصول را به طور فوق العاده خواهد داشت اما شاید منابع لازم یا توانایی شرکت پذیری برای به سرانجام رساندن این دید را نداشته باشد.
برای برخی از سناریو های مشخص مثل آنهایی که بر مبنای مجوعه های مهارتی داخلی و یا نیازهای سازمانی هستند می توان انتخاب یک بازیگر ذخیره را مد نظر قرار داد.این بهترین گزینه برای شروع کردن یا ابزارهای اتومات سازی تست مکل است.
Gartner از معیارشمول برای شناسایی وندورهای جهانی که می توانند پروژه های بزرگ و پیچیده را در شرکت های enterprise مدیریت کنند، استفاده میکند اما در این بین وندورهایی وجود دارند که بر روی تکنولوژی های دیگری تمرکز کرده اند که ممکن است مناسب تر باشند. وقتی ابزاری را انتخاب می کنیم فهمیدن use case مخصوص همگام با مجموعه های مهارت ، تمرین ها و مدل های عملکردی به دلیل وجود تکنولوژی های تست متنوع نکته ی کلیدی است . به دلیل اینکه سازمان ها دو مدله شده اند تیم ها باید انتظار داشتن بیش از یک ابزار تست را در محل داشته باشند.به مشتریان توصیه می شود که با نویسندگان Magic Quadrant صحبتی برای محدود کردن لیست منتخب بهترین وندورها در این مطالعه و همچنین آن دسته از وندورهایی که در این لیست قید نشده اند داشته باشند.
بعد از بررسی این تحقیق سران IT نیاز به انجام اعمال زیر دارند:
اگر شما تا قبل از این از هیچ راه کاری برای تست عملکرد اتومات شده استفاده نمی کردید : از این Magic Quadrant برای شناخت بازار استفاده کنید . آن دسته از ابزارهایی راارزیابی کنید که نیازهای شما و مهارت های فنی افرادی را که در پروسه ی تست شرکت می کنند پوشش دهد .یک ابزار تست اتومات شده از رویکرد تست های تکراری ترو استوارتر پشتیبانی خواهد کرد و تست ها قیاس پذیرتری را همگام با افزایش اهداف مورد تست پوشش خواهد داد. اگر شما تا قبل از این از یک راه کار تست اتومات شده استفاده کرده اید و در فکر تعویض وندور هستید : در نظر داشته باشید که آیا بهتر نیست که کمبود عملکرد را با اضافه کردن ابزارهای مکمل جبران کنیم .هزینه ی سوییچ کردن از یک راه کار تست اتومات شده به دیگری می تواند بسته به میزان ادغام سفارشی با محیط شما و منطق اسکریپت سفارشی شده زیاد باشد.
اگر شما از یک ابزار تست اتومات شده استفاده می کنید که اخیرا پاسخگوی نیازهای شما نیست یا اینکه شما فکر میکنید ممکن است که فاجعه نباشد آغاز به ارزیابی پلتفرم های دیگر بر مبنای آینده همگام با نیازهای فعلی خود مانند پشتیبانی از تکنولوژی های جدید، کنید. گزینه هایی که تکنولوژی های یکسان را عرضه می کنند یا به مجموعه های مهارتی یکسانی مانند پشتیبانی مبتنی بر اسکریپت یا الگوی دیداری نیاز دارند اما خود را دز این نیازهای موجود درگیر نکنید اگر نیازمندی های تستی اپلیکیشن شما هیچ کدام از موارد ذکر شده نباشد.
اگر شما از یک راه کار تست اتومات شده استفاده می کنید و از آن راضی هستید: قابلیت های آن و ویژگی های مورد نیاز خود را هر 6 ماه تا 12م اه ارزیابی کنید تا مطمئن شوید که آن ابزار با انتظارات سازمان شما و نقشه هایتان تنظیم است.

بررسی بازار

نیاز به تست اتومات شده برگرفته از ملاحظات time-to-market و اپلیکیشن های پیچیده ای که رو به افزایش هستند و گردانندگان اصلی تجارت دیجیتال شده اند رو به افزایش است.
سازمان ها باید به دنیال راه هایی برای به دست آوردن نرخ بیشتر اتومات سازی و پشتیبانی رو به چابکی محصولات DevOps باشند. اعمال تحویل پیوسته(CD) بر خط تحویل کاملا اتومات تکیه دارد که شامل تست عملکرد اتومات شده با تست کیفیت کد، امنیت و تست بازدهی است.همه اینها به همراه فرصت های تازه ای که به سمت راهکارهای مبتنی بر cloud شیفت پیدا کرده اند با یکدیگر یک بازارپرتکاپو را به وجود آورده اند
در طول انجام این تحقیق ، ادغام Micro Focus و وارث نرم افزار HPE در تاریخ 1 سپتامبر 2017 نهایی شد. معامله یک سال زودتر در تاریخ 7 سپتامبر 2016 اعلام شد و باعث حدس و گمان هایی بر روی اثر بازار آن شد.آن همچنین باعث بازگشایی یک بنجره ی فرصت برای رقبایی شد که مشتاق که سهمی از بازار بگیرند. با وجود اینکه معامله اکنون پایان یافته است ما انتظار بازتابی برای برهم زدن بازار را داریم.HPE برای سالیان زیادی نیروی پیروز در این بازار بوده است و اکنون از بازار خارج شده است.Micro Focus اکنون نیاز به تعریف و ارتباط با استراتژی رو به جلوی خود دارد. ما انتظار داریم که بازار همچنان پویا باقی بماند و با خلق فرصت هایی برای وندورهای دیگر درطول 12 تا 18 ماه آینده به عنوان سرمایه های برجسته به این جریان بپیوندند و عرضه کنندگان تجاری کارهای خود را به سمت پشتیبانی هر چه بهتر محصولات به صورت agile و به سمت اهداف DevOps پیش ببرند.
ما همچنان یک هجوم ثابت تازه ها ، وندورهای مبتکر که نیاز به تعامل با میراث همیشگی را ندارند و می توانند منفعت خود را از محصولات open source برگیرند و به سرعت یک نمونه ی کار جدید و محبوب از محصولاتی بسازند که نیاز توسعه دهندگان را مرتفع کند، را خواهیم داشت .عمده ی این وندورها همچنان در فاز startup با یک سود مختصر و مشتری مداری محدود هستند. هرچند ما انتظار داریم بسیاری از آنها به همراه نمونه کارهایشان از برخی از وندورهای بزرگتر که در بین عرضه هایشان فاصله می افتد مفیدتر باشند.ما همچین به دیدن تلاشهای زیاد شده ی برای خدمات تست که منجر به تولید ابزارها می شوند ادامه می دهیم و انتظار داریم که عرضه کنندگان سرویس های تست اثر بزرگتری برروی کل بازار از طریق سطح استفاده و رشد تست های خارج از منبع داشته باشند.
Open source ها همچنان به داشتن یک تلاش آب کاری شده بر روی بازار ادامه می دهند. در بسیاری از موارد یک سطحی از استانداردسازی را عرضه میکند که با سازمان هایی که توسعه ی agile دارند و از ابزارهای CI/CD استفاده می کنند، به خوبی مطابق هستند. عرضه های open source به سرعت در حال جایگزینی تست های اجرایی ALM-driven سنتی تر با اجرای اتومات شده ی تست ها به عنوان قسمتی از پروسه ی CI/CD هستند. تست کردن در حال تکامل به سوی یک ذهنیت استفاده از ابزارهایی است که برای تیم بهترین نتایج را داشته باشد تا استفاده از ابزار یکپارچه .توسعه دهندگان در حال استفاده از ترکیبی از ابزارهای open source و ابزارهای تجاری هستند تا فعالیت های تستی مختلف را انجام دهند.
به عنوان مثال :
Selenium به عنوان استاندارد de facto برای تست وب ظاهر شده است و یک اکوسیستم بزرگ به خاطر توسعه ی آن به وجود آمده است Appium نیز به عنوان یکی از محبوب ترین های open source ، فریم ورک های اتومات شده ی موبایل cross-platform برای اجرای تست ها بر روی iOS و اندروید همگام با دسکتاپ ویندوز است
فریم ورک های BDD مانند SpecFlow، Cucumber و JBehave، در کنار زبان Gherkin در حال تطبیق با بسیاری از سازمان های توسعه دهنده ی agile هستند .وندورهای تست اتومات شده پشتیبانی برای همچین فرم ورکهایی را نیز شامل می شوند. دیگرابزارهای open source و فریم ورک ها جنبش هایی را به دست آورده اند که شامل Geb، SoapUI ، Sahi، Wair، و... و این تعداد رو به افزایش است.
Open source همچنین یکی از عواملی است که به ط.ر فزاینده در حال تقسیم بازار است.بسیاری از ابزارها توسعه دهندگان و تسترهای فنی را هدف قرار داده اند.آنها به خوبی با توسعه ی سراسری ابزار و عرضه ی یک رویکرد مبتنی بر کد برای توسعه ی اسکریپت های تست، ادغام شده اند.هر چند این ابزارها برای غیر توسعه دهندگان اصلا خوب نیستند.موضوعی که برای متخصصان و تحلیل کنندگان تجارت اهمیت دارد کسانی هستند که در کارهای صروت گرفته برای اتومات سازی تست شرکت کرده اند و به دنبال گزینه هایی هستند که کد نویسی را به صورت کامل حذف یا پنهان کنند.ما انتظار داریم که اکثرسازمان ها خودشان را در حال استفاده از تعداد ابزارهایی از عرضه کنندگان متفاوت نسبت به حالت داشتن یک وندور برای حل همه ی مسائل در یابند.به عنوان قسمت کامل اززنجیره ی ابزارهای DevOps، راه کار تست اتومات شده در حال تکامل سریع است. راه کارهای برجسته چندین گونه از کاربر را قادر می سازد تا در ساخت تستهای اتومات شده برای چندین هدف تست شرکت کنند و همکاری در تیم بزرگتر با یک ابزار ساده را پرورش می دهد.
برای رسیدن به این دگرگونی، شما باید 3 اصل مهم با ابزارهای اتومات کننده ی تست خود را در نظر بگیرید:
1.جداسازی متدولوژی توسعه ی تست و تکنولوژی Use case ها در شرکت های enterprise بسیار متنوع هستند.تست اتومات شده ی عملکرد باید در معرض front end ها،فریم ورک ها و IDE های متفاوتی که درخور use case ها و نقش های کاربری یک اپ مخصوص ، قرار بگیرد 2.پذیرش open source و استانداردها تطابق راه کارهای open source برای تست شتابان است و سازمان ها درتکاپوی کم کردن ریسک هستند.ابزارهای اتومات سازی تست باید با ابزارهای open source ادغام شوند و تست فریم ورک هایی مانند Selenium، Appium، SoapUI را پشتیبانی کنند 3.موجود بودن توسعه ی خود سرویس راه کارهای تست اتومات شده باید یک مدل خود سرویس توسعه را موجود سازند مانند تحلیل تجارت، LOB حرفه ای و بازاریابی حرفه ای

در طول 5 سال آینده، ما انتظار داریم که یادگیری ماشین و تحلیل های پیشگو یک نقش فزاینده در تست نرم افزار و اتومات کردن ایفا کند . مادر حال آغاز دیدن نشانه های اولیه ی این اصل در تحقیقاتی که بر روی دامنه ها تمرکز کرده ،هستیم. احتمال این هست که اپلیکیشن های بسته شده به خوبی طرح ریزی و مدیریت تست اولین ناحیه ای باشد که در اینجا موفق بشود . درآینده ی شاهد رشد ابزارها طراحی شده حول محور اتومات سازی استخراج پروسه ی رباتیک و پروسه ی تجارت همگام با استفاده از تحلیل های پیشگو برای تمرکز برتلاشهای تست خواهیم بود.

واژه نامه ها و کلمات مخفف

ALM
Application life cycle managementApplication programming interface
BDD
Application life cycle managementBehavior-driven development
CD
Application life cycle managementContinuous development
CI
Application life cycle managementContinuous integration
IDE
Application life cycle managementIntegrated development environment
LOB
Application life cycle managementLine of business
QA
Application life cycle managementQuality assurance
VM
Application life cycle managementVirtual machine

مدرک

Quadrant یک بازتاب از تحقیقات گسترده است که شامل :
بیش از 700 نظرسنجی با مشتریان Gartner که درباره ی ابزارهای اتومات تست در طول 12 ماه گذشته است
بسیاری از بحث های حضوری و دیگر تعامل ها با وندورها در این Magic Quadrant
نظرسنجی جزئیات وندور که نیازمند پاسخ گویی به بیش از 200 پرسش است
نظرسنجی Gartner-conducted سازمان ها که از ابزارهای آنلاین از تاریخ ژوئن تا جولای 2017 استفاده کرده اند. شرکت کنندگان در این نظرسنجی مشتریان مرجعی هستند که هر کدام توسط این وندورها در این Magic Quadrant نامزد شده اند.
از این مشتریان مورد بررسی قرار گرفته، 50 سوال درباره ی تجربیاتشان با وندورها و راه کارهایشان پرسیده شد.نتایج برای پشتیبانی از ارزیابی بازار تست اتومات شده ی نرم افزار استفاده شد.. ما 76مجموعه از پاسخ های کاملی که توسط سران شرکت ها در چندین ناحیه ی نختلف جغرافیایی ارائه شد را به دست آوردیم.

یادداشت 1

بازار تست موبایل بسیار پویا است . ما انتظار داریم ثبات بازاری که ناشی از مالکیت ها، فشار یک open source و ابزارهای عرضه شده با پلتفرم موبایل همگام با تغییرات سریع نیازهای بازار ادامه یابد .اکثر وندورهایی که که دراین Magic Quadrant تحت پوشش قرار گرفتند از تست اپلیکیشن موبایل همگام با تبدیل این روال به یک نیاز اصلی، پشتیبانی می کنند . این به واسطه ی تکنولوژی پروانه دار یا بومی بودن وندور است.بسیاری از وندورهایی که در این Magic Quadrant برای پلتفرم های توسعه ی اپلیکیشن موبایل تحت پوشش قرار گرفتند همچنین برخی از قابلیت تست موبایل را عرضه کرده اند . هرچند ما توجه کردیم که وندورهایی که بر روی موبایل تمرکز کرده اند سودهای قابل توجهی را در بسیاری از موارد عرضه کرده اند که شامل گستردگی پشتیبانی از ابزار، سرعت پشتیبانی ارتقای OS و پشتیبانی برای ارائه و مدیریت cloud ابزار هستند.
ما ابزارهایی که تمرکزشان فقط بر روی موبایل است را شامل نکردیم. همچنین یک طیف گوناگونی از گزینه های برای جامعه ی open source وجود دارد. مخصوصا Appium در حال به دست آوردن جنبش های بسیاری است.

یادداشت 2 تست Off-the-Shelf تجاری

بسیاری از وندورها تست نرم افزار اپلیکیشن بسته را تا جایی که آنها می توانند UI یک front end را اداره کننده پشتیبانی می کنند. اگر یک مشتری front end یک ویندوز بومی یا اپلیکیشن وب باشد فقط یک اپلیکیشن دیگر است که می تواند به روش مشابه دیگر build ها برآن تکنولوژی اتومات شود.هرچند این از سناریوهای تست بسته ی اپلیکیشن غافل می شود .سازمان بیشتر بر روی اعتبار پروسه ی تجارت تمرکز کرده اند، نقاط یکپارچگی و کارآیی.ما آن دسته از ابزارهایی که در ابتدا بر روی پشتیبانی ازاپلیکیشن های COTS تمرکز کردند را در این تحقیق لحاظ نکردیم.
راه کارهایی با بهترین موضوع تمرکز بیشترین شتاب برای مدیریت دیتای تست، ارتباط با مدیریت تغییر و تحلیل اثر تغییر عرضه کرده اند.

تعریف های معیار ارزیابی

محصول یا سرویس

گستردگی و عمق محصولات و ویژگی ها در کنار چرخه حیات توسعه نرم افزار(SDLC) که شامل طراحی تست و توسعه ، نگهداری از test case ها و قابلیت استفاده ی مجدد آنها و مدیریت دیتای تست، تست اتومات شده و ادغام آنها با یک تمرکز قدرتمند بر پشتیبانی از تست مداوم می شود.

توانایی کلی

زمان سپری شده برای R&D محصول تست اتومات شده، رشد صنعت تست اتومات شده و سرمایه گزاری بر روی آن

عملیات فروش/قیمت گزاری

رسیدن به یک فروش زیاد در مناطق و صنایع گوناگون، تأثیر برروی فروش ها مانند چرخه ی فروش های بلندمدت / کوتاه مدت و سادگی مدل های قیمت گزاری

ثبت/ پاسخگویی بازار

محصولات جدید و ویژگی های نو از طریق پروسه ی توسعه و شراکت و مالکیت چقدر سریع می توانند وارد بازار شوند.

عملیات بازاریابی

آگاهی رسانی های عمومی وندور در بازار، حضور در رویدادهای متفاوت و رسانه ی اجتماعی، درک IT و LOBs و اینکه چقدر راحت خریداران تفاوت های وندور را متوجه می شوند.

تجربه ی مشتری

توانایی جذب حداکثری تجربیات مشتریان در به دست آوردن سطوح فزاینده ی اتومات سازی و نگهداری از آن اتومات سازی. سهولت استفاده و آموزش برای توسعه و افزایش سرتاسری تکامل تست مشتریان.

عملکردها

رهبری موثر، ثبات از دید رهبری و ثبات دربه کارگیری منابع

تکمیل چشم انداز

ما عرضه کنندگان تکنولوژی را از لحاظ توانایی آنها در بیان متقاعد کننده ی جملات منطقی درباره ی مسیرفعلی و آینده ی بازار، نوآوری، نیازهای مشتری وقوای رقابتی همگام با اینکه چقدر خوب آنها مطابق با دید Gartner نسبت به بازارهستند.
رهبرانی که تکمیل چشم انداز را دارند در توانایی هایشان برای رسیدن به بازار از طریق پیام متقاعدکننده و ارسال سراسری یک راه کارکامل ، قوی تر هستند.
پیام های کلیدی هم اکنون حول محور کارآیی و توانایی هدف قرار دادن تکنولوژی و پروسه ی تبدیل است.

درک بازار

توانایی تعامل با بازار به شدت پویا و رقابتی همگام با قادرساختن مشتری برای انجام تست اتومات شده ی موفق. این شامل درک نیازهای IT و LOBs همگام با نیازهای مخصوص قابل پیش بینی ترمی شود.

استراتژی بازاریابی

شناسایی برند قدرتمند ، پیام محصول فکر محور و برنامه های تماس با ما از طریق یک بازار تست متنوع.

استراتژی فروش ها

یک استراتژی go-to-market قدرتمند که بر روی فروش تست اتومات شده به سازمان های enterprise IT ، LOB ها و توسعه دهنده های چابک

استراتژی عرضه

درک قوی از نیازهای enterprise از طریق SDLC.یک راه کار منسجم که طراحی test case ها و تولید تست اتوماتیک ، نگهداری تست اتوماتیک و اجرای آن و مدیریت تست ، یکپارچگی و تست اتومات شده به عنوان قسمتی از digital-business-driven enterprise agile واصول DevOps را در نظر بگیرد.

مدل کسب وکار

برجستگی و منطق کارتجاری تحت کنترل وندور

نوآوری

لایه های مستقیم، مرتبط، مکمل وهمکاری کننده، متخصص یا محق برای سرمایه گزاری ، تقویت، پدافندی یا اهداف پیش پا افتاده.

استراتژی جغرافیایی

استراتژی وندور برای منابع مستقیم، مهارتها و عرضه ها برای برطرف کردن نیازهای خارج از مرزهای جغرافیایی.


نویسنده : شرکت مهندس پیشگان آزمون افزار یاس

نوشتن دیدگاه

تصویر امنیتی
تصویر امنیتی جدید