Automated testing in SW platform development

Abstract

S60 is a software platform developed for mobile phone use. The Messaging area of S60 consists of features like Instant Messaging and Multimedia Messaging. Testing of these features is an important part of software development in the S60 Messaging area. From the different testing types, module testing and integration testing are the test types that are used by the developers in software development.In the S60 Messaging area most of the testing performed by the developers is carried out manually. Manual testing is very time consuming, and the visibility of testing is poor, as the results are not collected systematically. This thesis work explores the possibilities of solving these problems by means of test automation. Automation is based on the A TS (Automatic Testing System) tool that can be used to run test cases and to verify test results.In the experiments the A TS tool was used for running the automated test cases in a mobile phone prototype.

AB3:S60-ohjelmistoalusta on kehitetty erityisesti matkapuhelinkäyttöön Symbian-käyttöjärjestelmän pohjalta. S60 Messaging -alue käsittää sovellukset, jotka ovat osa S60-ohjelmistoalustaa: Short Messaging, Multimedia Messaging, Email, Presence ja Instant Messaging. Jotta voitaisiin varmistaa, että eri sovellusten toiminta olisi mahdollisimman virheetöntä, S60 Messaging -alueella suoritetaan paljon ohjelmistotestausta osana ohjelmistokehitystä.Sekä ohjelmistotestausta että ohjelmistokehitystä kokonaisuudessaan kuvaamaan on kehitetty omat prosessinsa. Näistä prosesseista ilmenevät ne toimintatavat, joiden mukaan ohjelmistokehityksen ja ohjelmistotestauksen pitäisi eri S60-alueilla toimia. S60-testausprosessi sisältää kaikki eri testausvaiheet, jotka kuuluvat sovellusten testaukseen. Eri testausvaiheista moduuli- ja integrointitestaus ovat testausvaiheita, jotka kehittäjät pääsääntöisesti tekevät itse ohjelmistokehityksen yhteydessä.Suurin osa S60 Messaging -alueen moduuli- ja integrointitestauksesta tehdään nykyään manuaalisesti. Manuaalinen testaus on aiheuttanut ongelmia ajankäytössä. Myöskään eri testiajojen tuloksia ei ole voitu vertailla, koska testitulosten kerääminen ei ole ollut systemaattista. Automaatiotason lisääminen testauksessa ja testitulosten tallentamisessa voisi lisätä testauksen tehokkuutta. Samalla ohjelmistokehitykseen jäisi enemmän resursseja, koska ohjelmistokehittäjien ei tarvitsisi suorittaa kaikkea moduuli- ja integrointitestausta manuaalisesti.Automatisoinnin pohjaksi valittiin ATS- testausjärjestelmä (Automatic Testing System), joka sisältää ominaisuuksia sekä automaattiseen testien suorittamiseen että testitulosten automaattiseen keräämiseen eri testauskerroilta. Eri testauskertojen tuloksia voidaan ATS-järjestelmän avulla helposti verrata keskenään ja tulokset voidaan tallentaa niille tarkoitettuun tietokantaan automaattisesti aina testiajojen jälkeen. Järjestelmä mahdollistaa usean käyttäjän yhtäaikaisen käytön sekä etäkäytön ohjelmistokehittäjän omalta työasemalta.Tämä diplomityö käsittelee A TS-järjestelmän käyttöön ottoa S60 Messaging -alueella. Työ sisältää järjestelmän käyttöönoton moduuli- ja integrointitestauksessa. Työssä kuvataan, miten testausjärjestelmä onnistuttiin ottamaan käyttöön, miten testausjärjestelmä saatiin toimimaan varsinaisten testien suorittamisessa ja miten yhteistoiminta muiden ohjelmistojen kanssa onnistui.