Tekoälyn toimivuusvalvonta.

Lähtökohta

Kuusi Design myy tekoälysovelluksia ylläpitosopimuksella, ja ylläpito on se, mistä laskutetaan. Ongelma: kukaan ei tiennyt, toimivatko sovellukset enää huomenna. Manuaalinen viikkotestaus ei skaalaudu, kun sovelluksia on useita.

Ensimmäinen valvottava kohde

Ensimmäinen valvottava kohde on ikkunanpesulaitteiden valmistajalle toimitettu tekninen assistentti: Google AI Studiolla rakennettu ja Cloud Runiin viety chat-sovellus, jolla ei ole omaa API-rajapintaa — koko käyttöliittymä, PIN-suojaus ja chat renderöityvät vasta selaimessa. Pelkkä HTTP-tilan tarkistus olisi kertonut vain, että palvelin on pystyssä, ei sitä, toimiiko chat.

Ratkaisu

Headless-selaintesti (Playwright), joka kulkee täsmälleen saman polun kuin oikea asiakas: sivu auki → PIN sisään → oikea tuotantokysymys → vastauksen sisällön tarkistus. Testi ei tyydy siihen, että vastaus tuli — se vaatii, että vastauksesta löytyy tunnettu oikea tieto. Tämä on olennaista: jos malli vaihtuu tai dokumenttiaineisto putoaa indeksistä, chat voi silti vastata sujuvasti mutta väärin, eikä pelkkä "tuliko vastaus" -tarkistus huomaisi sitä. Testi ajetaan automaattisesti GitHub Actionsissa joka viikko — onnistuneista ajoista ei tule mitään, sähköposti lähtee vain, kun jokin on rikki.

Näyttö arvosta

Järjestelmän ensimmäinen ajastettu ajo elokuussa 2026 ei mennytkään läpi, ja syy oli aito: sovelluksen API-avain oli poistunut käytöstä toisen projektin siivouksen yhteydessä, ja chat vastasi asiakkaille tunnistautumisvirheellä. Valvonta havaitsi tämän ennen kuin yksikään asiakas ehti reklamoida. Vika paikannettiin ja korjattiin samana päivänä, ja korjaus varmistettiin sekä selaimella että seuraavalla automaattiajolla. Tämä on konkreettinen todiste siitä, mistä ylläpitosopimuksessa oikeasti maksetaan.

Oma roolini

Rakensin järjestelmän suunnittelusta käyttöönottoon: arkkitehtuurivalinnan, sovelluksen rakenteen kartoituksen selaimella, Playwright-testiskriptin, konfiguraatiorakenteen (yksi lohko per valvottava sovellus) sekä GitHub Actions -ajastuksen ja hälytykset. Työ tehtiin kahden tekoälyavustajan, Claudein ja Codexin, yhteistyönä samassa projektikansiossa jaetulla kontekstilla ja jatkuvalla tilannelokilla — käytännön esimerkki siitä, miten tekoälyagentteja voi käyttää rakentamaan tuotantokelpoista valvontaa, ei vain demoja.

Hyöty ja rajat

Tarkistukset kattavat saatavuuden, vastauksen sisällön oikeellisuuden, lähdeviitteen ja vasteajan. Valvontaan on tulossa seuraavaksi myös muut julkaistut sovellukset. Tunnettu rajoitus: käyttöliittymässä ei ole erillisiä testitunnisteita, joten testi nojaa sivun rakenteeseen ja voi hajota käyttöliittymämuutoksissa.

Työkalut

• Playwright
• Node.js
• GitHub Actions