Návrh strategie zajištění kvality pro aplikaci strojového učení

Abstract

Práce analyzuje, jak postupovat při formulování plánu zajištění kvality (QA) pro program strojového učení (ML), konkrétně se zaměřením na algoritmus ML pro klasifikační úlohu. Roste potřeba zajistit důvěryhodnost a přesnost aplikací ML. Studie začíná objasněním primárních obtíží spojených se zajišťováním kvality v aplikacích ML a poté navrhuje rámec pro jejich řešení. Navrhovaný rámec zahrnuje automatizované testování pro ověřování životně důležitých záznamů v systému, které zajišťuje, že splňují požadovaný standard kval ity, a skriptování JavaScriptu pro určování přítomnosti charakteristik, ověřování datových typů a ověřování kvality čísel. Studie také zkoumá, jak vybrat užitečné metriky pro měření efektivity ML modelů, a navrhuje sadu metrik pro tento účel. Práce také navrhuje metodiku pro fullstack testování ML aplikací, která by zahrnovala všechny tři fáze vývoje: vytváření testovacích dat, trénování modelu a hodnocení jeho výkonu. Navrhovaná strategie QA je aplikována na produkční ML aplikaci a důkladně testována, aby se prokázala její hodnota při zaručení její kvality a spolehlivosti. Výsledky této práce mohou být použity jako vodítko pro profesionály a akademiky v oboru, aby lépe pochopili, jak navrhnout strategii QA pro aplikace ML.