Penetrační test na dvě rychlosti: co se stane, když seniorní expert a junior s AI testují stejnou aplikaci podle stejného checklistu

Případová studie: srovnání manuálního a AI-asistovaného penetračního testu na platformě Penterep.

Korporátní webová aplikace, vystavená do otevřeného internetu a využívaná tisíci uživatelů, prošla na žádost provozovatele bezpečnostním auditem ve formě penetračního testu. Nešlo ale o klasický test v jednom provedení.

Šlo o experiment, který si dovolíme nazvat ojedinělým.

Stejná aplikace, stejný dynamický checklist, ale dva diametrálně odlišné přístupy k jeho naplnění.

Na jedné straně stál penetrační tester s více než dvacetiletou praxí v testování webových aplikací, člověk, který za svou kariéru prošel stovkami projektů a checklist pro něj představuje strukturu, do které vkládá vlastní zkušenost a intuici. Na druhé straně stál absolutní junior, čerstvý absolvent střední odborné školy se zaměřením na IT, s nulovou praktickou zkušeností v kybernetické bezpečnosti a pouze dvěma absolvovanými školeními za sebou. Junior nepracoval s checklistem sám. Jeho rolí bylo zadávat AI úkoly podle jednotlivých testů a potvrzovat, zda má AI v navrhovaném dalším kroku pokračovat.

Dva testeři, jedna mapa

Penterep je platforma pro řízení a realizaci penetračních testů, postavená na interaktivních checklistech, které odpovídají uznávaným standardům jako OWASP ASVS, OWASP MASVS nebo NIST. Pro tento test byl použit dynamický checklist PWASV (Penterep Web Application Security Verification), určený pro testování webových aplikací.

Klíčová vlastnost takového checklistu není v tom, že by nahrazoval myšlení testera. Je v tom, že definuje, co všechno se má testovat, v jakém pořadí a jakým způsobem, a u každého jednotlivého testu nabízí konkrétní návod k realizaci.

Pro zkušeného pentestera je to kostra. Pro juniora a AI je to mapa, bez které by se ztratili hned v prvním kroku.

Přístup první: zkušenost, ruční práce a nástroje tam, kde to dává smysl

Seniorní tester realizoval test manuálně, na základě jednotlivých testů a návodů uvedených přímo v checklistu. Tam, kde to dávalo smysl, využíval automatizované nástroje PenterepTools, integrované přímo do platformy.

Jinými slovy: automatizace doplňovala lidskou práci tam, kde zrychlovala proces, aniž by obětovala přesnost. Jádro testu ale stálo na manuálním ověřování, vlastním úsudku a letech zkušeností.

Přístup druhý: junior, AI a checklist jako jediný kompas

Druhý přístup byl postaven zcela jinak. Operátor, junior bez praktické zkušenosti s penetračním testováním, využíval automatizované nástroje tam, kde byly napojeny, a veškerou zbylou práci přenechal AI. AI procházela jednotlivé testy z checklistu PWASV a navrhovala další kroky testování. Operátor tyto kroky potvrzoval.

Celková realizace trvala 8 hodin, ale pracnost pro člověka byla jen 3 hodiny. Většinu lidského času zabralo právě potvrzování akcí navrhovaných AI. Platforma umožňuje i plně autonomní běh bez nutnosti potvrzení, ale tento režim není v tuto chvíli doporučován pro produkční nasazení.

Nalezené zranitelnosti navíc nebyly manuálně ověřeny, což je krok, který je v reálném nasazení důrazně doporučován. Závěrečný report byl vygenerován čistě AI, bez jakéhokoliv lidského zásahu do jeho obsahu.

Tam, kde senior strávil 29 hodin vlastní práce, junior s asistencí AI potřeboval jen 3 hodiny aktivního zapojení. Téměř desetinásobný rozdíl v lidské pracnosti.

Stejný cíl, jiná cesta, identický výsledek u nejzávažnějších nálezů

Tady přichází nejdůležitější část celého experimentu. Bez ohledu na to, jakou cestou se test ubíral, oba přístupy odhalily 14 zranitelností spadajících do kategorií kritická a vysoká závažnost. Pro velkou korporátní webovou aplikaci vystavenou do internetu jde o naprosto srovnatelný výsledek bezpečnostní hodnoty obou testů, alespoň v nejkritičtější rovině závažnosti nálezů.

Zákazník, pro kterého byl test realizován, hodnotil výsledek jako velmi kvalitní. To je důležitý detail, protože nehodnotil jen čísla na papíře, ale reálnou použitelnost a důvěryhodnost závěrů pro vlastní rozhodování o nápravných opatřeních.

Je třeba zdůraznit, co tento výsledek neznamená. Neznamená to, že zkušenost testera je nadbytečná, ani že AI v rukou juniora dokáže nahradit dvacet let praxe v plném rozsahu. Manuální přístup zůstal tím, který odhalil nejvyšší celkové množství práce odvedené do hloubky, včetně nuancí, které vyžadují lidský úsudek a kontext, jenž žádný nástroj ani AI v tuto chvíli nedokáže plně replikovat.

I bez hluboké expertízy, díky vedení strukturovaným checklistem, dokázal junior s AI dosáhnout srovnatelné úrovně v identifikaci nejzávažnějších bezpečnostních slabin.

Proč na tom checklist stojí a padá

Klíčová otázka, kterou si po tomto srovnání musí položit každý, kdo penetrační testy zadává nebo realizuje, zní: co umožnilo juniorovi bez praktické zkušenosti dosáhnout výsledku srovnatelného s dvacetiletým veteránem oboru?

Odpověď nestojí na AI samotné.

AI je výkonný akcelerátor. Ale akcelerátor potřebuje vědět, co má zrychlovat.

Sama o sobě by AI v rukou juniora bez jasné struktury netušila, jaké testy má na konkrétní webové aplikaci provést, v jakém pořadí, podle jakého standardu a s jakou metodikou ověření. Junior sám tuto znalost neměl, protože ji prostě nestihl získat. Tím, co celý proces drželo na uzdě a vedlo ho k relevantním a smysluplným testům, byl dynamický checklist PWASV.

Bez checklistu by AI mohla provádět testy nahodile, podle toho, co se zrovna jeví jako zajímavé, bez garance, že byly pokryty všechny relevantní oblasti odpovídající standardům jako OWASP ASVS. S checklistem se test stává auditovatelným, opakovatelným a nezávislým na tom, kdo konkrétně sedí u klávesnice.

Auditovatelnost a opakovatelnost jako skutečná hodnota

Toto je možná nejdůležitější poselství celého srovnání, přesahující samotná čísla zranitelností. V kontextu nové legislativy kybernetické bezpečnosti, zejména směrnice NIS2 a souvisejícího zákona o kybernetické bezpečnosti, který se v Česku týká podle odhadů přibližně dvanácti tisíc firem, přestávají být penetrační testy jen jednorázovou kontrolou. Stávají se opakovanou povinností, dokumentovaným procesem, který musí obstát i při zpětné kontrole.

Pokud kvalita testu stojí výhradně na zkušenosti konkrétního člověka, je výsledek těžko opakovatelný, těžko auditovatelný a těžko škálovatelný na desítky nebo stovky cílů. Pokud ale kvalita stojí na checklistu, který přesně definuje rozsah a metodiku testování, stává se výsledek nezávislým na tom, kdo test realizuje, a především zůstává sledovatelný a doložitelný.

Dva zcela odlišní testeři dospěli díky stejnému checklistu ke stejnému počtu nalezených kritických a vysoce závažných zranitelností.

Co z toho plyne pro praxi

Pro firmy, které potřebují testovat větší množství cílů, ať z důvodu rostoucího počtu aplikací, regulatorních povinností nebo obojího, nabízí toto srovnání jasné vodítko. Manuální testování zkušeným seniorním pentesterem zůstává zlatým standardem co do hloubky a komplexnosti pokrytí. Tam, kde je třeba prozkoumat aplikaci s maximální péčí, včetně nuancí vyžadujících lidský úsudek, se zkušenosti nevyrovná nic.

Současně je ale jasně vidět, že kombinace automatizovaných nástrojů a AI, vedená stejným standardizovaným checklistem, dokáže výsledkům zkušeného testera v klíčových metrikách výrazně se přiblížit, a to při zlomku lidské pracnosti, zejména pokud jsou nalezené zranitelnosti následně manuálně ověřeny.

Úplný obraz: manažerský přehled všech závažností

Čísla 14 ku 14 u kritických a vysokých zranitelností jsou srdcem této případové studie, ale celý obrázek je samozřejmě širší. Pro úplnost a transparentnost uvádíme manažerský přehled nálezů v rámci všech úrovní závažnosti, jak je definuje checklist PWASV.

Při pohledu na celkový počet nálezů napříč všemi úrovněmi je rozdíl zřejmý. AI-asistovaný přístup identifikoval výrazně více nálezů ve středních a nízkých kategoriích, celkem 75 oproti 41 u seniorního testera. Má to logické vysvětlení a stojí za to ho vyslovit nahlas, protože jinak by tato čísla mohla působit zavádějícím dojmem opačným, než je realita.

AI má tendenci hlásit více nálezů na nižších úrovních závažnosti, často proto, že dokáže systematicky a beze zbytku projít všechny dílčí kontroly v checklistu, zatímco zkušený senior přirozeně filtruje a slučuje drobnější zjištění na základě vlastního úsudku o jejich reálném dopadu. Vyšší počet nálezů u nižších závažností tedy neznamená nutně vyšší kvalitu testu. Bez manuálního ověření navíc nelze vyloučit vyšší míru false positives právě v těchto nižších kategoriích.

Proto je důležité vracet pozornost právě k nejzávažnějším kategoriím, kde mají chyby v klasifikaci nejmenší prostor a kde shoda 14 ku 14 nese skutečnou výpovědní hodnotu.

Závěr

Penetrační testování stojí na pomyslné hraně mezi uměním a metodikou. Toto srovnání ukazuje, že tam, kde existuje dostatečně robustní, standardizovaná metodika v podobě dynamického checklistu, se rozdíl mezi uměním zkušeného experta a strukturovaným postupem juniora s AI ve výsledku zásadních, kritických nálezů výrazně stírá.

Checklist neudělá z juniora seniora. Ale udělá z testu, ať ho realizuje kdokoliv, proces, který je sledovatelný, auditovatelný a opakovatelně kvalitní.

A v době, kdy se penetrační testování posouvá od dobrovolné praxe k regulatorní povinnosti, je to možná ta nejdůležitější vlastnost, jakou může testovací metodika nabídnout.