Odvirování PC, zrychlení počítače, vzdálená pomoc prostřednictvím služby neslape.cz

CL - Testy antivírov, kto a čo testuje.

Moderátoři: james008, JaRon, Moderátoři

Odpovědět
Zpráva
Autor
Tatry03
Rádce
Rádce
Příspěvky: 1164
Registrován: 22 srp 2009 18:06

CL - Testy antivírov, kto a čo testuje.

#1 Příspěvek od Tatry03 »

Testy antivírov a bezpečnostných balíkov

Toto vlákno voľne nadväzuje na historický odkaz témy : (CL - Testy Antiviru a Internet Security baliku) od autora smrtelník. Jeho cieľom je priblížiť kto a čo testuje u antivírov a IS balíkov.

Snaha porovnávať rôzne veci, ktoré sú si podobné, prípadne sú určené na to isté, je úplne samozrejmá a prirodzená. To platí aj pre oblasť IT bezpečnosti. A rovnako ako každé iné porovnávanie (najlepšie auto, najkrajšia modelka :113: ...) aj tu dochádza k výraznej polemike a rôznym postojom. Keď zhrniem pre a proti, myslím si, že pokiaľ testovanie robí aspoň trochu dôveryhodná inštitúcia, nejakým overiteľným spôsobom, tak testovanie má aspoň do určitej miery zmysel.
----


Začnime všeobecne: Čo sa testuje?

Logicky najdôležitejšou vecou bude detekcia škodlivého softwaru (malware). Nie je to však také jednoduché. Spôsoby, techniky odhaľovania "vírusov" jednotlivými produktami sú rôzne. Ide o zbierku presných "definícií", vzoriek, popisy obecnejšieho charakteru, emulácia kódu, HIPS, cloud podpora/ skenovanie a iné. Preto pre korektný výsledok testu má veľký význam jeho správne navrhnutie. Tak sa možno stretnúť s rôznymi testami zameranými na jednotlivé schopnosti antivírov (napríklad, ako sú programi schopné chrániť pred malware, na ktorý ešte neboli vydané aktualizácie databáz), alebo komplexnejšími testami, ktoré zahrnujú rôzne hľadiská. K tým možno zarátať aj také parametre ako záťaž systému, miera falošných poplachov (čistý súbor omylom označený ako škodlivý), antiphising ochrana, filtrovanie spamu a podobne. Teoreticky "ideálny" antivírus/balík by bol najlepší vo všetkých kategóriách, lenže v realite sa taký asi nikdy nenájde.

Pre posúdenie toho, či je nejaký "kandidát", pre ktorého sa chcete rozhodnúť pri výbere do svojho PC vhodný, je potom asi najlepšie pozrieť si viac zdrojov a viac výsledkov v čase, teda do minulosti. Ak sa produkt vyskytuje vo viacerých testovaniach na popredných miestach (stále prvý nebude žiadny) za primerane dlhý čas (niekoľko mesiacov, rokov?), tak sa na neho pravdepodobne bude možné spoľahnúť. (Čo zase nezaručí jeho "prepad" do budúcnosti :-( )

No a ten, kto si to celé nechce prejsť, tak má aj jednoduchšiu možnosť, pozrieť si odporúčaný výber na fóre http://forum.viry.cz/viewtopic.php?f=29&t=6152 :-)
Tento je preverený skúsenosťami tunajších pracantov a...... prezradím malé tajomstvo.. pokiaľ sa prelúskate výsledkami rôznych testov, tak aj tak zistíte, že najlepší z nich sú zároveň +/- aj tí odporúčaní na fóre. :wink:
----


No a poďme k jednotlivým "testerom":

Odbočenie:
Samozrejme ide len o výber u nás bežne sledovaných a známych testovaní...


Začať by sme mohli jedným z najstarších a možno aj najznámejších testovaní.

Virus Bulletin
Virus Bulletin

História Virus Bulletinu začala v roku 1989. Bol to časopis poskytujúci užívateľom PC zdroj informácií o počítačovom malware, prevencii, detekcii, možnostiach odstránenia a radách, ako obnoviť programy a dáta po útoku. Z pohľadu súčasnosti je pre bežného užívateľa zaujímavé toľko, že organizácia robí testovanie VB100: http://www.virusbtn.com/vb100/index a VBSpam: http://www.virusbtn.com/vbspam/index
Čiastočné, ale veľmi jednoducho prezentované výsledky porovnávania je možné vidieť na webe v podobe grafu RAP (Reactive and Proactive): http://www.virusbtn.com/vb100/rap-index.xml

Napríklad:
Obrázek

Na vodorovnej osi je percento rozpoznaných vírusov pre antivíry v čase testovania nepoznaných a na zvislej osi vírusov (teoreticky) poznaných (to znamená, že v čase skúšky už boli známe). Čím je produkt v grafe viac vpravo hore, tým je jeho detekcia lepšia.

Kompletné výsledky testovania sú spoplatnené, ale k starším výsledkom sa dá dostať aj zadarmo po registrácii.

Možným negatívom tohoto testovania je to, že používa pomerne obmedzenú vzorku škodcov, pretože "šedé", adware, "potenciálne nebezpečné" a nekompletné hrozby (ktoré si sťahujú pre svoju funkčnosť ďalšie komponenty z netu) nie sú v testovaní zahrnuté.
----




Obrázek
http://www.dennistechnologylabs.com/

Na adrese: http://www.dennistechnologylabs.com/reports/s/a-m/2013/ je možné si priebežne pozerať výsledky pomerne rozsiahleho testovania ďalšieho "testera". Ide o britskú organizáciu zameriavajúcu sa na testovanie softwaru aj hardwaru. Štvrťročne vydáva správu o výsledkoch testovania antivírových produktov pre domácich užívateľov.
Obrázek

Výsledky reportu sú zhrnuté do tabuľky, ktorá vyzerá nejak takto:
Obrázek

Testovanie prebieha v dvoch "smeroch". Na jednej strane sa zisťuje schopnosť detekcie a na druhej početnosť falošných poplachov (FP). Pretože ak by AV produkt detekoval hoci aj 100% škodlivého kódu, ale zároveň by zobrazoval výstražné okno pri spustení každej druhej legitímnej aplikácie, reálne by sa dal len ťažko používať. (chcete si pozrieť fotky - vyskočí na vás červené okno: Pozor! Obsah je potenciálne nebezpečný! Chcete si pozrieť emaily - vyskočí na vás červené okno: Pozor! Obsah je potenciálne nebezpečný!)

Spojením dobrých bodov za detekciu a zlých za FP vzniká tabuľka:
Obrázek

Samotný graf ochrany vyzerá takto:
Obrázek

A podrobnejší pohľad:
Obrázek

Defended - malwéru bolo zabránené v spustení, Neutralized - malwér sa síce spustil, ale následne bola detekovaná jeho činnosť a bol zastavený, Compromised - škodlivý kód je aktívny aj po kontrole AV.

No a podobne pohľad na FP. (Ďalej v správe sa táto problematika rieši ešte podrobnejšie, ale to si už pozriete sami. :) )

Obrázek
Prvé tri produkty nespôsobili ani jeden falošný poplach.

----




Obrázek
AV-Test

Dalším zdrojom zaujímavých informácií je web nemeckého inštitútu AV-TEST. Podľa vlastných slov za 15 rokov existencie nazbierali vyše 150 miliónov vzoriek "dobrého" softwaru a vyše 180 miliónov škodlivého. :shock:

Do sekcie výsledkov testov sa dostaneme buď z úvodnej stránky, alebo z rozcestníka: http://www.av-test.org/en/tests/home-user/

Obrázek

Po rozkliknutí požadovaného testu sa dostaneme na zoznam jednotlivých "súťažiacich". Každý produkt sa dá ešte rozkliknúť do podrobnejších výsledkov, napr.:

Obrázek

Vo výsledkovej tabuľke vidíme tentokrát 3 oblasti testovania. Ochrana, výkon a použiteľnosť.

Samotná detekcia je rozdelená na testovanie 0-day útokov ("čerstvé", nové, aktuálne hrozby) a kontrola voči už rozšíreným vírusom (reprezentované referenčnou vzorkou AV-test). Všimnite si aj počet použitých vzoriek, resp. priemernú úspešnosť antivírov v danej "disciplíne".


Výkon je posudzovaný ako priemerný vplyv antivíru na rýchlosť počítača pri každodennom použití, napr. pri návšteve webových stránok, sťahovaní softvéru, inštalácii a spúšťaní programov či kopírovaní dát.

Použiteľnosť vyjadruje počet falošných poplachov (FP) pri prezeraní webu, inštalovaní a používaní rôzneho legitímneho softwaru a pri spustenom teste počítača.

Takto postavené testovanie už celkom dobre vystihuje kľúčové parametre dobrého AV softwaru. Okrem detekcie, záťaže systému a generovania FP však samotný užívateľ prihliada aj na ďalšie hľadiská. Pomerne podstatným je cena (free, platený), grafické rozhranie (ako software "vyzerá", je menu prehľadné, ľahko pochopiteľné, funkcie jasne definované, alebo "schované" za dramaticky znejúce názvy atď.) a mnohí by doplnili aj možnosti technickej podpory. Ono je rozdiel dopisovat si v prípade nejakého problému z niekým "na opačnom konci sveta" po anglicky, alebo zavolat a dohodnúť sa z technikom v češtine/slovenčine.

----


Obrázek
http://www.av-comparatives.org/

No a na záver našeho predstavenia tu máme AV-Comparatives. Ide o nezávislú neziskovú organizáciu, ktorá ponúka systematické testovanie. Pomocou jednej z najväčších kolekcií vzoriek na svete, vytvára podmienky pre maximálne hodnoverné testovanie. Čo je dobré, výsledky testov sú voľne dostupné, či už v zjednodušenej podobe on-line grafov, alebo reportov stiahnuteľných vo formáte pdf. AV-Comparatives úzko spolupracuje s niekoľkými akademickými inštitúciami, najmä univerzitou v Innsbrucku.
A nejaké foto, pokiaľ sa chcete pozrieť ako to v takej "kuchyni" vyzerá: http://www.av-comparatives.org/gallery/ ... /av-c-lab/

Organizácia priebežne robí niekoľko typov testov. Sú to:
Obrázek


File Detection test:
Test obdobný tomu, keď si na vlastnom počítači spustíte kontrolu antivírom (On-demand - kontrola na požiadanie). Antivírus prechádza postupne všetky súbory na disku a snaží sa medzi nimi nájsť tie škodlivé. Typicky takýto "balíček" obsahuje viac ako 100 tisíc malware vzoriek, ktoré boli zhromaždené v období niekoľkých týždňov, alebo mesiacov pred vykonaním testu. Nevýhodou je "statické" testovanie. To znamená, že AV produkty, ktoré spoliehajú pri detekcii aj na to, ako sa daný kus softwaru správa, nemôžu toto vyskúšať na "nehybnej" vzorke.
Obrázek

False Alarm test:
Tento test sa robí preto, aby sa zabezpečilo, že testované programy len neidentifikujú všetky neznáme súbory ako malware. Platí to, čo sme povedali vyššie. Vysoká miera detekcie sama o sebe nezabezpečí komfortné používanie PC. Programy s vysokou mierou falošne pozitívnych výsledkov majú potom znížené hodnotenie.
Obrázek

Malware Removal Tests:
Toto je test, ktorý sme do teraz nespomínali. Jedna vec je, že AV produkt niečo nájde, ale druhá vec je, či "nákazu" dokáže aj vyliečiť. To je problém sám o sebe a výrobcovia sa s tým pasujú ako vedia. Na niektorú háveď stačí len "jednoduché zmazanie", ale na "vychc.....ie" kusy už nemusí. V lepšom prípade pomôže odporučenie AV produktu na stiahnutie špecializovaého "čističa", či možnosť vytvorenia bootovacieho CD (USB kľúča), ktorý háveď zlikviduje mimo behu operačného systému. Vytvorenie záchranného CDčka je samozrejme žiadúce hneď po inštalácii na "čistom" stroji. Po nakazení to už môže byť neskoro. V horšom prípade treba hľadať pomoc u technickej podpory daného AV, alebo tu fóre. :thumbsup: http://forum.viry.cz/viewforum.php?f=13
Obrázek

Čísla označujúce stĺpce (sample) sú rôzne typy infiltrácií, trójskych koní, červov. Dvojpísmenkové označenie v tabuľke (AA, AB ...) označuje úspešnosť odstránenia daného typu škodcu. Prvé písmeno určuje ako sa ho podarilo zmazať, od úplne, cez čiastočne, ... až po vôbec. Druhé písmeno hovorí o tom, akým spôsobom to je nutné spraviť. Buď v normálnom režime, je nutné spustiť PC v Núdzovom režime, je potrebné použiť bootovacie CD, alebo vôbec. Najlepšie sú samozrejme dve AA.


Performance Tests:
V tomto teste sa porovnáva spomalenie počítača v dôsledku činnosti antivírového softwaru. A to pri rôznych činnostiach: kopírovanie súborov, archivácia, inštalácia, otváranie dokumentu OpenOffice, PDF, či sťahovanie z webu. Sú zahrnuté aj výsledky PC Mark. Toto hodnotenie môže napovedať, ktorý AV produkt bude vhodnejší na starší/slabší "stroj", prípadne mobilné zariadenie, pretože vyššie zaťaženie = väčšia spotreba = kratšia výdrž.
Obrázek

Menšie výsledné číslo je lepšie.


Heuristic / Behaviour Tests:
Tento test je zameraný na jednu z najzaujímavejších schopností AV produktov.

Odbočenie:
Iste už každý čitateľ vie, že antivíry si sťahujú databázy nových "podpisov", to znamená nejakých znakov, podľa ktorých vedia presne rozpoznať konkrétny vírus. Lenže hľbavejší si položia otázku. A odkiaľ sa berú tie definície? Prípadne, čo sa stane, keď je vírus nový a AV sa s ním ešte nestretol? (To, že denne vznikajú tisíce a tisíce nových "šmejdov" je asi tiež už všeobecne známe.) Obidve vyššie položené otázky spolu súvisia. Vždy po vytvorení nového vírusu príde okamih, kedy sa po
prvý raz stretne s "našim" sledovaným AV produktom. Stane sa tak niekde vo svete na jednom z miliónov počítačov, na ktorých je nainštalovaný "náš" antivírus. Ako teda náš ochranca má vedieť, že tento programový kód, ktorý práve lezie cez http pripojenie Internet Explorera na porte 80 a IP adrese 123.456.789.xxx, je niečo škodlivé?
Jednou z možností je použitie následujúcich metód, pomôžem si vysvetlením od ESETu:

"Analýza kódu - Analýzou súborov sa zisťuje podobnosť s klasifikovanými vzorkami škodlivého kódu. Vzhľadom na nesmierne množstvo a diverzitu dnešného malware analýza kódu prispieva podstatnou mierou k vylepšeniu detekčných možností bezpečnostných riešení ESET.

Generické vzorky – Sú vo svojej podstate podobné metóde tzv. DNA modelovania, ktorá sa používa napríklad vo forenzných vedách. Vďaka používaniu generických vzoriek je možné detegovať veľké skupiny škodlivého kódu, vrátane jeho budúcich variantov. V skutočnosti je teda na identifikáciu celých rodín malware potrebná jedna vzorka, namiesto desiatok alebo tisícok individuálnych vzoriek. Táto forma detekcie je prvým krokom k proaktívnej ochrane.

Emulácia – Podozrivé súbory prechádzajú aktívnou kontrolou – spustením v chránenom virtuálnom prostredí. Na základe správania sa kódu ThreatSense® rozhodne, či daná vzorka predstavuje pre systém riziko, prípadne ju okamžite zablokuje a zabráni, aby spôsobila škody."

No a v prípade, že niektorá z metód určí vysoké percento pravdepodobnosti, tak je kód zablokovaný, alebo vyskočí výstražné okno. (Ako presne zareaguje AV je rôzne, závislé napr. aj od konkrétnych nastavení na danom PC.) Väčšinou je táto vzorka aj odoslaná do databázy AV spoločnosti, kde prebehne jej hlbšia analýza a zaradenie do databázy vzoriek. (To má význam ten, aby nemusel každý z miliónov AV na celom svete vírus zložito skúmať, ale na základe vzorky ho spozná hneď. To je otázka výkonu a zaťaženia PC. Pamätáte test zaťaženia spomínaný vyššie? ) Samozrejme celý mechanizmus je ďaleko zložitejší a má oveľa viac alternatív a variant, toto odbočenie je len hrubý náhľad. Vzorky sa do AV spoločností dostávajú napr. aj priamym zaslaním od užívateľov, výskumníkov a podobne...


Skúška je teda zameraná na schopnosť AV odhaľovať pre neho doposiaľ nepoznané vírusy. Robí sa to tak, že aktualizácie AV programov v teste sa "zmrazia" zastavia k nejakému dátumu a od vtedy sa začnú zbierať nové vzorky vírusov. Po nejakej dobe neaktualizované AV programy (ktoré naschvál nemajú možnosť si stiahnuť nové definície) dostanú podhodené tieto nové vírusy, ktoré sú pre ne úplne neznáme. Identifikovať/zablokovať ich môžu len na základe metód spomínaných v Odbočení. Miera úspešnosti potom naznačuje, ako je daný AV schopný odhaľovať nové varianty vírusov.

Obrázek

Zelená = blokované, Žltá = závislé od užívateľa, Červená = nie je blokované. Modrá čiara ukazuje výsledky Microsoft Security Essentials

Real-World Protection Tests
Pokiaľ ide o posúdenie možnosti ochrany antivírusového softvéru v reálnom živote, je v súčasnej dobe "Real-World" test AV-Comparatives asi najviac komplexný a hodnotný. Jednoducho povedané, testovací rámec kopíruje scenár správania užívateľa v každodennom on-line prostredí - typické situácie, ktoré väčšina z užívateľov zažíva pri práci s počítačom pripojeným na internet. Testovanie prebieha v podstate kontinuálne a priebežné výsledky sú dostupné v on-line grafoch.

http://chart.av-comparatives.org/chart1.php
Obrázek

Biela čiara je ochrana od Microsoftu. Oranžová "krivka" dole na grafe ukazuje počet falošných detekcií.

Alebo je možné stiahnuť obšírnejšie pdf http://www.av-comparatives.org/dynamic-tests/, kde sa toho dá o testovaní prečítať viac. Súčasťou "sumárneho" reportu, konkrétne napríklad august-november 2013, je aj tabuľka,resp. graf úspešnosti.

Obrázek

V tabuľke je vidno, koľko bolo použitých "nákaz" a koľko ktorý produkt zneškodnil. V grafe je zaujímavé aj znázornenie rozptylu, vyrovnanosti detekcie. To znamená, ako sa vývojári držia s dobou. Aby jeden mesiac nebola detekcia 99% a ďalší 82%. Čím menší rozptyl, ale samozrejme okolo vysokého percenta je lepší, ako "náhodné" výskoky a následné pády.

----

Obrázek
https://www.mrg-effitas.com

MRG Effitas je nezávislá bezpečnostná IT výskumná organizácia, ktorá sa zameriava na poskytovanie služieb v oblasti bezpečnosti, dodávku vzoriek malwaru, informácií týkajúcich sa nových hrozieb a ďalších informácií v oblasti IT bezpečnosti. MRG Effitas založil v roku 2009 Sveta Miladinov, nezávislý bezpečnostný výskumník a poradca. Dnes má MRG Effitas tím analytikov, výskumných pracovníkov a spolupracovníkov po celom regióne EMEA, USA a Číne, čo zaisťuje globálnu prítomnosť.

Od svojho vzniku sa spoločnosť zameriava na poskytovanie priekopníckych skúšobných postupov, používa realistické modelovanie, aby sa dosiahlo tak presné posúdenie účinnosti, ako je to len možné.

MRG Effitas 360 Assessment & Certification Programme Q2 2014

Zaujímavými prvkami, ktoré sa v iných testoch veľmi neobjavujú je časové hľadisko a reštart PC. Konkrétne v "MRG Effitas 360 Assessment & Certification Programme Q2 2014" https://www.mrg-effitas.com/wp-content/ ... 2-2014.pdf sú tieto vplyvy definované takto. Najlepšie hodnotenie je za detekciu škodlivého softwaru okamžite po jeho "kontakte" s "antivírom". Ale v skutočnosti, pokiaľ k jeho detekcii nedôjde, neznamená to, že je "koniec". Niektoré detekčné mechanizmy napríklad dokážu tento malware odhaliť pri štarte/reštarte PC. A k reštartom PC v skutočnosti dochádza pomerne často (samozrejme to je veľmi individuálne). Ďalším krokom v teste je teda reštart. Plusové body bezpečnostné riešenie získa, ak malware detekuje po prvom reštarte. Ale testu (ani reálnemu používaniu PC) ešte stále nie je koniec. Procedúra zahŕňa celkom 3 reštarty po 8 hodinách, teda za 24 hodín. Toto zohľadňuje/popisuje za ako dlho sa stihne daná, unikajúca vzorka malwaru dostať do aktualizácií AV riešenia konkrétnych dodávateľov. Pokiaľ je v tomto čase detekovaná, AV v teste uspel (aj keď nie je certifikovaný), ak nie celkovo neuspel.

Na testovanie sa použili takýto "zástupcovia" malwaru:
Obrázek

Výsledkový graf detekcie vyzerá takto:
Obrázek
Auto blok - zablokované, User input - zablokované/povolené podľa rozhodnutia užívateľa (vyskakovacie okno), Fall - nedetekované

Kritérium na správne rozhodnutie pri rozhodovacom vyskakovacom okne je, že výzva musí byť jednoznačná, ľahko pochopiteľná pre neskúseného užívateľa.

A konečná výsledková, certifikačná tabuľka:
Obrázek

V staršom a trochu inak postavenom testovaní "MRG Effitas Time to Detect Assessment Q4 2013" výsledková tabuľka vyzerá trošku inak.

Obrázek
počet zablokovaných, počet nedetekovaných, čas za ktorý prebehla aktualizácia, po ktorej bola vzorka eliminovaná


----


Toľko krátke predstavenie. Verím, že pri výbere ochrancu svojho elektronického spoločníka budete mať šťastnú ruku, čoho najlepším výsledkom bude, trochu paradoxne, že nebudete potrebovať riešiť odvírovanie na tunajšom fóre: http://forum.viry.cz :wink:
Naposledy upravil(a) Tatry03 dne 12 kvě 2018 16:27, celkem upraveno 1 x.
----

Uživatelský avatar
vyosek
VIP
VIP
Příspěvky: 56373
Registrován: 07 lis 2006 15:24
Bydliště: Šalingrad - Brno

Re: CL - Testy antivírov, kto a čo testuje.

#2 Příspěvek od vyosek »

0 post bump :James008:
"Kdo víno má a nepije,kdo hrozny má a nejí je, kdo ženu má a nelíbá, kdo zábavě se vyhýbá, na toho vemte bič a hůl, to není člověk, to je vůl."
Člen Obrázek od 1. února 2011.

Odpovědět