03.02.2010, 15:08
Ciekawy artykuł ze strony kaspersky.pl w dziale dziennik analityków
A oto treść artykułu
Czy kiedykolwiek zdarzyło ci się sprawdzać plik na stronie w rodzaju VirusTotal i otrzymać wynik, który w rzeczywistości stanowił tzw. fałszywe trafienie. Czasami jeden plik jest wykrywany nie przez jeden skaner, ale kilka. Prowadzi to do absurdalnej sytuacji, gdy każdy produkt, który nie wykryje takiego pliku, automatycznie źle wygląda w oczach użytkowników, którzy nie wiedzą, że to fałszywe trafienie.
Niestety, dokładnie taka sama sytuacja ma miejsce w przypadku wielu testów rozwiązań antywirusowych, szczególnie statycznych testów na żądanie, gdzie skanowane są setki tysięcy próbek. Naturalnie, uwierzytelnienie tak dużej liczby próbek wymaga ogromnych zasobów. Dlatego większość testerów może zweryfikować jedynie podzbiór wykorzystywanych przez siebie plików. A co z resztą? Jedynym sposobem na sklasyfikowanie reszty plików jest zastosowanie kombinacji reputacja źródła + skanowanie wieloma skanerami. To oznacza, że - jak w przykładzie z serwisem VirusTotal - każda firma, która nie wykrywa próbek wykrywanych przez inne firmy, będzie wyglądała źle – nawet jeśli próbki są uszkodzone lub całkowicie czyste.
Ponieważ dobre wyniki testów są niezwykle ważne dla firm antywirusowych, wzrosło wykrywanie oparte na wielu skanerach. Naturalnie, producenci rozwiązań antywirusowych, łącznie z nami, od dawna skanują podejrzane pliki przy użyciu skanerów innych firm. Wiedza o tym, jaki werdykt generują rozwiązania innych firm antywirusowych, jest przydatna. Na przykład, jeżeli 10 firm antywirusowych wykrywa podejrzany plik jako trojana downloadera, wiesz, od czego zacząć. Obecnie jednak obserwujemy coś zupełnie innego: dążenie do uzyskiwania dobrych wyników w testach przyczyniło się do tego, że w ciągu ostatnich kilku lat znacząco wzrosło wykrywanie oparte na wielu skanerach. Naturalnie, nikt nie jest zadowolony z takiej sytuacji – w końcu naszym celem jest ochrona naszych użytkowników, a nie hakowanie metodologii testów.
Z tego powodu niemiecki magazyn komputerowy przeprowadził eksperyment, którego wyniki zostały przedstawione na konferencji bezpieczeństwa w październiku zeszłego roku: stworzono czysty plik, poproszono nas o dodanie fałszywego wykrywania dla niego, a następnie wrzucono go na serwis VirusTotal. Kilka miesięcy później plik został wykryty przez ponad 20 skanerów na VirusTotal. Po prezentacji eksperymentu obecni na konferencji przedstawiciele kilku firm antywirusowych zgodzili się, że należy znaleźć rozwiązanie dla tej sytuacji. Jednak wykrywanie oparte na wielu skanerach jest jedynie symptomem – źródłem problemu jest sama
Niestety, firmy antywirusowe niewiele mogą zrobić w tej sprawie, ponieważ to magazyny zamawiają testy – a jeżeli mogą wybierać między tanim statycznym testem na żądanie wykorzystującym milion próbek (spośród których niektóre są sprzed kilku miesięcy) a drogim dynamicznym testem wykorzystującym mniejszą liczbę, uwierzytelnionych, próbek zero-day, większość z nich wybierze tę pierwszą opcję.
Jak już wspomniałem wcześniej, firmy antywirusowe, jak również większość testerów, są świadome tego problemu i nie są z tego powodu zadowolone. Usprawnienie metodologii przeprowadzania testów było również powodem, dla którego dwa lata temu wiele firm antywirusowych (łącznie z naszą), niezależnych badaczy i testerów założyło AMTSO (Anti-Malware Testing Standards Organization). Ostatecznie jednak to dziennikarze odgrywają kluczową rolę. Dlatego zdecydowaliśmy się przedstawić ten problem na zorganizowanym niedawno press tourze w Moskwie, na który zaprosiliśmy dziennikarzy z całego świata. Naturalnie, naszym celem nie było dyskredytowanie żadnych firm antywirusowych (są też przypadki, gdy do wykrycia przez nas pliku przyczynił się multi-scanner), ale zwrócenie uwagi na negatywny efekt tanich, statycznych testów na żądanie.
Zrobiliśmy w dużej mierze to samo, co w zeszłym roku zrobił niemiecki magazyn komputerowy, tyle tylko że przy użyciu większej liczby próbek. Stworzyliśmy 20 czystych plików i dodaliśmy fałszywe wykrywanie dla 10 z nich. W ciągu kolejnych kilku dni wrzuciliśmy ponownie wszystkie dwadzieścia plików na VirusTotal, żeby zobaczyć, co się stanie. Po dziesięciu dniach wszystkie z wykrytych przez nas plików (które niekoniecznie były szkodliwe) zostały wykryte przez 14 innych firm antywirusowych – w niektórych przypadkach fałszywe trafienie było prawdopodobnie wynikiem zastosowania agresywnej heurystyki, jednak na niektóre wyniki z pewnością wpłynęło zastosowanie wielu skanerów. Wszystkie użyte przez nas próbki przekazaliśmy dziennikarzom, aby sami mogli je przetestować. Zdawaliśmy sobie sprawę, że to może być ryzykowny krok: ponieważ nasza prezentacja obejmowała również kwestię praw własności intelektualnej, istniało ryzyko, że dziennikarze zamiast na głównym problemie (skanowanie przy użyciu różnych skanerów jest tylko symptomem, a nie źródłem problemu) koncentrują się na tym, kto ściąga od kogo. Ostatecznie jednak to dziennikarze mogą zlecać lepsze testy, musieliśmy więc gdzieś zacząć.
Co dalej? Dobra wiadomość jest taka, że w ostatnich kilku miesiącach niektórzy testerzy zaczęli już pracować nad nowymi metodologiami testów. Zamiast stosowania statycznego skanowania na żądanie próbują testować cały łańcuch komponentów wykrywania: moduł antyspamowy -> ochrona w chmurze -> wykrywanie oparte na sygnaturach -> emulacja -> analiza w czasie rzeczywistym oparta na zachowaniu itd. Ostatecznie jednak wszystko leży w rękach czasopism, bo to od nich zależy, czy zamówią taki rodzaj testu i czy porzucą podejścia, które są po prostu przestarzałe.
Jeżeli zrezygnujemy ze statycznych testów na żądanie, wykorzystujących nieuwierzytelnione próbki, przynajmniej zredukujemy kopiowanie klasyfikacji, a wyniki testów będą bliżej odzwierciedlały rzeczywistość (nawet jeśli będzie to oznaczało koniec 99.x% współczynników wykrywania). Ostatecznie wszyscy na tym skorzystają: prasa, użytkownicy i naturalnie my sami.
Co do skanowaniana żądanie paczek czynormalnej puli malware też według mnie nie jest wskaźnikiemskuteczności programów. To jest stara na dodatek bardzo oszczędną i już nie za bardzo jest miernikiem skuteczności. I się dziwić ,że Panda np. nie bierze udziału w testach AV-C bo przeprowadzalitesty nie tak dawno na podstawie skanowaniu plików na żądanie, każdy głąb to potrafi , i pomawianie,że pracują tam niezbyt wykwalifikowaniludzie daje do myślenia,że jest w tym sporo prawdy. Teraz od końca 2009 wprowadzili dynamic test AV-C i widać jaki prdukt tak naprawdę radzi sobie zwirusami. To da do myśleniafanboyomtestu AV-C chodzi mi głównie o Pablossa który myśli,że jak zostanie przeskanowana paczka ponad 1 mln to daje wyznacznik kto jest dobry, najlepsze są testydynamiczne wykorzystujące większa game metod ochronnych w danym produkcie , testowanie wirów podczas otwierania a nie skanowaniana żądanie tylko, to metoda która jest już dawno za stara na dzisiejsze czasy, czas iść do przodu Za jakość się płaci, ale chociaż w sposób bardziej rzetelny widzimy na jakim poziomiejest danyprodukt w bardziej ekstremalnych warunkach a nie naprowizorycznym skanie paczki hehe
Teraz widać przyzdecydowanie bardziejnowoczesnych testach gdzie jest Avirka a gdzie Norton czy Kaspersky i OA++
[Aby zobaczyć linki, zarejestruj się tutaj]
A oto treść artykułu
Czy kiedykolwiek zdarzyło ci się sprawdzać plik na stronie w rodzaju VirusTotal i otrzymać wynik, który w rzeczywistości stanowił tzw. fałszywe trafienie. Czasami jeden plik jest wykrywany nie przez jeden skaner, ale kilka. Prowadzi to do absurdalnej sytuacji, gdy każdy produkt, który nie wykryje takiego pliku, automatycznie źle wygląda w oczach użytkowników, którzy nie wiedzą, że to fałszywe trafienie.
Niestety, dokładnie taka sama sytuacja ma miejsce w przypadku wielu testów rozwiązań antywirusowych, szczególnie statycznych testów na żądanie, gdzie skanowane są setki tysięcy próbek. Naturalnie, uwierzytelnienie tak dużej liczby próbek wymaga ogromnych zasobów. Dlatego większość testerów może zweryfikować jedynie podzbiór wykorzystywanych przez siebie plików. A co z resztą? Jedynym sposobem na sklasyfikowanie reszty plików jest zastosowanie kombinacji reputacja źródła + skanowanie wieloma skanerami. To oznacza, że - jak w przykładzie z serwisem VirusTotal - każda firma, która nie wykrywa próbek wykrywanych przez inne firmy, będzie wyglądała źle – nawet jeśli próbki są uszkodzone lub całkowicie czyste.
Ponieważ dobre wyniki testów są niezwykle ważne dla firm antywirusowych, wzrosło wykrywanie oparte na wielu skanerach. Naturalnie, producenci rozwiązań antywirusowych, łącznie z nami, od dawna skanują podejrzane pliki przy użyciu skanerów innych firm. Wiedza o tym, jaki werdykt generują rozwiązania innych firm antywirusowych, jest przydatna. Na przykład, jeżeli 10 firm antywirusowych wykrywa podejrzany plik jako trojana downloadera, wiesz, od czego zacząć. Obecnie jednak obserwujemy coś zupełnie innego: dążenie do uzyskiwania dobrych wyników w testach przyczyniło się do tego, że w ciągu ostatnich kilku lat znacząco wzrosło wykrywanie oparte na wielu skanerach. Naturalnie, nikt nie jest zadowolony z takiej sytuacji – w końcu naszym celem jest ochrona naszych użytkowników, a nie hakowanie metodologii testów.
Z tego powodu niemiecki magazyn komputerowy przeprowadził eksperyment, którego wyniki zostały przedstawione na konferencji bezpieczeństwa w październiku zeszłego roku: stworzono czysty plik, poproszono nas o dodanie fałszywego wykrywania dla niego, a następnie wrzucono go na serwis VirusTotal. Kilka miesięcy później plik został wykryty przez ponad 20 skanerów na VirusTotal. Po prezentacji eksperymentu obecni na konferencji przedstawiciele kilku firm antywirusowych zgodzili się, że należy znaleźć rozwiązanie dla tej sytuacji. Jednak wykrywanie oparte na wielu skanerach jest jedynie symptomem – źródłem problemu jest sama
Niestety, firmy antywirusowe niewiele mogą zrobić w tej sprawie, ponieważ to magazyny zamawiają testy – a jeżeli mogą wybierać między tanim statycznym testem na żądanie wykorzystującym milion próbek (spośród których niektóre są sprzed kilku miesięcy) a drogim dynamicznym testem wykorzystującym mniejszą liczbę, uwierzytelnionych, próbek zero-day, większość z nich wybierze tę pierwszą opcję.
Jak już wspomniałem wcześniej, firmy antywirusowe, jak również większość testerów, są świadome tego problemu i nie są z tego powodu zadowolone. Usprawnienie metodologii przeprowadzania testów było również powodem, dla którego dwa lata temu wiele firm antywirusowych (łącznie z naszą), niezależnych badaczy i testerów założyło AMTSO (Anti-Malware Testing Standards Organization). Ostatecznie jednak to dziennikarze odgrywają kluczową rolę. Dlatego zdecydowaliśmy się przedstawić ten problem na zorganizowanym niedawno press tourze w Moskwie, na który zaprosiliśmy dziennikarzy z całego świata. Naturalnie, naszym celem nie było dyskredytowanie żadnych firm antywirusowych (są też przypadki, gdy do wykrycia przez nas pliku przyczynił się multi-scanner), ale zwrócenie uwagi na negatywny efekt tanich, statycznych testów na żądanie.
Zrobiliśmy w dużej mierze to samo, co w zeszłym roku zrobił niemiecki magazyn komputerowy, tyle tylko że przy użyciu większej liczby próbek. Stworzyliśmy 20 czystych plików i dodaliśmy fałszywe wykrywanie dla 10 z nich. W ciągu kolejnych kilku dni wrzuciliśmy ponownie wszystkie dwadzieścia plików na VirusTotal, żeby zobaczyć, co się stanie. Po dziesięciu dniach wszystkie z wykrytych przez nas plików (które niekoniecznie były szkodliwe) zostały wykryte przez 14 innych firm antywirusowych – w niektórych przypadkach fałszywe trafienie było prawdopodobnie wynikiem zastosowania agresywnej heurystyki, jednak na niektóre wyniki z pewnością wpłynęło zastosowanie wielu skanerów. Wszystkie użyte przez nas próbki przekazaliśmy dziennikarzom, aby sami mogli je przetestować. Zdawaliśmy sobie sprawę, że to może być ryzykowny krok: ponieważ nasza prezentacja obejmowała również kwestię praw własności intelektualnej, istniało ryzyko, że dziennikarze zamiast na głównym problemie (skanowanie przy użyciu różnych skanerów jest tylko symptomem, a nie źródłem problemu) koncentrują się na tym, kto ściąga od kogo. Ostatecznie jednak to dziennikarze mogą zlecać lepsze testy, musieliśmy więc gdzieś zacząć.
Co dalej? Dobra wiadomość jest taka, że w ostatnich kilku miesiącach niektórzy testerzy zaczęli już pracować nad nowymi metodologiami testów. Zamiast stosowania statycznego skanowania na żądanie próbują testować cały łańcuch komponentów wykrywania: moduł antyspamowy -> ochrona w chmurze -> wykrywanie oparte na sygnaturach -> emulacja -> analiza w czasie rzeczywistym oparta na zachowaniu itd. Ostatecznie jednak wszystko leży w rękach czasopism, bo to od nich zależy, czy zamówią taki rodzaj testu i czy porzucą podejścia, które są po prostu przestarzałe.
Jeżeli zrezygnujemy ze statycznych testów na żądanie, wykorzystujących nieuwierzytelnione próbki, przynajmniej zredukujemy kopiowanie klasyfikacji, a wyniki testów będą bliżej odzwierciedlały rzeczywistość (nawet jeśli będzie to oznaczało koniec 99.x% współczynników wykrywania). Ostatecznie wszyscy na tym skorzystają: prasa, użytkownicy i naturalnie my sami.
Co do skanowaniana żądanie paczek czynormalnej puli malware też według mnie nie jest wskaźnikiemskuteczności programów. To jest stara na dodatek bardzo oszczędną i już nie za bardzo jest miernikiem skuteczności. I się dziwić ,że Panda np. nie bierze udziału w testach AV-C bo przeprowadzalitesty nie tak dawno na podstawie skanowaniu plików na żądanie, każdy głąb to potrafi , i pomawianie,że pracują tam niezbyt wykwalifikowaniludzie daje do myślenia,że jest w tym sporo prawdy. Teraz od końca 2009 wprowadzili dynamic test AV-C i widać jaki prdukt tak naprawdę radzi sobie zwirusami. To da do myśleniafanboyomtestu AV-C chodzi mi głównie o Pablossa
który myśli,że jak zostanie przeskanowana paczka ponad 1 mln to daje wyznacznik kto jest dobry, najlepsze są testydynamiczne wykorzystujące większa game metod ochronnych w danym produkcie , testowanie wirów podczas otwierania a nie skanowaniana żądanie tylko, to metoda która jest już dawno za stara na dzisiejsze czasy, czas iść do przodu Za jakość się płaci, ale chociaż w sposób bardziej rzetelny widzimy na jakim poziomiejest danyprodukt w bardziej ekstremalnych warunkach a nie naprowizorycznym skanie paczki heheTeraz widać przyzdecydowanie bardziejnowoczesnych testach gdzie jest Avirka a gdzie Norton czy Kaspersky i OA++
