Test Comodo Valkyrie

[morphiusz]

Dziś zrobiłem test ComodoValkyrie.
Zebrałem 150 bezpiecznych plików (głównie systemowych) a poza tym exeki z tych programów:

- ashampoo buring studio
- wtw
- Comodo Time Machine
- Expressivo
- FreeYouTubeToMP3Converter
- Comodo programs manager
- iSpy
- SpyShelter
- kilka sterowników.
oraz 200 plików malware - z ostatniej paczki tommyego.

Test miał na celu sprawdzenie jak ta analiza sypie FP i jaka jest jej wykrywalność nieznanych zagrożeń.

A więc wyniki:

TEST na BEZPIECZNYCH plikach:


Razem plików:150
Poprawnie oznaczonych przez Valkyrie: 148
Wynik : 98.66%

IMO to bardzo dobry wynik. Z rozpoznawaniem bezpiecznych plików mechanizmy Valkyri radzą sobie bardzo dobrze.


TEST na MALWARE:

W sumie złośliwych plików:200
Wykrytych przez Valkyrie: 170
Wynik : 85%

Jak dla mnie to też bardzo dobry wynik. Wykrywanie 85% nieznanego malware metodami heurystycznymi to całkiem niezły rezultat.

Valkyrie, temat na forum -

[Aby zobaczyć linki, zarejestruj się tutaj]

[ananael]

Testowanie na plikach systemowych, ech.
Wyzwaniem dla takiego automatu są legalne pliki pakowane komercyjnymi protektorami albo pliki mało popularne, które inne antywirusy wykrywają. Testowałem sobie z ciekawości Valkyrie i nie przekonałem się do tego systemu.

[morphiusz]

Co tu ma wykrywalność antywirusów do tego systemu?
Tu może być milion albo tylko jedna detekcja z komercyjnych AV a wynik Valkyrii będzie zawsze taki sam.
O to właśnie tutaj chodzi, wykrywanie malware 0 day.

Co do jakości - to ciągle faza BETA, więc nie ma co się za szybko rozczarowywać.

[ananael]

A co to jest AI_Detector_10 ? Skąd wiesz, że nie jest to wynik skanu z jednego z AV, albo nawet grupy AV?

[morphiusz]

Trochę głupie pytanie.
Skąd wiesz, że tłuszcz znajdujący się w mleku załamuje światło tak, że daje nam kolor biały, a nie, że producenci mleka dodają tam barwnika?

Tak samo jest tutaj - artificial intelligenceto znaczy sztuczna inteligencja. Nie ma tam żadnego silnika AV, badany jest kod pliku.

Podejrzenia bez podstaw - jak ja to lubię

[ananael]

Ja nie wiem więc pytam, Ty nie wiesz a jednak odpowiadasz.
Możesz bezgranicznie wierzyć Comodo. Ja mam wątpliwości i swoją odpowiedzią ich nie rozwiałeś.

Fanatyzm - jak ja to lubię

[Piotrex44]

morphiusz wypada to dość dobrze choć co prawda nie były to już malware 0 day no ale nie oszukujmy się mechanizmy Valkyri radzą sobie gorzej od niektórych AV i wiem że to kiepskie porównanie bo metoda wykrywania różni się..No ale w końcu to beta więc nie ma co narzekać..

[morphiusz]

Ja za to lubię jak ktoś rzucatakimi oskarżeniami bez podstaw.

Piotrex, detekcja 85% to lepiej niż nie jeden AV
Plusem tego jest to, że nie czy wirus został wypuszczony przed 1 sekundą czy masz już 2 lata .

Przykład tej swieżynki

[Aby zobaczyć linki, zarejestruj się tutaj]

[Aby zobaczyć linki, zarejestruj się tutaj]

[zord]

a tu przykład z threadexperta

[Aby zobaczyć linki, zarejestruj się tutaj]

jak widać korzysta z kilku silników skanujących więc w Valkyrie niektóre silniki to mogą być po prostu jakieś programy antyvirusowe

[morphiusz]

Ktos rzucil haslo, teraz beda to powtarzac
Proszę, tu wrzuciłem EICARA:

[Aby zobaczyć linki, zarejestruj się tutaj]

Żadna z czujek nie ma nic do powiedzenia, bo ani kod tego pliku nie jest złośliwy ani bezpieczny. To też niweluje teorię o silnikach AV, która nie wiem jakim cudem się zrodziła i mam nadzieję, że tutaj się kończy.

[zord]

pierwsza kolumna statyczna detekcja 2 kolumna dynamiczna detekcja 3 kolumna zaawansowana heurystyka czyli to pierwsze to 17 jakis zwykłych skanerów nie wiadomo jakich

[morphiusz]

Taka informacja jeśli chodzi o Static Detection...

[Aby zobaczyć linki, zarejestruj się tutaj]

[Eugeniusz]

A ta Advanced Heurisitics to co? Po co w nieantywirusowej metodzie wykrywania złośliwego kodu używana jest heurystyka? Comodo próbuje korzystać z pomocy zaświatów?
Sam już nie wiem...
//Heh, wytłumaczyli tylko static, dobre

[morphiusz]

Static masz, Dynamic masz, a Advanced nie jest dla śmiertelników
Najlepiej jak by udostępnili kod źródłowy tego wszystkiego od razu do oceny przez ekspertów bezpieczeństwa safegroup...

[Eugeniusz]

Static masz, Dynamic masz, a Advenced nie jest dla śmiertelników

Hmm albo mam lewego Firefoksa, albo Comodo mnie cenzuruje. Na każdej z zakładek mam "żaróweczkę" z tym samym opisem, dotyczącym detekcji statycznej.
A tak w ogóle:
Panie Miłoszu, proszę mnie nie drażnić.

przez ekspertów bezpieczeństwa safegroup...

To po co tu siedzisz? Jak Ci się coś nie podoba, to tam jest przycisk wyloguj.

[morphiusz]

To forum bardzo mi się podoba, dlaczego miałbym się wylogowywać?
Tylko to gdybanie jest bez sensu, chyba dobrze, że działa?

Static to żaróweczka, dynamic to CIMA (

[Aby zobaczyć linki, zarejestruj się tutaj]

).

[Eugeniusz]

No to jeszcze heurystyka zostaje.

[zord]

najlepiej było by zrobić zestawienie i analizę wyników z Valkyrie i Virustotal ale za dużo z tym roboty

[morphiusz]

No to jeszcze heurystyka zostaje.

Pewnie masz rację co do tego, więc wysłałem im maila z zapytaniem, czy może dodadzą coś takiego.

Co do zestawiania VK i VT to imo nie za dobry pomysł, bo one działają zupełnie inaczej...
VK możemy sobie rozpoznawać świeże malware z 2-3 detekcjami na VT, nie muszę mówić, ze jeśli chodzi o starsze to VT jest jednak bardziej wiarygodne.

[morphiusz]

najlepiej było by zrobić zestawienie i analizę wyników z Valkyrie i Virustotal ale za dużo z tym roboty

Zebrałem dzisiaj 50 najnowszych malware z MLD i malc0de.
Testowałem Jotti scanner (20 skanerów) w zestawieniu z Valkyrie.
Za minimum od Jotti przyjąłem 50% detekcji (10 skanerów, 50% nie wydaje mi się, że to dużo).

Jotti wykrył 28/50 - 56%
Valkyrie wykryła 47/50 - 94%

3 pliki, które Valkyrie przeoczyła:

[Aby zobaczyć linki, zarejestruj się tutaj]

-

[Aby zobaczyć linki, zarejestruj się tutaj]

[Aby zobaczyć linki, zarejestruj się tutaj]

-

[Aby zobaczyć linki, zarejestruj się tutaj]

[Aby zobaczyć linki, zarejestruj się tutaj]

-

[Aby zobaczyć linki, zarejestruj się tutaj]

Jak widać 2 pierwsze pliki to obrazki i wydają się być czyste...

Podsumowując:
Jotti 28/48- 58,3%
Valkyrie 47/48 - ~98%