+- SafeGroup (https://safegroup.pl)
+-- Dział: Publikacje (https://safegroup.pl/forum-27.html)
+--- Dział: Testy (https://safegroup.pl/forum-22.html)
+--- Wątek: Test Comodo Valkyrie (/thread-3283.html)
Strony:
1
2
Test Comodo Valkyrie - morphiusz - 09.08.2011
Dziś zrobiłem test ComodoValkyrie.
Zebrałem 150 bezpiecznych plików (głównie systemowych) a poza tym exeki z tych programów:
- ashampoo buring studio
- wtw
- Comodo Time Machine
- Expressivo
- FreeYouTubeToMP3Converter
- Comodo programs manager
- iSpy
- SpyShelter
- kilka sterowników.
oraz 200 plików malware - z ostatniej paczki tommyego.
Test miał na celu sprawdzenie jak ta analiza sypie FP i jaka jest jej wykrywalność nieznanych zagrożeń.
A więc wyniki:
TEST na BEZPIECZNYCH plikach:
Razem plików:150
Poprawnie oznaczonych przez Valkyrie: 148
Wynik : 98.66%
IMO to bardzo dobry wynik. Z rozpoznawaniem bezpiecznych plików mechanizmy Valkyri radzą sobie bardzo dobrze.
TEST na MALWARE:
W sumie złośliwych plików:200
Wykrytych przez Valkyrie: 170
Wynik : 85%
Jak dla mnie to też bardzo dobry wynik. Wykrywanie 85% nieznanego malware metodami heurystycznymi to całkiem niezły rezultat.
Valkyrie, temat na forum -
[Aby zobaczyć linki, zarejestruj się tutaj]
Re: Test Comodo Valkyrie - ananael - 09.08.2011
Testowanie na plikach systemowych, ech.
Wyzwaniem dla takiego automatu są legalne pliki pakowane komercyjnymi protektorami albo pliki mało popularne, które inne antywirusy wykrywają. Testowałem sobie z ciekawości Valkyrie i nie przekonałem się do tego systemu.
Re: Test Comodo Valkyrie - morphiusz - 09.08.2011
Co tu ma wykrywalność antywirusów do tego systemu?
Tu może być milion albo tylko jedna detekcja z komercyjnych AV a wynik Valkyrii będzie zawsze taki sam.
O to właśnie tutaj chodzi, wykrywanie malware 0 day.
Co do jakości - to ciągle faza BETA, więc nie ma co się za szybko rozczarowywać.
Re: Test Comodo Valkyrie - ananael - 09.08.2011
A co to jest AI_Detector_10 ? Skąd wiesz, że nie jest to wynik skanu z jednego z AV, albo nawet grupy AV?
Re: Test Comodo Valkyrie - morphiusz - 09.08.2011
Trochę głupie pytanie.
Skąd wiesz, że tłuszcz znajdujący się w mleku załamuje światło tak, że daje nam kolor biały, a nie, że producenci mleka dodają tam barwnika?
Tak samo jest tutaj - artificial intelligenceto znaczy sztuczna inteligencja. Nie ma tam żadnego silnika AV, badany jest kod pliku.
Podejrzenia bez podstaw - jak ja to lubię
Re: Test Comodo Valkyrie - ananael - 09.08.2011
Ja nie wiem więc pytam, Ty nie wiesz a jednak odpowiadasz.
Możesz bezgranicznie wierzyć Comodo. Ja mam wątpliwości i swoją odpowiedzią ich nie rozwiałeś.
Fanatyzm - jak ja to lubię
Re: Test Comodo Valkyrie - Piotrex44 - 10.08.2011
morphiusz wypada to dość dobrze choć co prawda nie były to już malware 0 day no ale nie oszukujmy się mechanizmy Valkyri radzą sobie gorzej od niektórych AV i wiem że to kiepskie porównanie bo metoda wykrywania różni się..No ale w końcu to beta więc nie ma co narzekać..
Re: Test Comodo Valkyrie - morphiusz - 10.08.2011
Ja za to lubię jak ktoś rzucatakimi oskarżeniami bez podstaw.
Piotrex, detekcja 85% to lepiej niż nie jeden AV
Plusem tego jest to, że nie czy wirus został wypuszczony przed 1 sekundą czy masz już 2 lata
.Przykład tej swieżynki
[Aby zobaczyć linki, zarejestruj się tutaj]
[Aby zobaczyć linki, zarejestruj się tutaj]
Re: Test Comodo Valkyrie - zord - 10.08.2011
a tu przykład z threadexperta
[Aby zobaczyć linki, zarejestruj się tutaj]
jak widać korzysta z kilku silników skanujących więc w Valkyrie niektóre silniki to mogą być po prostu jakieś programy antyvirusowe
Re: Test Comodo Valkyrie - morphiusz - 10.08.2011
Ktos rzucil haslo, teraz beda to powtarzac
Proszę, tu wrzuciłem EICARA:
[Aby zobaczyć linki, zarejestruj się tutaj]
Żadna z czujek nie ma nic do powiedzenia, bo ani kod tego pliku nie jest złośliwy ani bezpieczny. To też niweluje teorię o silnikach AV, która nie wiem jakim cudem się zrodziła i mam nadzieję, że tutaj się kończy.
Re: Test Comodo Valkyrie - zord - 10.08.2011
pierwsza kolumna statyczna detekcja 2 kolumna dynamiczna detekcja 3 kolumna zaawansowana heurystyka czyli to pierwsze to 17 jakis zwykłych skanerów nie wiadomo jakich
Re: Test Comodo Valkyrie - morphiusz - 10.08.2011
Taka informacja jeśli chodzi o Static Detection...
[Aby zobaczyć linki, zarejestruj się tutaj]
Re: Test Comodo Valkyrie - Eugeniusz - 10.08.2011
A ta Advanced Heurisitics to co? Po co w nieantywirusowej metodzie wykrywania złośliwego kodu używana jest heurystyka? Comodo próbuje korzystać z pomocy zaświatów?
Sam już nie wiem...
//Heh, wytłumaczyli tylko static, dobre
Re: Test Comodo Valkyrie - morphiusz - 10.08.2011
Static masz, Dynamic masz, a Advanced nie jest dla śmiertelników
Najlepiej jak by udostępnili kod źródłowy tego wszystkiego od razu do oceny przez ekspertów bezpieczeństwa safegroup...
Re: Test Comodo Valkyrie - Eugeniusz - 10.08.2011
morphiusz napisał(a):Static masz, Dynamic masz, a Advenced nie jest dla śmiertelników
Hmm albo mam lewego Firefoksa, albo Comodo mnie cenzuruje. Na każdej z zakładek mam "żaróweczkę" z tym samym opisem, dotyczącym detekcji statycznej.
A tak w ogóle:
Panie Miłoszu, proszę mnie nie drażnić.
morphiusz napisał(a):przez ekspertów bezpieczeństwa safegroup...
To po co tu siedzisz? Jak Ci się coś nie podoba, to tam jest przycisk wyloguj.
Re: Test Comodo Valkyrie - morphiusz - 10.08.2011
To forum bardzo mi się podoba, dlaczego miałbym się wylogowywać?
Tylko to gdybanie jest bez sensu, chyba dobrze, że działa?
Static to żaróweczka, dynamic to CIMA (
[Aby zobaczyć linki, zarejestruj się tutaj]
).Re: Test Comodo Valkyrie - Eugeniusz - 10.08.2011
No to jeszcze heurystyka zostaje.
Re: Test Comodo Valkyrie - zord - 10.08.2011
najlepiej było by zrobić zestawienie i analizę wyników z Valkyrie i Virustotal ale za dużo z tym roboty
Re: Test Comodo Valkyrie - morphiusz - 10.08.2011
Eugeniusz napisał(a):No to jeszcze heurystyka zostaje.
Pewnie masz rację co do tego, więc wysłałem im maila z zapytaniem, czy może dodadzą coś takiego.
Co do zestawiania VK i VT to imo nie za dobry pomysł, bo one działają zupełnie inaczej...
VK możemy sobie rozpoznawać świeże malware z 2-3 detekcjami na VT, nie muszę mówić, ze jeśli chodzi o starsze to VT jest jednak bardziej wiarygodne.
Re: Test Comodo Valkyrie - morphiusz - 16.08.2011
zord napisał(a):najlepiej było by zrobić zestawienie i analizę wyników z Valkyrie i Virustotal ale za dużo z tym roboty
Zebrałem dzisiaj 50 najnowszych malware z MLD i malc0de.
Testowałem Jotti scanner (20 skanerów) w zestawieniu z Valkyrie.
Za minimum od Jotti przyjąłem 50% detekcji (10 skanerów, 50% nie wydaje mi się, że to dużo).
Jotti wykrył 28/50 - 56%
Valkyrie wykryła 47/50 - 94%
3 pliki, które Valkyrie przeoczyła:
[Aby zobaczyć linki, zarejestruj się tutaj]
-[Aby zobaczyć linki, zarejestruj się tutaj]
[Aby zobaczyć linki, zarejestruj się tutaj]
-[Aby zobaczyć linki, zarejestruj się tutaj]
[Aby zobaczyć linki, zarejestruj się tutaj]
-[Aby zobaczyć linki, zarejestruj się tutaj]
Jak widać 2 pierwsze pliki to obrazki i wydają się być czyste...
Podsumowując:
Jotti 28/48- 58,3%
Valkyrie 47/48 - ~98%