man_on_the_train...Win 10 i prywatny test programów zabezpieczających
#1
W sieci kilka dni temu pojawiły się wyniki prywatnego testu użytkownika man_on_the_train na serwisie "Reddit"...informację o teście opublikowano tam pod tytułem "Be aware - Most popular security suites like Avast, McAfee, Kaspersky or Bitdefender fail miserably in basic security tests"

[Aby zobaczyć linki, zarejestruj się tutaj]

natomiast oryginalny test ze zbiorczym wykazem wyników, opisem szczegółowym, metodologią na blogu

[Aby zobaczyć linki, zarejestruj się tutaj]


Autorowi przyświecała idea sprawdzenia, jak z popularnymi i dostępnymi w sieci testami radzą sobie tak mocno reklamowane programy jak np. Norton, Avast, Kaspersky, Comodo czy Eset (to, że wymieniam te programy to zupełny przypadek)...listę wszystkich znajdziemy w zestawieniu zbiorczym, w którym po kliknięciu nazwy programu można przejść do jego wyników szczegółowych...ale to za chwilę...jeszcze trochę napięcia będzie Grin

Do testu użyto systemu Win 10 64-bit oraz testów

Cytat:Matousec's SSTS (Security Software Testing Suite) - using schedtest, BITStest and kill5.

Schedtest - the purpose of this test is to determine whether tested security software allows communication with other process task scheduler to set a task, for example executing malicious code.

BITStest - this test uses IBackgroundCopyManager hosted by BITS Windows service to download the file from the Internet (advanced malware can use it for example to automatically update itself).

kill5 - one of the methods that malware can use to kill the security software processes.

Anti-Keylogging test - Zero-Day Keylogger test. Most data thefts are done with keylogging hooks. It is an essential part.

CLT - Comodo Leak Test. It basically shows how your PC is protected against RAT's, rootkits and injections.
No dobra...wyniki...wygrał...taa-daam!!...SpyShelter  Cool
I ocena tego programu

Cytat:This test was performed on August 20, 2015. (SpyShelter Firewall 10.0)

"SpyShelter Protects you where your antivirus can't" - although it is not an antivirus, I picked it up to see if it can block my keylogger.
I have chosen the SpyShelter Firewall over Premium version because SpyShelter Premium does not have a Firewall module (compare them here) - all previous tested applications had firewall module. Firewalls are also a huge part of CLT score.

After conducting the tests, all I can say is that this application has some really insane HIPS protection.
SpyShelter installs in High security mode by default (the highest security mode is called 'Ask user').

SSTS64 results(HIPS module turned on in Safe Mode):

Schedtest3 - PASSED
Bitstest - PASSED
Kill5 - PASSED

Conclusion: SpyShelter does excellent job in protecting itself from being killed off by malware. It does detect attempts of executing malicious code through Task Scheduler. BITStest has proven that advanced malware be unable to do anything if user decides to block the action.

CLT Score:

330/340 - Almost maximum score for this test on default installation settings. 210/340 is a default score that Windows 10 reaches without any security software. So far, only Comodo Internet Security Pro scored 340/340.

Zero-day keylogger test - PASSED

SpyShelter Firewall has detected the dangerous actions allowing the user to block the keylogger. It is also equipped with keystroke encryption driver which will encrypt the keystrokes in case you allow a keylogger through, which is pretty neat.
 
A teraz pozostałe wyniki

[Aby zobaczyć linki, zarejestruj się tutaj]

Obrazek za

[Aby zobaczyć linki, zarejestruj się tutaj]


No i tak...nie pierwszy to test wskazujący, że tradycyjne metody walki ze szkodnikami są coraz mniej skuteczne...pierwszy chyba jednak tak obszerny na najnowszym systemie Microsoft, który zaledwie po miesiącu już jest zarejestrowany na ok. 75 milionach maszyn.
No dobra...to nie będzie reklama...ktoś jeszcze wątpi w skuteczność SpySheltera? Grin
"Bezpieczeństwo jest podróżą, a nie celem samym w sobie - to nie jest problem, który można rozwiązać raz na zawsze"
"Zaufanie nie stanowi kontroli, a nadzieja nie jest strategią"
Odpowiedz
#2
A mnie zaczęło zastanawiać, czy SSFW chroni też przed szpiegowaniem keystroke'ów przez samego Win10... To by były jaja Suspicious
Odpowiedz
#3
Comodo umieścił pliki tych lesktestow na zaufsnej liście. Teraz już powinno być ok, jednak autor testu nie zaktualizował wyników.

[Aby zobaczyć linki, zarejestruj się tutaj]

Odpowiedz
#4
(27.08.2015, 11:23)morphiusz napisał(a):

[Aby zobaczyć linki, zarejestruj się tutaj]

Comodo umieścił pliki tych lesktestow na zaufsnej liście. Teraz już powinno być ok, jednak autor testu nie zaktualizował wyników.
I nie wiem, czy to dobrze, że tak zrobili...i dlatego nie wiem, czy na pewno wyniki testu powinny być zweryfikowane. Powód jest prosty...tester nie ingerował we wbudowane listy zaufanych certyfikatów, bo taka lista z góry definiuje oprogramowanie przepuszczane bez pytania i jest cecha oraz wewnętrzna sprawa każdego z producentów. Jeśli zmienimy to przydzielone konkretnym testom "zaufanie", to powinniśmy zrobić podobnie w przypadku innych programów...i teraz pytanie którym i ewentualnie w jakim zakresie...i dalej pytanie - jaki sens maja wtedy testy? Smile
"Bezpieczeństwo jest podróżą, a nie celem samym w sobie - to nie jest problem, który można rozwiązać raz na zawsze"
"Zaufanie nie stanowi kontroli, a nadzieja nie jest strategią"
Odpowiedz
#5
Jasne - wątpliwe wydaje się umieszczenie tych testów na białęj liście. Faktem jest, że Comodo rozpoznaje i blokuje takie akcje nieznanych plików Smile

[Aby zobaczyć linki, zarejestruj się tutaj]

Odpowiedz
#6
Cytat:Anti-Keylogging test - Zero-Day Keylogger test.
Jeżeli jest testowany keylogger w antywirusach które nie posiadają funkcji antikeyloggera to nic dziwnego, że takie wynikiSmile Ciekawe, jak by wyszły wyniki po wyłączeniu niektórych usług w Windows, np. Usługi inteligentnego transferu w tle?
Brakuje mi w teście TrustMicro, F-Secure i AVGSad Całe szczęście, że to badanie AV tylko na odporność specyficznych testów, a nie na realne zagrożenia..
SpyShelter Firewall + EMSISOFT Internet Security + McAfee WebAdvisor
Odpowiedz
#7
To nie do końca prawda...programy AV/IS maja takie możliwości choćby w postaci sygnatur czy modułów typu monitor zachowań, wewnętrzne piaskownice, heurystyka. Przykład najlepszy to Kaspersky, który chwali się często zdobywaniem laurów w tym zakresie.
A propos Windows...warto zacytować ten fragment komentarza do zbiorczych wyników...nie znamy wyniku poszczególnych etapów testu, ale mozna sie domyślić, że Win10 sam w sobie jest "szczelny".


Cytat:When it comes to CLT results, Windows 10 without any security software scores exactly 210/340. This is why score of 210/340 is considered as 0(not passed).
"Bezpieczeństwo jest podróżą, a nie celem samym w sobie - to nie jest problem, który można rozwiązać raz na zawsze"
"Zaufanie nie stanowi kontroli, a nadzieja nie jest strategią"
Odpowiedz
#8
A gdzie Emsisoft ?!
Ciekawe jak by sobie poradził NVT ERP pewnie tak samo jak SS.. ehh te porównania AV do HIPS

albo combo WinPatrol z WinPrivacy Smile
Warstwy ochrony

1)Ograniczenie/blokowanie dostępu do danych/aplikacji
2)Odizolowanie i tworzenie osobnych baz danych/aplikacji
3)Kopia zapasowa systemu/ważnych danych.
4)Wykrywanie i kasowanie wirusów/złośliwych aplikacji.
Odpowiedz
#9
Jak dla mnie test całkowicie niewiarygodny, uruchamiał testery i sprawdzał czy wykonają swoje zadania. Większość z tych testerów oznaczona jest jako zaufane aplikacje i test nic nie wykaże.
Część na pewno też wykrywana jest po prostu przez sygnatury autor nic o tym nie wspomina wiec pewnie w takim przypadku dodał je do wykluczeń żeby sprawdzić czy test zadziała...
Odpowiedz
#10
Też mi coś to śmierdzi ..
Warstwy ochrony

1)Ograniczenie/blokowanie dostępu do danych/aplikacji
2)Odizolowanie i tworzenie osobnych baz danych/aplikacji
3)Kopia zapasowa systemu/ważnych danych.
4)Wykrywanie i kasowanie wirusów/złośliwych aplikacji.
Odpowiedz
#11
Dokładnie co się tyczy comodo to pliki były na zaufanej liście,w tym momencie już są jako nierozpoznane. Tak oznaczała chmura.

Autor też skasował wypowiedź jednego z użytkowników programu. A dokładnie od Sanya IV Litvyak.
Odpowiedz
#12
(27.08.2015, 12:37)ichito napisał(a):

[Aby zobaczyć linki, zarejestruj się tutaj]

To nie do końca prawda...programy AV/IS maja takie możliwości choćby w postaci sygnatur czy modułów typu monitor zachowań, wewnętrzne piaskownice, heurystyka. Przykład najlepszy to Kaspersky, który chwali się często zdobywaniem laurów w tym zakresie.
A propos Windows...warto zacytować ten fragment komentarza do zbiorczych wyników...nie znamy wyniku poszczególnych etapów testu, ale mozna sie domyślić, że Win10 sam w sobie jest "szczelny".
Niemniej testowanie AV programami, które mają sprawdzać szczelność danego zabezpieczenia (CLT stworzony pod HIPS Comodo), nie oddaje raczej prawdziwej wartości danego AV. Swoją drogą kilkanaście dni temu napisałem, że testowałem SpyShetlera przez CLT i nie wyszedł mi max wynik, to przesłanie z forum brzmiało mniej więcej tak: nie przejmuj się, to stary test, zabezpieczenia się zmieniły/windowsy przeprojektowały się itp. więc nie ma się co przejmować niepełnym wynikiem. A teraz udostępnione 5 takich testów, wcale nie najnowszych, gdzie AV nie przechodzą ich pomyślnie - i nagle wielkie halo, wszystkie AV są nieszczelne. To jak to jest z tymi testami, stare i rzetelne, czy stare i nie projektowane pod 64bit, więc nie pokazują prawdy?
SpyShelter Firewall + EMSISOFT Internet Security + McAfee WebAdvisor
Odpowiedz
#13
gravity1287
64-bit system również korzysta z 32bit, więc tak samo powinno działać aplikacje 32 bitowe na 64bitowym z tym że aplikacje 64-bitwe wykorzystują większa przepustowość/moc maszyny(komputera) o ile wymaga,jest potrzeba na dany program.

Czyli wirus ukryty w keygenie który uruchamia sie w trybie 32bit na systemie 64bit będzie równie dobrze działać bo na co mu 4gb ram + wielowątkowość procesora by wgrać pare drobnych plików kodu do systemu....

Co do starych testów to podejście jest takie, są nowe metody infekcji które są bardziej zaawansowane skuteczniejsze i trudniejsze do wykrycia i zablokowania ale jeśli już dochodzi do tego że są użyte stare testy na nowym oprogramowaniu i ono nadal zawodzi to bardzo źle świadczy o oprogramowaniu zabezpieczającym o ile te programy symulujące wirusy nadal działają prawidłowo w nowym środowisku(systemie) czyli za pewne tak.

Mój werdykt:
-Program chroni w 100% przed starymi lukami nie znaczy jest jest całkiem bezpiecznie teraz, z racji na rozwój form ataku.
-Jeśli pomimo upływu czasu programy dalej nie chronią przed starymi lukami. metodami, to zapewne w praktyce przed nowymi formami ataku też sobie nie poradzi czyli mamy "podwójne dno"

Co do tego testu to jest nie rzetelny i nie specificzny i widać że autor ingerował w liste ignorowanych aplikacji przed odpaleniem programu

Behavior bloker to nie hips.... behavior blokuje albo zezwala na wszystko z góry czyli w tym wypadku CTL na pewno został już wcześniej dodany do listy wykluczonych przez użytkownika ręcznie
Tym bardziej że prawie od samego powstania CLT programy antywirusowe go już automatycznie kasowały rozpoznawały jako wirusa podczas zapisu czy wstępnego uruchomienia programu = skasowanie wirusa przy załadowaniu = brak możliwości infekcji
A jeśli dodał do zaufanych lub też ignorowanej listy CLT to nic dziwnego że reszta też przeszła...

HIPS ciągle obserwuje zachowanie każdego procesu oraz jego następstw potomnych które próbują modernizować wprowadzać zmiany dzięki czemu jest o wiele lepszy i skuteczniejszy i do tego właśnie służy test CLT by sprawdzić czy właśnie HIPS reaguje na wszystkie askepty zachowań danego procesu, czy aby wykrywa wszystkie zachowania procesu głównego i potomnych.

I ten test tego użytkownika jest o kant du** rozbił to jak sprawdzić sterowność auta w czasie lotu konta f16 z nowymi dodatkowymi sterami...

Pomimo tego sam test i jego wykonanie jest fatalnie wykonane z racji tego że pliki na pewno zostały dodane do listy ignorowanych za pewnie jak już wczesnej spomniałem

P.S.
Nie wiem kto ci na pisał "nie przejmuj się, to stary test" ale temu Panu podziękuje serdecznym palcem -,-
To jak by powiedzieć nie przejmuj sie że antywirus nie wykrywa obecnych wirusów jutro będą nowe -,- WTF?!
Warstwy ochrony

1)Ograniczenie/blokowanie dostępu do danych/aplikacji
2)Odizolowanie i tworzenie osobnych baz danych/aplikacji
3)Kopia zapasowa systemu/ważnych danych.
4)Wykrywanie i kasowanie wirusów/złośliwych aplikacji.
Odpowiedz
#14
Olewając CLT, z reszty analiz wynika wniosek, że standardowe AV nowe zagrożenia z dużą dozą prawdopodobieństwa przepuszczą, co nie jest chyba nowym odkryciem Suspicious
Odpowiedz
#15
No raczej bo nie można napisać antidotum na nie istniejący wirus zawsze muszą paść pierwsze głowy by reszta mogła spier.. Grin
Dlatego AV to dla mnie ostatnia metoda,warstwa ochrony i to nawet nie ochrona tylko już sprzątanie po fakcie...
Warstwy ochrony

1)Ograniczenie/blokowanie dostępu do danych/aplikacji
2)Odizolowanie i tworzenie osobnych baz danych/aplikacji
3)Kopia zapasowa systemu/ważnych danych.
4)Wykrywanie i kasowanie wirusów/złośliwych aplikacji.
Odpowiedz
#16
Ty ze swoim bunkrem z zasiekami to chyba nawet nie masz po co spier... Wink
Odpowiedz
#17
Nie chcę bronić autora testu jakoś specjalnie zaciekle, ale do mnie ten test przemawia mimo, że opisano powyżej braki i postawiono wątpliwości. To taki test, który może zrobić każdy z nas, o ile znajdzie czas na to i sporo cierpliwości oraz weny, żeby potem wnioski poskładać w całość. Narzędzia były ogólnie dostępne poza jego własnym keyloggerem, który został określony przez autora jako "It is an essential part", więc biorąc pod uwagę jeszcze testy pożyczone od Matouska postawiono głównie na wykrywanie zagrożeń "0-day" czyli tych nieznanych i nieopisanych głównie...dużą rolę więc pełnić powinny moduły proaktywnej ochrony oraz chroniące przed logerami.
Nieważne dla mnie jest czy mechanizmy w testowanych programach są porównywalne i nieistotne jak programy były poustawiane w opcjach, bo pakiety reklamowane są niemal zawsze jako wszechstronne narzędzia i widać, że wszystkie poza dwoma programami przewróciły sie na tym teście.
Odnośnie CLT...niepotrzebnie o tym dyskutujemy...narzędzie było omawiane u nas i słusznie zwrócono w dyskusji uwagę...było jednak użyte i nawet gdybyśmy jego wyników nie brali pod uwagę, to mamy w wynikach obraz raczej ogólnej masakry.
"Bezpieczeństwo jest podróżą, a nie celem samym w sobie - to nie jest problem, który można rozwiązać raz na zawsze"
"Zaufanie nie stanowi kontroli, a nadzieja nie jest strategią"
Odpowiedz


Skocz do:


Użytkownicy przeglądający ten wątek: 1 gości