Wystarował CheckLab.pl wraz z pierwszym testem
#1
Cześć

Powstał nowy/stary lab do testów produktów zabezpieczających "https://checklab.pl/"

Został już opublikowany pierwszy test zaliczany na lipiec 2019 Smile „Advanced In The Wild Malware Test”

Wyrosła nie lada konkurencja dla AV-Comparatives oraz AV-TEST i to na naszym podwórku
Odpowiedz
#2
Bardzo dobra inicjatywa i należy tylko pogratulować. Sądzę, że nie stanowimy dla siebie konkurencji ze względu na różne obszary zainteresowań i działalności, dlatego nie popełnię faux-pa jeśli podam oficjalny adres labu
https://checklab.pl/
Tak wiem, że nie zawsze bywało słodko w temacie naszej współpracy, ale te czasy mamy chyba za sobą i uważam, że należy wspierać się wzajemnie w inicjatywach. AVLab nabiera rozpędu, jest coraz bardziej rozpoznawalne wśród społeczności użytkowników i firm z Polski, ale również zaczyna być rozpoznawalne i poważane wśród użytkowników angielskojęzycznej części internetu. To nie laurka...to moja prywatna opinia i oczywiście można się z nią nie zgadzać....szanuję to, bo szanuję nawet odmienne od moich opinie.

Wracając jednak do testu publikowanego na ChL...ósmy uczestnik jest nieznany Smile Są spekulacje, że to może Zonealarm...ale są głosy, że Comodo lub Webroot tym bardziej, że te dwie firmy właśnie są wymienione w pkt 6 metodologii Smile
https://checklab.pl/metodologia/metody-w...ych-testow
"Bezpieczeństwo jest podróżą, a nie celem samym w sobie - to nie jest problem, który można rozwiązać raz na zawsze"
"Zaufanie nie stanowi kontroli, a nadzieja nie jest strategią"
Odpowiedz
#3
Ciekawe dlaczego 8 uczestnik nie jest wymieniony. Program się wysypał?
Odpowiedz
#4
(06.09.2019, 23:18)rogacz napisał(a): Ciekawe dlaczego 8 uczestnik nie jest wymieniony. Program się wysypał?

Nie jest wymieniony, ponieważ umożliwiamy producentom podjęcie takiej decyzji przed testem. Jak można przeczytać w FAQ:

"Czy możliwe jest dołączenie do testów nieformalnie?

Tak. Jeśli uważasz, że rozwiązanie nie zostało do końca opracowane lub obawiasz się o nie najlepszą ocenę, możesz na okres próbny dołączyć do testów. Rezultaty ochrony nie zostaną udostępnione publicznie. Ponadto przekażemy niezbędne szczegóły, które pomogą poprawić efektywność ochrony produktu."

Albo tutaj: https://checklab.pl/wspolpraca

""Testujemy publicznie i prywatnie. Możemy poprawić Twój produkt bez ujawniania wyników."
Odpowiedz
#5
Masakra..... kolejna kpina zamiast pokazać produkt takim jaki jest, to damy ci szanse/czas na przekłamanie wyników...
A czy kur*** haker daje czas na załatanie dziur i niedopracowań w danym oprogramowaniu/systemie.... nie on wręcz przeciwne z tego korzysta i na to liczy..

Kolejny test bez pokrycia do marketingowych zastosowań... w którym każdy wygrywa.
Warstwy ochrony

1)Ograniczenie/blokowanie dostępu do danych/aplikacji
2)Odizolowanie i tworzenie osobnych baz danych/aplikacji
3)Kopia zapasowa systemu/ważnych danych.
4)Wykrywanie i kasowanie wirusów/złośliwych aplikacji.
Odpowiedz
#6
(11.09.2019, 11:00)Quassar napisał(a): Masakra..... kolejna kpina zamiast pokazać produkt takim jaki jest, to damy ci szanse/czas na przekłamanie wyników...
A czy kur*** haker daje czas na załatanie dziur i niedopracowań w danym oprogramowaniu/systemie.... nie on wręcz przeciwne z tego korzysta i na to liczy..

Kolejny test bez pokrycia do marketingowych zastosowań... w którym każdy wygrywa.

Czy zatem zarzucasz przekłamywanie wyników?

Jeżeli jesteś blackhat to nie dajesz szansy nikomu i nikogo się nie pytasz, więc nikt o tym nie wie. Nie ma afery.
Jeżeli jesteś whitehat to najpierw zgłaszasz producentowi to, co jest robione źle. Potem aferę robią użytkownicy, którzy lepiej wiedzą, że od razu trzeba pokazać dziury w całym, niż zaczekać na ich naprawienie.
Odpowiedz
#7
Wszystkie testy łącznie z tym, które pokazują jak wyjątkowo są skuteczne różne programy tworzą wirtualną rzeczywistość, która diametralnie odbiega od tego, co się faktycznie dzieje na komputerach. Znowu zacytuję naszego inżyniera - "marketingowa papa, firma płaci, dostaje certyfikat i wpisuje sobie do promocyjnej laurki" :-)
Odpowiedz
#8
Ja uważam, że jest to dobry sposób na rozwijanie nowych programów czy komponentów jak i ich usprawnianiu, o ile nie dochodzi do żadnych zmian w wynikach końcowych.
Według mojej opinii publikacja wyników powinna zawierać nazwę każdego testowanego programu.
Jeżeli dany vendor nie godzi się na to, to dany soft nie powinien widnieć w publikacji. Bo zawsze może poprosić o prywatne przetestowanie swojego rozwiązania i w tym przypadku wyniki powinien mieć tylko dla siebie, by wiedzieć nad czym popracować.
Ogólnie nie widzę nic złego we współpracy labu z producentem, jeżeli na pierwszym miejscu zawsze będzie stawiana skuteczność.
Odpowiedz
#9
(11.09.2019, 12:19)adrian.sc napisał(a):
(11.09.2019, 11:00)Quassar napisał(a): Masakra..... kolejna kpina zamiast pokazać produkt takim jaki jest, to damy ci szanse/czas na przekłamanie wyników...
A czy kur*** haker daje czas na załatanie dziur i niedopracowań w danym oprogramowaniu/systemie.... nie on wręcz przeciwne z tego korzysta i na to liczy..

Kolejny test bez pokrycia do marketingowych zastosowań... w którym każdy wygrywa.

Czy zatem zarzucasz przekłamywanie wyników?

Jeżeli jesteś blackhat to nie dajesz szansy nikomu i nikogo się nie pytasz, więc nikt o tym nie wie. Nie ma afery.
Jeżeli jesteś whitehat to najpierw zgłaszasz producentowi to, co jest robione źle. Potem aferę robią użytkownicy, którzy lepiej wiedzą, że od razu trzeba pokazać dziury w całym, niż zaczekać na ich naprawienie.
Whitehat też zgłasza sprawę i uchybienia na świat jakie występują w danym systemie i oprogramowaniu w zależności od stopnia uchybienia jak i czasu od wystąpienia.
Co do av to wyniki powinny być pokazane naturalne bo to nie system który jest atakowany tylko program który weryfikuje dany system i nie myl jednego z drugim.

Blackhat liczy na to że nie będzie zidentyfikowany lub będzie bardzo długo mógł działać niewykryty, do tego dochodzi Firma która nie chce powiedzieć że była zhakowana lub nie robi z tym nic.....
I w tym punkcie Whitehat jest szczególnie moralnie zobowiązany do nagłośnienia sprawy kiedy firma olewa zagrożenie i wdrażanie zabezpieczeń czy też nie ma zamiaru informować o tym zdarzeniu konsumentów.

Bo dzięki doniesieniom wiemy o słabej jakości rożnych spółek które należy unikać szerokim łukiem.

I teraz sobie wyobraź fakt taki jeśli jakiś słaby antywirus ma wiecznie mizerne wyniki to poinformuje że chce aby nie był uwzględniany w wynikach danego testu... a potem dostanie dodatkowy czas na wdrożenie zabezpieczeń względem dostarczonej próbki.. i jak już dostarczy to AV wdroży zabezpieczanie i będzie dunme mówił ze ma 100% czy też 93% zeby nie było podejrzane...

Widziałeś kiedyś BlackHat który wysyła próbkę wirusa do AV przed atakiem.....
Sam chciałbyś wiedzieć jaki w praktyce dany AV sie sprawuje żeby wybrać po prostu lepszy produkt. Przez takie testy sie nie dowiesz bo to tylko mataczenie.
Warstwy ochrony

1)Ograniczenie/blokowanie dostępu do danych/aplikacji
2)Odizolowanie i tworzenie osobnych baz danych/aplikacji
3)Kopia zapasowa systemu/ważnych danych.
4)Wykrywanie i kasowanie wirusów/złośliwych aplikacji.
Odpowiedz
#10
(11.09.2019, 15:16)Quassar napisał(a):
(11.09.2019, 12:19)adrian.sc napisał(a):
(11.09.2019, 11:00)Quassar napisał(a): Masakra..... kolejna kpina zamiast pokazać produkt takim jaki jest, to damy ci szanse/czas na przekłamanie wyników...
A czy kur*** haker daje czas na załatanie dziur i niedopracowań w danym oprogramowaniu/systemie.... nie on wręcz przeciwne z tego korzysta i na to liczy..

Kolejny test bez pokrycia do marketingowych zastosowań... w którym każdy wygrywa.

Czy zatem zarzucasz przekłamywanie wyników?

Jeżeli jesteś blackhat to nie dajesz szansy nikomu i nikogo się nie pytasz, więc nikt o tym nie wie. Nie ma afery.
Jeżeli jesteś whitehat to najpierw zgłaszasz producentowi to, co jest robione źle. Potem aferę robią użytkownicy, którzy lepiej wiedzą, że od razu trzeba pokazać dziury w całym, niż zaczekać na ich naprawienie.

I teraz sobie wyobraź fakt taki jeśli jakiś słaby antywirus ma wiecznie mizerne wyniki to poinformuje że chce aby nie był uwzględniany w wynikach danego testu... a potem dostanie dodatkowy czas na wdrożenie zabezpieczeń względem dostarczonej próbki.. i jak już dostarczy to AV wdroży zabezpieczanie i będzie dunme mówił ze ma 100% czy też 93% zeby nie było podejrzane...

Totalna bzdura. Odwracanie kota ogonem. Zamiast wykorzystać fakt, że robimy to zawodowo i zapytać i różne kwestie, to lepiej jest od razu oskarżać o jakieś wyssane z palce rzeczy? Jeżeli nie wiesz jak wygląda proces testowania od środka, to pozwól, że wypunktuję w kolejności, w jakiej my to robimy. Nie znam od wewnątrz procedur innych firm, więc piszę z perspektywy naszej:

1. Przed testem producent mówi, czy chce publikować wyniki, czy też nie chce. Powody mogą być różne. Nie ma możliwości zmiany decyzji w trakcie testu albo już po fakcie. Czasami podpisuje się specjalne umowy, aby nie ujawniać żadnych nazw, i kary sięgają gigantycznych kwot. Nie każdy tego wymaga, ale są takie firmy.
2. Jeżeli wynik jest słaby, albo też dobry, nie ma możliwości poprawienia. Jeżeli testy robi się automatycznie i wszystko jest logowane, to nie ma opcji, aby zmienić setki tysięcy rekordów, raportów, plików, katalogów ze wszystkimi informacjami z testów, gdzie znajdują się szczegółowe godziny, minuty, sekundy wszystkiego, co się odbywało w systemie i antywirusie, również w AV konkurencyjnych w tym samym teście. Prędzej mi ręka uschnie niż mnie ktoś naciągnie na manipulację wyników. Nie znasz mnie osobiście, więc proszę nie zarzucaj mi takich praktyk. Poza tym jeżeli dana firma zostałaby przyłapana, że coś takiego robi, to już nie zdoła odbudować zaufania. Nigdy. Sądzisz, że naraziłbym firmę w ten sposób?
3. Po teście producent dostaje wszystkie próbki ze wszystkimi logami jako dowód. Oraz ogólnie cały feedback. Testy nie są powtarzane, więc nawet gdyby coś poprawił, to nie ma czasu na re-testy. Nasze badania trwają cały miesiąc non-stop, 24/h bez żadnej przerwy. Później wyniki są publikowane.

Jeśli masz konkretne pytania, to zadaj. Masz okazję. Lecz nie czaruj bezpodstawnymi oskarżeniami w pozytywny wizerunek naszej działalności, którą kontynuujemy od 2012 roku.
Odpowiedz
#11
Nadal uważam, że to kolejny test, który wykazuje skuteczność programów na poziomie nie odpowiadającym realiom. W praktyce programy, które w testach mają niemal 100% skuteczności przepuszczają zdecydowanie więcej wirusów i trojanów. Co później widać w serwisach. W naszym też.

Ale żeby być uczciwym, muszę dodać, że testy p. Adriana.sc są i tak relatywnie obiektywne. Mistrzami ściemy są fachowcy z av-test i avcomparatives Smile
Odpowiedz
#12
@adrian.sc
To jeżeli można to tak mam pytanie.
Może bardziej o przyszłość.

1. Na ten moment widzę produkty klasy Enterprise wymieszane z Home. Będzie można liczyć na rozdrobnienie ich w przyszłości?
2. Planujecie w przyszłości testy rozwiązań Enterprsie typu Fortinet czy Sophos? chodzi mi o UTM/NGFW co na zasadzie NSSLab. Wiem, że po co powtarzać coś co ktoś robi dobrze ale poczytał bym od was co nie co w tym temacie.
3. Czy testy oprogramowania typu: sophos intercept x też będzie można spodziewać się? Nie omieszkam, że nie ma tego za wiele, a mamy jedynie ogólne testy całego pakietu.


@karola Przepraszam ale nie zgodzę się z Tobą o podejście jakie przedstawiasz i piszesz. Ciężko w teście uwzględnić zachowanie użytkownika na komunikat czy jego przestawienie w programie.
Mogę się założyć, ze trafiają tam takie perełki, ze ktoś zezwolił i poszło nawet jak AV czy cały pakiet dawał alert, a żaden z użytkowników się do tego nie przyzna. Za dużo pracuje z klientem i wiem jak to wygląda.
Taki test ma być poglądowy i pokazujący jak program sobie poradzi z automatu. Ma być pogląd.
Według Twoich informacji, można by podejść, ze nie ma po co instalować żadnego zabezpieczenia gdyż tak czy siak, żadne nie jest skuteczne i o kant d..... sobie roztrzaskać.
Odpowiedz
#13
Czyli jednak ze mną się zgadzasz tylko o tym nie wiesz :-D Z powodu, który przywowałeś napisałam wcześniej o "wirtualnej rzeczywistości" nie odpowiadającej realiom.
Odpowiedz
#14
Nie zapominajmy, że testy pakietów AV to testy:
- na określonej liczbie próbek
- przeważnie na ustawieniach domyślnych
- nie uwzględniają głupoty czy celowego działania użyszkodnika

Jak wspomniał dolar444 testy są poglądowe i mogą w pewnym stopniu świadczyć o jakości produktu, co nie znaczy że zawsze i w każdej sytuacji dany av nas obroni.

To tak jak z chorobami ludzi na coraz więcej chorób mamy leki bądź system leczenia, ale nie na wszystkie. Czy to znaczy, że mamy też się nie leczyć nic nie robić w tym temacie?
Tak samo jest z branżą AV.
Uważam, że lepiej robić coś i się starać, niż nie robić nic i narzekać lub płakać.
Odpowiedz
#15
(11.09.2019, 19:03)dolar444 napisał(a): @adrian.sc
To jeżeli można to tak mam pytanie.
Może bardziej o przyszłość.

1. Na ten moment widzę produkty klasy Enterprise wymieszane z Home. Będzie można liczyć na rozdrobnienie ich w przyszłości?
2. Planujecie w przyszłości testy rozwiązań Enterprsie typu Fortinet czy Sophos? chodzi mi o UTM/NGFW co na zasadzie NSSLab. Wiem, że po co powtarzać coś co ktoś robi dobrze ale poczytał bym od was co nie co w tym temacie.
3. Czy testy oprogramowania typu: sophos intercept x też będzie można spodziewać się? Nie omieszkam, że nie ma tego za wiele, a mamy jedynie ogólne testy całego pakietu.


@karola Przepraszam ale nie zgodzę się z Tobą o podejście jakie przedstawiasz i piszesz. Ciężko w teście uwzględnić zachowanie użytkownika na komunikat czy jego przestawienie w programie.
Mogę się założyć, ze trafiają tam takie perełki, ze ktoś zezwolił i poszło nawet jak AV czy cały pakiet dawał alert, a żaden z użytkowników się do tego nie przyzna. Za dużo pracuje z klientem i wiem jak to wygląda.
Taki test ma być poglądowy i pokazujący jak program sobie poradzi z automatu. Ma być pogląd.
Według Twoich informacji, można by podejść, ze nie ma po co instalować żadnego zabezpieczenia gdyż tak czy siak, żadne nie jest skuteczne i o kant d..... sobie roztrzaskać.

ad1. Nie wykluczamy tego, ale na razie na nowej platformie zrobiliśmy tylko jeden test. W tym trzy produkty biznesowe. Od 1 września do końca m-c trwa już kolejny test. Trochę mało atrakcyjnie wizualne prezentowałyby się słupki z trzema produktami, prawda? Dlatego też na razie postanowiliśmy tego nie rozdzielać.

ad2. Testy UTM wymagają innego podejścia. Niemniej jesteśmy na to gotowi, a kwestią jest tylko załatwienie sprzętu do testów. Wezmę to pod uwagę i porozmawiamy wewnętrznie i z przedstawicielami w Polsce takich producentów. Zobaczymy co z tego wyjdzie.

ad3. Sophos Intercept X na pewno pojawi się w testach w przyszłości. Może też wersja dla domu Sophos HOME.
Odpowiedz
#16
(11.09.2019, 22:05)Konrad napisał(a): Nie zapominajmy, że testy pakietów AV to testy:
- na określonej liczbie próbek
- przeważnie na ustawieniach domyślnych
- nie uwzględniają głupoty czy celowego działania użyszkodnika

Jak wspomniał dolar444 testy są poglądowe i mogą w pewnym stopniu świadczyć o jakości produktu, co nie znaczy że zawsze i w każdej sytuacji dany av nas obroni.

To tak jak z chorobami ludzi na coraz więcej chorób mamy leki bądź system leczenia, ale nie na wszystkie. Czy to znaczy, że mamy też się nie leczyć nic nie robić w tym temacie?
Tak samo jest z branżą AV.
Uważam, że lepiej robić coś i się starać, niż nie robić nic i narzekać lub płakać.

Uff, a myślałem, ze po ciężki dniu chaotycznie i nie zrozumiale napisałem ale jednak nie. Dziękuje Smile


(12.09.2019, 07:03)adrian.sc napisał(a): ad1. Nie wykluczamy tego, ale na razie na nowej platformie zrobiliśmy tylko jeden test. W tym trzy produkty biznesowe. Od 1 września do końca m-c trwa już kolejny test. Trochę mało atrakcyjnie wizualne prezentowałyby się słupki z trzema produktami, prawda? Dlatego też na razie postanowiliśmy tego nie rozdzielać.

ad2. Testy UTM wymagają innego podejścia. Niemniej jesteśmy na to gotowi, a kwestią jest tylko załatwienie sprzętu do testów. Wezmę to pod uwagę i porozmawiamy wewnętrznie i z przedstawicielami w Polsce takich producentów. Zobaczymy co z tego wyjdzie.

ad3. Sophos Intercept X na pewno pojawi się w testach w przyszłości. Może też wersja dla domu Sophos HOME.

1. Oczywiście, ze wyglądało by to nie efektywnie wizualnie. Zgadzam się, ale miło słyszeć, ze w przyszłości będzie to brane pod uwagę.

2. Jak najbardziej zdaje sobie sprawę z tego, że no wymaga innego podejścia ale cieszę się, że będzie to przemyślane i w jakimś okresie czasu będzie to możliwe do zobaczenia u was Smile

3. Super miło to usłyszeć.

Cóż na ten moment nie mam pytań, ale jak by mi się coś "urodziło" pozwolę sobie zadać, jak uda się odpowiedzieć Tobie to super, jeżeli nie to także rozumiem.
Raz jeszcze dzięki i powodzenia.
Odpowiedz




Użytkownicy przeglądający ten wątek: 1 gości