Масштабний розширений тест 41 мобільного антивіруса

Bluebottle пару тижнів тому я закінчив проведення свого власного тестування 41 мобільного антивіруса які я зміг знайти в плей маркеті по пошуковому запиту "антивірус". Взагалі їх мало б бути 150 але більшість не стартувала на емуляторі тому я на них забив, і поки хай буде 41. Можливо, в наступному тесті буде більше)

Ітак, до суті

1. Учасники🛡 (Назви можуть бути не повними для простоти)

Список з іконками(Ahnlab V3 не в алф.порядку бо я про нього забув спочатку🥲)

Вцілому участь в тесті прийняли як більшість відомих антивірусів, наприклад Norton, Avast, Eset, Avira, Bitdefender і т.д., так і маловідомі, часто зі схожими (нерідко доволі некреативними) назвами(варто лише помітити що в списку 23-тій і 24-тий антивіруси мають абсолютно однакову)

2. Важливі зауваження⚠️

1) Антивіруси Emsisoft та e-Scan 100% працюють на рушії антивіруса Bitdefender тому мають ідентичні результати. Також платна та безкоштовна версія Bitdefender мали в тесті однаковий результат.

2) Антивірус Combo Cleaner ЙМОВІРНО працює на трішки видозміненій версії рушія Bitdefender. Також цей антивірус був протестований пізніше самого bitdefender тому мав ймовірну невелику перевагу в умовах і кращий за об'єктивний результат.

3) Антивірус G-Data Mobile Security Light працює на двох рушіях, один свій а другий Bitdefender. Також цей антивірус теж був протестований пізніше Bitdefender тому теж мав ймовірну перевагу в умовах.

4) Антивірус в програмі Surfshark ЙМОВІРНО працює на рушії Avira. Також цей антивірус був протестований пізніше самого Avira тому теж мав ймовірну перевагу в умовах.

5) Антивірус VirtualShield з ймовірністю 99% працює на рушії від антивірусу Shield Antivirus і має ідентичні результати в тесті.

6) Антивіруси Super Antivirus Clean Virus; Clean Master + antivirus + vpn; Phone Keeper, antivirus; Easy Antivirus — Clean Virus; Phone Cleaner: antivirus; SecuritySweep & Antivirus; Phone Cleaner : antivirus; Stellar Antivirus; AbsoluteSecurity Antivirus; ShieldMate antivirus; працюють на рушії Trustlook тому мали абсолютно однакові результати як між собою так і в порівнянні з самим Trustlook

3. Методологія🔬

Тестування проводилося наступним чином: на емулятор встановлювалося одразу кілька антивірусів, вони по черзі запускалися, оновлювалися, налаштовувались на оптимальну роботу та сканували тестові файли після чого проводився підрахунок виявлення по двом групам а саме А) Мобільне ШПЗ зібране +-пів року-рік тому, 560 взірців; Б) Частина того самого ШПЗ але додатково мною оброблена обфускаторами для приховування від антивірусів суті того ж ШПЗ, 310 взірців

Таким чином перевірялася як вцілому охоплення бази антивіруса так і його можливості у виявленні хоча і дуже примітивно але обфускованих тобто заплутаних та прихованих загроз.

4. Критерії та їх межі📏

1) В першій таблиці результатів рахувався середній відсоток виявлення як обфускованих так і звичайних загроз по принципу (Х + Y)/2

Ось перелік відповідних відсоткових меж для потрапляння в кожну з якісних категорій для першої таблиці

S(відмінний рівень): 85-100% виявлення

A(високий рівень): 70-85% виявлення

B(середній рівень): 50-70% виявлення

C(недостатній рівень): 30-50% виявлення

D(низький рівень): 10-30% виявлення

E(жахливий рівень): 0-10% виявлення

F(абсолютний провал): 0% виявлення(жодного елемента не виявлено)

2) В другій таблиці враховувався лише відсоток виявлення обфускованих, тобто додатково прихованих загроз, рейтинг в ній свідчить конкретно про можливість антивірусів виявляти примітивно обфусковані загрози

Перелік відсоткових меж для потрапляння в кожну з категорій в другій таблиці:

S(відмінний рівень): 80-100%

A(високий рівень): 60-80%

B(середній рівень): 40-60%

C(недостатній рівень): 20-40%

D(низький рівень): 10-20%

E(жахливий рівень): 0-10%

F(абсолютний провал): 0%(жодного елементу не виявлено)

5. Результати📊

1. Перша таблиця, по виявленню всіх загроз

Перша таблиця

В категорії найкращих, S, опинилося 5 продуктів а саме:

1) Sophos Intercept X, який показав найкращий результат в тесті виявивши всередньому 92.5% загроз. Важливо відмітити що у цього антивірусу також були виявлені хибні спрацювання

2) G-Data Mobile Security Light, який показав загальне виявлення лише на 4% менше ніж Sophos. Але хибних спрацювань було також менше

3) Ahnlab V3, який показав схожий відсоток до попередніх антивірусів, лише трохи нижче. Також показав мінімальний рівень хибних спрацювань

4) Icarus, маловідомий як у нас так і навіть в Європі швейцарський антивірус. Показав загальний відсоток виявлення близько 86.8%. Були хибні спрацювання на рівні десь як у G-Data

5) Eset, відомий у нас своєю комп'ютерною версією "NOD-32", показав загальний відсоток виявлення теж близько 86.8%, лише трохи нижче Icarus, при цьому не показав жодного хибного спрацювання

В категорії з високим рівнем, A, опинилися наступні продукти:

1) Surfshark. Основна функція продукту — VPN а не антивірус, але в платній версії є і він. Працює ймовірно на рушії Avira а результат вийшов кращим ніж у самого Avira через те, що сьорфшарк був протестований банально пізніше по часу і міг отримати фору в виявленні частини загроз які і зіграли роль.

2) Shield Antivirus та VirtualShield на його рушії. Shield Antivirus це доволі перспективний продукт від компанії ShieldApps який недавно проявився на ринку, лише в 2024 році дав знати про себе але вже досяг дуже гарного рівня як по моєму тесту так і незалежної лабораторії AV-Test, але поки не має достатньої стабільності тому рекомендую звернути увагу але не спішити з вибором.

3) Trend Micro. Відомий багато років існуючий антивірус, в тому числі і на Android він давно показує гарні результати. Єдиний мінус — є пара багів в мобільному додатку, та інтерфейс, як на мене, застарілий.

4) Bitdefender, а саме його платна та безкоштовна версія, а також антивіруси на його рушії(e-Scan, Emsisoft) який традиційно показує гарні або навіть відмінні результати в більшості як моїх тестах так і тестах великих незалежних лабораторій.

5) McAfee, хоч і має погану репутацію через свої методи просування, але на Android показує непогані результати, лише трішки гірше за інші популярні антивіруси. Також, його інтерфейс мені не зайшов, та в додатку є один баг.

6) Combo Cleaner, який ймовірно працює на рушії bitdefender. Продукт існує також на ПК, має посередню репутацію і вцілому маловідомий.

7) Avast. Дуже відомий безкоштовний антивірус, раніше, як на мене, був краще але і зараз показує не так щоб прям погані результати. Продукт має місце як простий але багатофункціональний безкоштовний антивірус для смартфонів з пристойно швидким скануванням та, як показав тест, достатнім відсотком виявлення.

8) Avira. Також відомий антивірус, зараз належить Gen Digital, як і Avast. Показав достатній але не прям вау детект, здебільшого через менший об'єм бази а не гірші механізми.

В категорії з середнім рівнем — B, опинився лише один антивірус, а саме:

Norton. Як і Avira і Avast належить Gen Digital. Показав лише трішки гірші за них результати але і тих 1-2% виявилося достатнім щоб не дотягнути до категорії A, продукт по факту знаходиться на межі між A і B. Хоч і відомий продукт, але останнім часом середненький, хоча і виключно платний, безкоштовної версії Norton не існує. Має кілька цікавих функцій пов'язаних з аудитом безпеки програм, але інтерфейс його не дуже зручний.

В категорії з недостатнім рівнем, C, опинилося багато антивірусів. А саме:

1) Malwarebytes. Має гарну репутацію на ПК завдяки своїй утиліті для виявлення та видалення вже закріплених в системі вірусів, але як антивірус що на ПК що на Android має так собі результати.

2) Trustlook та 10 шаблонних маловідомих антивірусів на його рушії. Сам по собі рушій Trustlook дуже розповсюджений через доступну модель використання, багато нішевих розробників шаблонних "чистилок" та антивірусів з гугл плею використовують його, також він встановлений як вбудований у смартфони Tecno та можливо ще якісь. Має широку базу за рахунок чого отримав непоганий результат у виявленні необфускованих загроз, але слабкість та примітивність механізмів виявлення не дали йому змоги детектувати навіть дуже просто обфусковані загрози. Якщо чесно, лайно повне.

3) Nox. Працює, ймовірно, на рушії AVL, який дав середні результати у виявленні необфускованих загроз але, що цікаво, не втратив ефектовності у виявленні і обфускованих загроз теж зберігши такий же відсоток виявлення. Тим не менш охоплення бази недостатнє тому цей варіант я б все одно не розглядав.

4) Webroot. Відомий, але вже традиційно поганенький антивірус. Баги в застосунку, низький детект що на пк що на Android, незручний інтерфейс. Неюзабельний shit, короче

В категорії з низьким рівнем, D, опинилися два антивіруси, а саме:

1) Lionic Light. У минулому мав назву Aegis, як і лабораторія розробник. В тому ж минулому був впринципі непоганим але скотився. Сумно.

2) Zillya. Єдиний український антивірус як в тесті так і серед відомих вцілому. Можу відмітити ріст антивірусу у порівнянні з тим, що було раніше, багато багів виправили, антивірус став юзабельним але детект все ще на низькому рівні, хоч і став краще. Вірю в наших розробників, але, на жаль, не думаю що в найближчій перспективі антивірус вийде на рівень хоча б Malwarebytes

В категорії з жахливим рівнем, E, опинилися 4 антивіруси:

1) Panda. Панда вже давно стала чимось тіпа мему серед антивірусів. Виявляє мало хоча компанія відома. Продукт швидкий, займає мало пам'яті але детект як кіт наплакав, сенсу в цьому антивірусі не бачу.

2) Zoner. Давно існує на ринку мобільних антивірусів і весь цей час по детекту — лайно різного ступеню лайновості. Багів нема, сканує швидко, інтерфейс хоч і застарілий але зрозумілий, але детект це жах, його майже нема.

3) C-Prot. Раніше — Chomar. Десь рік тому, може трошки більше, показував гарні результати, не на рівні з відомими антивірусами, але для початківця реально гарні. Мав пару багів але вцілому був достатньо перспективним. Але.. здувся. Сумно.

4) Apus Security. Використовується в льончері Apus в якості тіпа віджету. Який рушій — невідомо, але занадто поганий щоб бути трастлуком або хоча б чимось відомим мені. Можливість виявляти загрози показує, але рівень цього виявлення... ну.. варто лише сказати що з 560 необфускованих загроз цей антивірус виявив аж цілих 8! Не 80, не 8 відсотків а просто. 8 загроз.

В категорії повного провалу, F, опинилися 3 антивіруси, а саме:

1) Privacy Defender — Security. Якась маловідома какашка від Pligence яка не виявила жодної загрози, можливо вона взагалі не працює і це фейковий антивірус, просто на*балово, але це лише моє припущення.

2) WOT Security. Антивірус від розробника, наскільки мені зрозуміло, відомого браузерного розширення для показу траст-фактору сайтів. Саме розширення то може і норм але антивірус просто не виявляє загроз впринципі.

3) Space Antivirus & Security. Маловідома какашка з гугл плею. Ймовірно теж фейковий антивірус. Теж 0(нуль, zero) виявлених загроз. Сказати нічого.

2. Друга таблиця, по виявленню лише обфускованих загроз

Друга таблиця

В категорії S опинилися 6 продуктів:

1) Sophos. І в цій таблиці Sophos зайняв перше місце, виявивши 90.3% обфускованих загроз.

2) Eset. Також зайняв і тут гарну позицію виявивши 83.5% обфускованих загроз.

3) Ahnlab V3. Так само отримав місце в списку лідерів і в цій таблиці.

4) Surfshark. Отримав навіть краще місце ніж у попередній таблиці, але нагадую що антивірус працює на рушії Avira, але був протестований пізніше тому мав фору.

5) Shield Antivirus та VirtualShield на його рушії. Неочікувано гарні результати для не дуже відомого для мене раніше продукта.

В категорії A опинилися 12 продуктів:

1) G-Data Mobile Security Light. Отримав гірші результати ніж в першій таблиці, але все одно зайняв гарне місце.

2) Icarus. Також здав позиції, але все одно показав себе більше ніж добре.

3) Avast. Показав гарний результат, навіть краще ніж в попередній таблиці, завдяки непоганим механізмам, які рідко вдається обійти простими методами обфускаціями.

4) Avira. Також покращив позиції як і Avast.

5) Bitdefender, його безкоштовна версія, а також e-Scan та Emsisoft на його рушії. Зберігли позиції

6) Norton. Покращив позиції і зміг перейти в A рейтинг в цій таблиці

7) Trend Micro. Дещо погіршився результат але залишився пристойним.

8) McAfee. Впринципі зберіг результат

9) Combo Cleaner. Опинився на межі між A і B категоріями але все-ж дібрався до A з показником 60.3% виявлення обфускованих загроз

В категорії B опинився лише один продукт:

1) Nox. Опинився на межі між C і B але все-ж набрав достатньо відсотків щоб зайти в B виявивши 40.6% обфускованих загроз, таким чином навіть зайнявши кращі позиції ніж в минулій таблиці.

В категорії C опинився також лише один антивірус:

1) Malwarebytes. Зберіг позиції хай і доволі погані.

В категорії D та E не опинилося жодного антивіруса

В категрії F опинилися всі інші 21 антивірус, в т.ч. Panda, Zoner та український Zillya які не виявили жодної обфускованої загрози

6. Висновки✍

У підсумку можу сказати що особисто я рекомендую по результатам тесту використовувати антивіруси що в обох таблицях знаходяться в S тірі, тобто Sophos, Eset, Ahnlab V3. Також є гарні продукти які зайняли трішки гірші місця в таблиці, наприклад Bitdefender, Avira, Icarus, G-Data. Ну і вцілому ті антивіруси що в обох таблицях потрапили хоча б в рейтинг A, допустимі до використання, ну а вибір між ними — за вами, я свою думку висказав в цьому висновку. Можливо в майбутньому проведу ще тести, очікуйте)