Sebagai pengingat, kami lebih memahami true positive (TP) pada bagian pertama dari seri kami. Sekarang, rumus untuk true positive rate (TPR) adalah sebagai berikut:
TPR = (TP + TP:B + TP:AR) ÷ (TP + TP:AR + TP:B + FP)
Dengan false positive (FP) didefinisikan sebagai:
FP = Total alert – (TP + TP:AR + TP:B)
Penjelasan singkat:
- TP (True Positive) adalah jumlah ancaman yang benar-benar terdeteksi dan diklasifikasikan dengan benar sebagai ancaman.
- TP:B (True Positive: Behavioral) merujuk pada deteksi ancaman yang benar berdasarkan perilaku atau pola yang teridentifikasi.
- TP:AR (True Positive: Anomaly Recognition) adalah deteksi yang benar berdasarkan pengenalan anomali.
- FP (False Positive) adalah jumlah peringatan yang tidak valid atau yang salah terdeteksi sebagai ancaman, meskipun tidak ada ancaman yang nyata.
Rumus ini memberi gambaran yang lebih jelas tentang efektivitas sistem deteksi dalam mengidentifikasi ancaman yang sebenarnya, serta mengukur seberapa sering sistem mengeluarkan peringatan yang salah (positif palsu).
Jalur pengukuran dan pekerjaan
Definisi baru untuk TPR dan FP di atas menciptakan jalur pengukuran dan pekerjaan sebagai berikut:
- True Positive Rate (TPR): Ini adalah metrik yang dapat dilaporkan, yang dibagi lagi menjadi wawasan yang lebih terperinci, seperti:
- Security Tool TPR: Kinerja TPR dari alat keamanan individu (misalnya, TPR CrowdStrike vs. TPR Exabeam).
- SOC Analyst TPR: Kami dapat melacak true positive yang dilaporkan oleh analis dibandingkan dengan tren overall true positive untuk mengidentifikasi analis yang berperforma lebih rendah atau lebih tinggi.
- Department TPR: TPR yang dibagi berdasarkan departemen organisasi untuk melihat apakah departemen tertentu lebih “berisiko” daripada yang lain. Apakah mereka cenderung menghasilkan lebih banyak true positive dibandingkan dengan departemen lainnya?
- Individual Rule TPR: Kinerja aturan keamanan tertentu. Apakah itu menghasilkan TPR yang lebih rendah dibandingkan dengan program lainnya? Jika ya, itu adalah kandidat yang baik untuk penyesuaian. Ini juga bisa diterapkan pada insinyur yang membuat alat-alat tersebut!
- False Positive (FP): Ini adalah pekerjaan prioritas kami. Kami bertujuan untuk mendekatkan pengukuran ini ke angka nol sebanyak mungkin. Sangat penting juga untuk memastikan bahwa tidak ada true positive yang tercampur dalam angka ini. Buat alur umpan balik di mana analis senior memeriksa false positive.
- True Positive (TP): Prioritas sekunder kami adalah menghasilkan alert berkualitas tinggi yang menghasilkan true positive secara konsisten. Saya tidak bisa menekankan cukup bahwa ini adalah pengukuran, bukan metrik. Tujuan di sini adalah untuk meningkatkan COUNT total true positive. Kami bisa menggunakan pengukuran lainnya untuk meningkatkan TPR keseluruhan kami.
- True Positive: Accepted Risk (TP:AR): Tidak banyak yang perlu dilakukan di sini selain memberi tekanan pada program pengecualian Anda. Risiko yang diterima bisa membawa tanggung jawab perusahaan dan pribadi, sehingga ini harus dipahami dengan baik dan memiliki rantai pengawasan untuk risiko yang diketahui dan diterima.
- True Positive: Benign (TP:B): Ini adalah area abu-abu yang dapat dievaluasi berdasarkan program per program. Jika Anda memiliki bandwidth untuk menangani volume alert yang lebih tinggi, memiliki TP:B yang lebih tinggi akan memberi Anda wawasan yang lebih baik tentang lingkungan Anda dan mengurangi false negative. Jika tidak, ini merupakan angka yang bisa disesuaikan. Tentukan alert mana yang berkontribusi paling besar pada tingkat ini dan sesuaikan dari sana.
Pada akhirnya, ini bukan panduan lengkap tentang semua hal yang berkaitan dengan true positive vs. false positive. Namun, ini harus diperlakukan sebagai pengantar untuk membantu Anda mempertimbangkan bagaimana menggunakan metrik yang cukup kuat ini dalam program Anda.
Polling Menarik
Rekan industri saya, Josh Johnston, baru-baru ini melakukan polling terhadap koneksi LinkedIn-nya untuk memahami tingkat true positive (TPR) orang lain dalam program keamanan mereka. Ada 49 responden dari berbagai disiplin ilmu, tingkat keterampilan, dan industri. Berikut adalah polling yang disajikan di LinkedIn:
Hasil polling:
Polling ini (meskipun terbatas) mulai mengonfirmasi salah satu hipotesis saya tentang tingkat true positive. Adalah hal yang normal bagi tingkat ini untuk sangat rendah. Perasaan saya adalah bahwa sebagian besar program keamanan memiliki tingkat positif sekitar 3% atau kurang. Jika Anda mulai memecah berapa banyak alert yang Anda miliki setiap hari dalam program Anda, tingkat true positive 3% akan mengatakan bahwa untuk setiap 97 alert false positive, Anda mendapatkan tiga yang dapat ditindaklanjuti. Pikirkan tentang itu: Kita semua pernah memiliki alat yang menghasilkan RIBUAN alert setiap hari… apakah tingkat true positive 3% bahkan realistis? Saya rasa mengasumsikan bahwa beberapa organisasi memiliki tingkat true positive kurang dari <1% tidak akan terlalu berani. Tingkat kurang dari 5% bahkan mungkin menjadi standar di industri.
Karena Josh bekerja untuk vendor di industri keamanan siber, kemungkinan besar dia terhubung dengan orang lain yang bekerja untuk vendor keamanan dalam jaringan LinkedIn-nya. Untuk bersenang-senang, dia memecah hasil polling berdasarkan jawaban dari vendor vs. non-vendor; hasilnya membuat saya sedikit tertawa.
Berdasarkan polling ini, tidak terlalu berlebihan untuk menyimpulkan bahwa vendor cenderung sangat melebih-lebihkan jumlah true positive yang dihasilkan oleh alat mereka.
Tindakan yang disarankan untuk tim keamanan berdasarkan definisi dan observasi yang diperbarui adalah sebagai berikut:
- Tambahkan klasifikasi baru ke alat kasus Anda.
- Hitung dan laporkan persentase aktual dari True Positives Rate dan pengukuran yang lebih mendetail untuk lingkungan Anda.
- Gunakan perhitungan ini untuk melibatkan dan mendidik pimpinan keamanan tentang kualitas peringatan.
- Evaluasi kembali tindakan dan kebutuhan pelatihan analis berdasarkan tingkat mereka.
- Buat umpan balik untuk analis agar memberi tahu tim rekayasa keamanan tentang masalah yang sedang berlangsung.
Sertakan angka-angka ini dalam diskusi yang sedang berlangsung dengan vendor Anda, khususnya untuk meningkatkan efektivitas platform mereka. Berusaha untuk membagikan perhitungan ini dengan orang lain dalam komunitas pelanggan mereka.
