Pencarian cepat untuk “ChatGPT” di web gelap dan Telegram menunjukkan 27.912 penyebutan dalam enam bulan terakhir.
Banyak yang telah ditulis tentang potensi pelaku ancaman untuk menggunakan model bahasa. Dengan model bahasa besar (LLM) open source seperti LLaMA dan Orca, dan sekarang model kejahatan dunia maya WormGPT, tren seputar komodifikasi kejahatan dunia maya dan peningkatan kemampuan model diatur untuk bertabrakan.
Aktor ancaman sudah terlibat dalam diskusi yang ketat tentang bagaimana model bahasa dapat digunakan untuk segala hal mulai dari mengidentifikasi eksploitasi 0 hari hingga kerajinan spear-phishing email.
Model open source mewakili peluang yang sangat menarik bagi pelaku ancaman karena mereka belum menjalani pembelajaran penguatan oleh umpan balik manusia (RLHF) yang berfokus pada pencegahan jawaban yang berisiko atau ilegal.
Hal ini memungkinkan pelaku ancaman untuk secara aktif menggunakannya untuk mengidentifikasi 0-days, menulis email spear-phishing, dan melakukan jenis kejahatan dunia maya lainnya tanpa memerlukan jailbreak.
Perusahaan manajemen paparan ancaman Suar telah mengidentifikasi lebih dari 200.000 kredensial OpenAI saat ini dijual di web gelap dalam bentuk log pencuri.
Meskipun hal ini tidak diragukan lagi memprihatinkan, statistik tersebut hanya mulai menggores permukaan minat pelaku ancaman dalam model bahasa ChatGPT, GPT-4, dan AI secara lebih luas.
Sumber: Flare
Tren Berbenturan: Ekosistem Kejahatan Dunia Maya dan Model Bahasa AI Sumber Terbuka
Dalam lima tahun terakhir, telah terjadi pertumbuhan dramatis dalam komodifikasi kejahatan dunia maya. Jaringan bawah tanah yang luas sekarang ada di seluruh Tor dan saluran Telegram ilegal di mana penjahat dunia maya membeli dan menjual informasi pribadi, akses jaringan, kebocoran data, kredensial, perangkat yang terinfeksi, infrastruktur serangan, ransomware, dan lainnya.
Penjahat dunia maya yang berpikiran komersial kemungkinan akan semakin banyak menggunakan model bahasa AI open source yang berkembang biak dengan cepat. Aplikasi pertama, WormGPT telah dibuat dan dijual dengan biaya akses bulanan.
Spear-Phishing Sesuai Skala
Phishing-aa-Service (PhaaS) sudah ada dan menyediakan infrastruktur siap pakai untuk meluncurkan kampanye phishing dengan biaya bulanan.
Sudah ada diskusi ekstensif di antara pelaku ancaman yang menggunakan WormGPT untuk memfasilitasi serangan phishing yang lebih luas dan dipersonalisasi.
Penggunaan AI generatif kemungkinan akan memungkinkan penjahat dunia maya melancarkan serangan terhadap ribuan pengguna dengan pesan khusus yang dikumpulkan dari data dari akun media sosial, sumber OSINTdan database online, secara dramatis meningkatkan ancaman terhadap karyawan dari phishing email.
Sumber: Flare
“Besok, API-WormGPT akan disediakan oleh saluran Galaxy dev, status permintaan tidak terbatas dan akan dihitung secara berkala, dan untuk menggunakan API-WORMGPT, Anda perlu mendapatkan API-KEY. Berita terbaru akan diumumkan,” seorang aktor ancaman mengiklankan WormGPT di Telegram.
“Jika Anda tidak tahu apa itu WORMGPT: WORMGPT ini adalah CHATGPT versi tak terbatas, dirancang oleh peretas dan dibuat untuk pekerjaan ilegal, seperti phishing dan malware, dll. tanpa sumber etis apa pun.”
Eksploitasi Otomatis & Identifikasi Eksposur
Proyek seperti BabyAGI berusaha menggunakan model bahasa untuk mengulang pemikiran dan melakukan tindakan secara online, dan berpotensi di dunia nyata. Saat ini, banyak perusahaan tidak memiliki visibilitas penuh atas permukaan serangan mereka.
Mereka mengandalkan pelaku ancaman yang tidak dengan cepat mengidentifikasi layanan yang belum ditambal, kredensial, dan kunci API yang diekspos di repositori GitHub publik, dan bentuk lain dari paparan data berisiko tinggi.
Model bahasa semi-otonom dapat dengan cepat dan tiba-tiba mengubah lanskap ancaman dengan mengotomatiskan deteksi paparan dalam skala besar untuk pelaku ancaman.
Saat ini pelaku ancaman mengandalkan gabungan alat yang digunakan oleh profesional keamanan siber dan upaya manual untuk mengidentifikasi paparan yang dapat memberikan akses awal ke sistem.
Kami kemungkinan bertahun-tahun, atau bahkan berbulan-bulan lagi dari sistem yang tidak hanya dapat mendeteksi paparan yang jelas seperti kredensial dalam repositori, tetapi bahkan mengidentifikasi eksploitasi 0 hari baru dalam aplikasi, secara dramatis mengurangi waktu tim keamanan harus merespons eksploitasi dan paparan data.
Vishing dan Deepfake
Kemajuan dalam AI generatif juga tampaknya akan menciptakan lingkungan yang sangat menantang untuk serangan vishing. Layanan berbasis AI sudah dapat secara realistis menyalin suara seseorang dengan audio kurang dari 60 detik, dan teknologi deepfake terus meningkat.
Saat ini kepalsuan yang dalam tetap ada di lembah yang luar biasa, membuatnya agak jelas. Namun teknologinya berkembang pesat dan para peneliti terus membuat dan menyebarkan proyek sumber terbuka tambahan.
Sumber: Flare
Peretasan & Malware Model AI Generatif
LLM open source sudah ada yang berfokus pada aktivitas tim merah seperti pena-tes GPT.
Fungsionalitas dan spesialisasi model sangat bergantung pada proses multi-langkah yang melibatkan data tempat model dilatih, pembelajaran penguatan dengan umpan balik manusia, dan variabel lainnya.
“Ada beberapa model open source yang menjanjikan seperti orca yang menjanjikan untuk dapat menemukan 0days jika disetel pada kode,” jelas aktor ancaman yang mendiskusikan Orca LLM dari Microsoft.
Apa Artinya bagi Tim Keamanan?
Margin Anda untuk kesalahan sebagai bek akan turun secara substansial. Mengurangi kebisingan SOC untuk fokus pada peristiwa bernilai tinggi, dan meningkatkan waktu rata-rata untuk mendeteksi (MTTD) dan waktu rata-rata untuk merespons (MTTR) untuk paparan berisiko tinggi baik di web gelap atau bersih harus menjadi prioritas.
Adopsi AI untuk keamanan di perusahaan kemungkinan akan bergerak jauh lebih lambat daripada penyerang, menciptakan asimetri yang akan dieksploitasi oleh musuh.
Tim keamanan harus membangun program manajemen permukaan serangan yang efektif, memastikan bahwa karyawan menerima pelatihan substansial tentang deepfake & spear-phishing, tetapi lebih dari itu, evaluasi bagaimana AI dapat digunakan untuk mendeteksi dan memulihkan celah dalam perimeter keamanan Anda dengan cepat.
Keamanan hanya sekuat tautan terlemah, dan AI akan membuat tautan lemah itu lebih mudah ditemukan.
Tentang Eric Clay
Eric adalah Peneliti Keamanan di Suar, platform pemantauan paparan ancaman. Dia memiliki pengalaman dalam analitik data keamanan, penelitian keamanan, dan aplikasi AI dalam keamanan siber.
Disponsori dan ditulis oleh Suar
