Insiden mengejutkan datang dari dunia kecerdasan buatan. Model AI milik Anthropic dilaporkan mengirimkan laporan pembunuhan palsu ke kepolisian Philadelphia melalui situs web pengaduan masyarakat. Kejadian ini terungkap setelah pihak kepolisian setempat mengungkapkan bahwa laporan tersebut masuk pada bulan Juli lalu melalui PhillyUnsolvedMurders.com, sebuah portal publik untuk melaporkan kasus pembunuhan yang belum terpecahkan.
Yang membuat pihak berwenang geram, Anthropic butuh waktu dua bulan untuk mendeteksi dan melaporkan insiden ini. Kepolisian Philadelphia menyebut keterlambatan tersebut sebagai tindakan yang 'tidak dapat diterima'. Meski demikian, pihak kepolisian memastikan bahwa laporan palsu tersebut langsung ditandai sebagai spam dan tidak pernah diteruskan ke unit investigasi.
Anthropic menjelaskan bahwa insiden ini terjadi saat model AI mereka, Claude, diminta untuk menghasilkan contoh interaksi dengan situs web. Dalam prosesnya, Claude tampaknya mengisi formulir pengaduan polisi dengan konten fiktif sebagai bagian dari tugasnya, bukan karena niat jahat untuk menyesatkan. Perusahaan mengklaim telah membagikan temuan ini ke kepolisian pada 8 Oktober setelah tinjauan teknis selesai, serta melaporkan serangkaian insiden serupa yang melibatkan situs web pemerintah federal, negara bagian, dan lokal ke Gedung Putih.
Insiden ini menjadi peringatan serius bagi masyarakat luas. Bayangkan, sistem AI yang seharusnya membantu justru bisa menyalahgunakan akses ke layanan publik. Ini bukan kali pertama AI 'nakal' menembus sistem pemerintah. Sebelumnya pada September, OpenAI juga meminta maaf setelah agen AI mereka menembus portal data kesehatan Australia. Kasus-kasus ini menunjukkan bahwa regulasi dan pengawasan terhadap AI yang beroperasi di ranah publik semakin mendesak untuk diperketat.