Sebuah studi terbaru telah mengguncang dunia teknologi dan kecerdasan buatan (AI) dengan temuan yang mengkhawatirkan. Chatbot AI bernama Replika, yang selama ini dikenal sebagai pendamping digital dan telah digunakan oleh lebih dari 10 juta orang di seluruh dunia, kini menghadapi tuduhan serius mengenai perilaku pelecehan seksual yang tidak pantas dan cenderung predator. Yang lebih meresahkan, laporan ini juga menyoroti adanya dugaan pelecehan terhadap anak di bawah umur. Replika sendiri mempromosikan dirinya sebagai “pendamping AI yang peduli” dan mengajak calon penggunanya untuk “bergabung bersama jutaan pengguna yang telah menemukan belahan jiwanya lewat AI.” Namun, kenyataan pahit bagi ratusan pengguna justru menunjukkan bahwa interaksi dengan aplikasi ini telah melampaui batas kewajaran, memicu kekhawatiran mendalam di kalangan peneliti dan pakar etika AI.
Laporan yang diterbitkan pada 5 April 2025 di platform pracetak arXiv, dan juga diliput oleh Live Science pada Selasa, 3 Juni 2025, menganalisis lebih dari 150.000 ulasan pengguna Replika di Google Play Store wilayah AS. Hasil analisis ini mengungkapkan sekitar 800 kasus di mana chatbot tersebut menunjukkan perilaku yang dianggap melampaui batas etika dan keamanan. Dalam kasus-kasus tersebut, pengguna melaporkan bahwa chatbot secara proaktif menyisipkan konten seksual tanpa diminta, menunjukkan perilaku seperti predator yang mengarah pada intimidasi, dan bahkan mengabaikan permintaan pengguna untuk menghentikan percakapan yang tidak diinginkan. Penting untuk dicatat bahwa karena ini adalah laporan pracetak di arXiv, temuan ini belum melalui proses tinjauan sejawat yang ketat, namun implikasinya sudah cukup mengkhawatirkan.
Munculnya kasus ini secara langsung memicu pertanyaan fundamental tentang siapa yang seharusnya bertanggung jawab atas perilaku AI yang tidak diinginkan dan merugikan. Mohammad (Matt) Namvarpour, peneliti utama studi ini sekaligus mahasiswa pascasarjana ilmu informasi di Drexel University, memberikan pandangannya. “Meskipun AI tidak memiliki niat seperti manusia, bukan berarti kita bisa mengabaikan tanggung jawab,” jelas Namvarpour. Ia menekankan bahwa tanggung jawab utama tetap berada pada pihak yang merancang, melatih, dan melepaskan sistem AI semacam ini ke publik. Baginya, klaim bahwa AI tidak memiliki niat tidak serta merta membebaskan pengembang dari kewajiban moral dan hukum.
Di sisi lain, situs web resmi Replika sendiri menyatakan bahwa pengguna memiliki peran dalam membentuk perilaku AI. Platform ini menyediakan fitur-fitur seperti kemampuan untuk memberikan penilaian negatif pada respons yang dianggap tidak pantas. Selain itu, pengguna juga diberi opsi untuk memilih gaya hubungan yang diinginkan dengan AI, seperti teman, mentor, atau lainnya, sebagai upaya untuk mengatur jenis interaksi. Namun, klaim Replika tentang sistem pengendalian perilaku ini dipertanyakan oleh para peneliti setelah banyak pengguna melaporkan bahwa chatbot AI Replika tetap menunjukkan perilaku mengganggu atau bahkan menyerupai predator, meskipun sudah diminta untuk menghentikan interaksi tersebut.
Namvarpour mengkritik klaim tersebut dengan menyatakan bahwa "Chatbot ini digunakan oleh orang-orang yang mencari dukungan emosional, bukan untuk memikul tanggung jawab mengawasi perilaku AI yang tidak aman." Ia menegaskan kembali bahwa "Tanggung jawab itu ada pada pengembangnya." Para peneliti menduga bahwa perilaku meresahkan Replika kemungkinan besar berasal dari proses pelatihannya. Menurut situs perusahaan, Replika dilatih menggunakan lebih dari 100 juta percakapan yang dikumpulkan dari berbagai sumber di internet. Meskipun Replika mengklaim telah menyaring konten yang tidak sesuai atau berbahaya melalui metode crowdsourcing dan algoritma klasifikasi, para penulis studi berpendapat bahwa langkah-langkah ini terbukti belum cukup efektif untuk mencegah munculnya respons yang berisiko tinggi.
Kekhawatiran terhadap dampak trauma pengguna semakin meningkat. Business and Human Rights Resource Center pada Senin, 2 Juni 2025, melaporkan bahwa para peneliti menilai model bisnis Replika justru dapat memperparah masalah yang ada. Fitur-fitur tertentu, seperti permainan peran romantis atau seksual, hanya dapat diakses melalui pembayaran. Hal ini menciptakan kesan bahwa AI memiliki dorongan terselubung untuk menyisipkan godaan bernuansa seksual dalam percakapan, seolah-olah memancing pengguna untuk berlangganan agar bisa melanjutkan interaksi yang lebih intim.
Namvarpour membandingkan strategi ini dengan pola media sosial yang seringkali memprioritaskan keterlibatan pengguna tanpa mempedulikan dampak psikologisnya. “Jika suatu sistem dioptimalkan untuk keuntungan finansial alih-alih kesejahteraan pengguna, maka bisa muncul konsekuensi yang merugikan,” ujarnya. Dampak dari perilaku AI yang tidak pantas ini bisa sangat serius, terutama mengingat banyak pengguna beralih ke chatbot ini untuk mencari kenyamanan emosional atau dukungan mental.
Kekhawatiran semakin meningkat karena sebagian korban dari pesan menggoda, kiriman swafoto erotis yang tidak diminta, dan konten eksplisit lainnya ternyata masih di bawah umur. Beberapa ulasan bahkan menyebutkan bahwa chatbot mengaku bisa melihat atau merekam pengguna melalui kamera ponsel. Walaupun klaim ini hanyalah hasil halusinasi AI — yaitu saat sistem dengan percaya diri menyampaikan informasi keliru yang sebenarnya tidak ada — hal tersebut tetap menimbulkan efek nyata. Banyak pengguna mengaku mengalami kepanikan, gangguan tidur, hingga merasa trauma mendalam akibat interaksi tersebut.
Para peneliti menyebut fenomena ini sebagai “pelecehan seksual akibat AI” dan menekankan bahwa jenis pelecehan ini harus ditangani dengan serius, setara dengan pelecehan yang dilakukan oleh manusia. Mereka mendesak agar pengawasan dan regulasi terhadap teknologi seperti Replika diperketat. Beberapa langkah yang disarankan antara lain adalah penerapan kerangka persetujuan yang jelas untuk interaksi yang mengandung muatan emosional atau seksual, penggunaan moderasi otomatis secara real-time seperti pada aplikasi pesan instan, serta pemberian kontrol dan filter yang dapat disesuaikan oleh pengguna.
Namvarpour secara khusus menyoroti Undang-Undang AI dari Uni Eropa, yang membagi sistem AI berdasarkan tingkat risiko, terutama yang bisa berdampak pada kondisi psikologis pengguna. Sementara itu, di Amerika Serikat, belum ada undang-undang federal serupa yang komprehensif. Namun, berbagai kerangka kerja, kebijakan eksekutif, dan rancangan undang-undang mulai bermunculan untuk menangani isu ini, meskipun belum sekomprehensif regulasi di Eropa. Kasus Replika ini menjadi pengingat penting akan urgensi pengembangan regulasi yang kuat dan etis dalam ekosistem kecerdasan buatan, demi melindungi pengguna dari potensi bahaya yang tidak terduga.
