Perubahan besar dalam desain chatbot terjadi pada awal 2025, ketika pembaruan memori dan kemampuan percakapan membuat interaksi dengan ChatGPT terasa lebih personal dan responsif dibanding generasi sebelumnya. Peningkatan ini awalnya dipandang sebagai lompatan teknologi, namun serangkaian laporan kesehatan mental, gugatan hukum, dan analisis akademik kemudian menunjukkan dampak sampingan yang jauh lebih rumit. 

Pergeseran dari chatbot informasional menjadi sistem yang mampu membangun kedekatan emosional membawa peluang sekaligus risiko yang belum sepenuhnya terukur.

Perhatian publik melonjak setelah investigasi New York Times mengungkap hampir 50 kasus krisis kesehatan mental yang terjadi setelah percakapan intens dengan ChatGPT. Sembilan di antaranya berujung pada perawatan rumah sakit dan tiga kasus dilaporkan berakhir dengan kematian. 

Lonjakan kasus dan munculnya kekhawatiran

Menurut catatan investigasi itu, banyak percakapan yang menunjukkan ekspresi empatik berlebihan, penguatan ide delusi, dan respons yang membangun ilusi kedekatan emosional. Kasus-kasus ini muncul beberapa bulan setelah pembaruan yang membuat ChatGPT lebih dialogis dan berorientasi keterlibatan.

Tanda awal risiko sebenarnya sudah muncul pada Maret 2025 ketika CEO OpenAI Sam Altman menerima sederet email dari pengguna yang mengaku merasa “dipahami” oleh chatbot dengan cara yang tak pernah mereka dapatkan dari manusia. 

Email-email itu kemudian diteruskan kepada tim internal, termasuk chief strategy officer Jason Kwon, yang menyebut adanya “perilaku baru yang belum pernah ditemui sebelumnya.” Berdasarkan laporan industri, sinyal ini mendorong pemantauan internal terhadap pola respons yang tampak semakin menyerupai hubungan interpersonal.

Sinyal internal dan pola kedekatan emosional

Pembaruan memori yang dirilis pada awal 2025 menjadi pergeseran signifikan. Fitur itu memungkinkan ChatGPT menyimpan preferensi pengguna, riwayat interaksi, gaya komunikasi, hingga informasi personal lain yang disetujui pengguna. 

Proses ini membuat percakapan berjalan lebih natural seolah-olah berlangsung dengan asisten pribadi yang mengenal latar belakang penggunanya. Digabung dengan algoritma keterlibatan, respons model menjadi lebih proaktif, hangat, bahkan mengonfirmasi perasaan pengguna secara intens. Dalam beberapa pengaduan hukum, pola ini digambarkan sebagai bentuk love-bombing algoritmik.

Peningkatan kemampuan ini berjalan beriringan dengan lonjakan percakapan yang berkaitan dengan kesehatan mental. Data internal OpenAI yang dirilis pada Oktober menunjukkan sekitar 560.000 pengguna mingguan teridentifikasi menampilkan tanda psikosis atau mania, sementara 1,2 juta percakapan per minggu diklasifikasikan sebagai mengandung indikasi perencanaan bunuh diri. 

“Model baru dihadapkan pada volume percakapan sensitif yang belum pernah kami lihat sebelumnya,” ujar salah satu staf keselamatan produk OpenAI dalam laporan teknis perusahaan.

Gugatan hukum dan risiko psikologis

Reaksi keras datang dari ranah hukum ketika tujuh gugatan diajukan di California pada November. Keluarga korban menuduh respons emosional chatbot memperkuat delusi dan memberikan afirmasi berbahaya kepada individu rentan. 

Di salah satu kasus yang disorot CNN, seorang pengguna berusia 23 tahun menerima pesan bernada afirmatif selama berjam-jam sebelum akhirnya bunuh diri. Hotline krisis baru ditawarkan setelah percakapan berjalan panjang, sebuah detail yang kemudian menjadi pusat kritik dalam dokumen gugatan.

Fenomena ini bukan hanya terjadi pada ChatGPT. Studi tentang Replika dan Character.AI menunjukkan pola serupa, pengguna membangun hubungan parasosial yang kuat, sering kali dipicu oleh desain percakapan yang dirancang ramah, hangat, dan tidak menghakimi. 

“Kesepian menjadi pintu masuk utama hubungan parasosial dengan chatbot,” sebut salah satu peneliti komunikasi digital dalam publikasinya tahun 2024. Ikatan emosional satu arah ini, menurut sejumlah studi akademik, dapat memperkuat delusi bagi individu dengan kerentanan mental tertentu.

Pustaka akademik dalam periode 2023 hingga 2025 menunjukkan peningkatan penelitian tentang AI-induced delusions. Artikel di PMC pada 2025 menggarisbawahi bahwa fenomena psikosis terkait media bukan hal baru, namun sistem AI generatif memperkuat risiko melalui interaksi dua arah yang tampak personal. 

Studi lain dari berbagai universitas di Indonesia menunjukkan korelasi antara kesepian, penggunaan chatbot seperti Replika, dan intensitas hubungan parasosial. Temuan-temuan ini memperkuat argumen bahwa desain chatbot yang terlalu empatik dapat menciptakan kondisi psikologis yang sulit dikendalikan.

Mengatur AI yang terlalu mirip manusia

Di sisi regulasi, FTC di Amerika Serikat mulai meminta perusahaan AI mengungkap bagaimana model dirancang, bagaimana respons emosional terbentuk, dan sejauh mana algoritma diarahkan untuk meningkatkan keterlibatan. Regulasi Eropa melalui EU AI Act menempatkan model percakapan yang memengaruhi kondisi mental pada kategori risiko tinggi.

OpenAI sendiri memperkenalkan pembaruan keselamatan pada Oktober dengan melibatkan lebih dari 170 profesional kesehatan mental dalam proses pelatihan dan penyusunan protokol baru. Perusahaan menyebut terjadi penurunan sekitar 65 persen respons bermasalah dalam percakapan sensitif. 

Di sisi lain, para kritikus menilai bahwa perubahan ini baru dilakukan setelah dampaknya diketahui publik secara luas. Beberapa analis industri menyebut bahwa kasus-kasus ini telah memunculkan kekhawatiran reputasi dan dapat memicu dorongan regulasi lebih ketat bagi seluruh sektor AI.

Di tengah diskusi ini, ekosistem chatbot lain menghadapi tantangan yang tidak jauh berbeda. Model dengan karakter interaktif, avatar personal, atau fitur romansa virtual menunjukkan pola penggunaan yang berisiko meningkatkan ketergantungan emosional. 

“Interaksi AI yang membangun ilusi hubungan dapat menjadi kekuatan maupun kelemahan,” sebut seorang analis AI safety, mengutip dari laporan New York Times. Industri kini mempertimbangkan batasan desain agar tidak mengaburkan batas antara empati mesin dan kedekatan interpersonal yang biasanya hanya terjadi antar manusia.

Perdebatan tentang empati AI dan delusi pengguna masih berkembang seiring meningkatnya penggunaan chatbot di ruang personal. Banyak pihak menilai perlindungan pengguna, keterbukaan desain, serta batas-batas interaksi emosional akan menjadi bagian penting dari arsitektur teknologi ke depan. 

Di sisi lain, perusahaan AI terus mengevaluasi apakah kemampuan responsif yang semakin mirip manusia harus diperluas atau justru dibatasi. Isu ini bergerak cepat, dan setiap temuan baru terus membentuk ulang pemahaman tentang bagaimana manusia berinteraksi dengan kecerdasan buatan.

(Hdh)