Penelitian terbaru dari Apple menunjukkan bahwa kecerdasan buatan (AI) seperti ChatGPT (OpenAI), Gemini (Google), dan model AI dari Meta, ternyata belum mampu berpikir logis. Model bahasa besar (LLM) yang menjadi dasar AI ini, hanya mencocokkan pola untuk menjawab pertanyaan atau memproses permintaan pengguna.
LLM dilatih dengan data teks yang sangat banyak, sehingga dapat memahami, menghasilkan, dan merespons teks secara alami. Namun, penelitian Apple yang dipublikasikan di arXiv menunjukkan bahwa kemampuan AI ini masih terbatas.
Untuk menguji kemampuan penalaran AI, peneliti menggunakan tes GSM8K, yang terdiri dari soal matematika tingkat sekolah dasar. Namun, ada kekhawatiran bahwa AI mungkin telah dilatih dengan jawaban dari tes tersebut, sehingga hasil yang diperoleh tidak mencerminkan kemampuan berpikir yang asli.
Untuk mengatasi hal ini, peneliti mengembangkan tes baru bernama GSM-Symbolic. Tes ini mengubah nama, angka, dan menambahkan informasi yang tidak penting untuk melihat apakah AI masih bisa menjawab dengan benar. Hasilnya, performa AI menurun drastis ketika ada perubahan variabel.
Penelitian ini juga menemukan bahwa AI cenderung mengabaikan informasi yang tidak relevan dalam soal, meskipun informasi tersebut terlihat penting. Misalnya, dalam soal yang menanyakan jumlah kiwi yang dipetik, AI cenderung mengabaikan informasi tentang ukuran kiwi, yang tidak relevan dengan masalah tersebut.
"Model AI cenderung mengubah pernyataan menjadi operasi tanpa benar-benar memahami maknanya," tulis peneliti. "Hal ini menunjukkan bahwa LLM mencari pola dalam masalah penalaran, daripada secara bawaan memahami konsep."
Penelitian ini menguji lebih dari 20 model AI, termasuk GPT-4 dari OpenAI. Hasilnya menunjukkan bahwa semua model memiliki kelemahan dalam menghadapi variasi dan informasi yang tidak relevan.
Temuan ini menunjukkan bahwa AI masih memiliki banyak kekurangan dalam kemampuan berpikir logis. Penelitian lebih lanjut diperlukan untuk mengembangkan AI yang mampu memahami konsep dan berpikir secara logis, seperti manusia.
