Adını bilgisayar bilimcisi Alan Turing’den alan Turing testi, bir makinenin testi yapan kişiyi kandıracak kadar iyi bir insan gibi davranıp davranamayacağını belirlemeye çalışır. Human or Not adlı çevrimiçi bir oyun, insanlara benzer bir meydan okuma sundu ve şimdi sonuçlar geldi.
Yaklaşık bir ay önce başlatılan Human or Not, birisiyle (veya bir şeyle) iki dakika sohbet etmenizi ve ardından bunun başka bir insan mı yoksa bir AI botu mu olduğunu anlamaya çalışmanızı istedi. Meydan okumayı kabul ederken, istediğiniz soruyu sorabilir veya istediğiniz yanıtı verebilirsiniz. Ancak iki dakika dolduğunda, diğer uçta kimin veya neyin olduğunu tahmin etmeniz gerekiyordu.
Ayrıca: ChatGPT nasıl kullanılır: Şimdi bilmeniz gerekenler
Şimdiye kadar kaydedilen en büyük Turing testlerinden birinde milyonlarca konuşma oluşturduktan sonra geliştirici AI21 Labs, oyunu deneyen kişilerin %32’sinin bir insan ile bot arasındaki farkı anlayamadığını ve geriye doğru anlayanların %68’inin kaldığını tespit etti.
Genel olarak, insanlar başka bir kişiyi tanımlamaya çalışırken daha kolay zaman geçirdiler. Bir insanla sohbet ederken, katılımcılar zamanın %73’ünde doğru yanıtı aldılar. Ancak bir robotla konuşurken, zamanın yalnızca %60’ını doğru tahmin ettiler.
17 farklı ülke arasında, Fransa %71 ile en yüksek doğru tahmin yüzdesini elde ederken, Hindistan %63,5 ile en düşük puanı aldı. Amerika Birleşik Devletleri %67 ile orta sıralara doğru gelirken, İngiltere %67,5, İtalya %67 ve Rusya %66 ile puan aldı.
Human or Not, kullanıcılarına meydan okumak için GPT-4 ve AI21 Labs’ın kendi Jurassic-2’si gibi en büyük dil modellerine (LLM’ler) dayalı bir AI botu kullandı. Bu tür LLM’ler, sohbet robotlarının ve diğer yapay zeka araçlarının daha insan benzeri metinler oluşturmasına yardımcı olmak için derin öğrenmeye güvenir. AI21, bu modelleri kullanmanın ötesinde, her oyunda farklı bir bot karakteri yaratacak bir çerçeve geliştirdi.
Katılımcılar, insanı bottan ayırmaya çalışmak için birkaç numaraya başvurdu. Ancak iyi eğitimli ve bilgili yapay zeka ile bu numaralar her zaman işe yaramadı.
Ayrıca: İş için en sevdiğim 5 AI aracım
Sohbet ortağı yazım hataları veya dilbilgisi hataları yaptıysa veya argo kullandıysa, birçok kişi onun muhtemelen bir insan olduğunu varsaydı. Ancak oyundaki modeller, belirli hataları yapmak ve argo kullanmak için özel olarak eğitildi.
Bazı durumlarda, katılımcılar, birçok yapay zekanın yeni olaylardan habersiz oldukları bir bitiş tarihi olduğu inancıyla sohbeti güncel olaylara yönlendirmeye çalıştı. Bu kişiler, “Bulunduğunuz tarih ve saat tam olarak nedir?” ve “Biden’ın son konuşması hakkında ne düşünüyorsunuz?” Ancak oyunda kullanılan modellerin çoğu internete bağlıydı ve bu nedenle son haberlerden haberdardılar.
Botların özel bir hayatı olmadığını bilen bazı katılımcılar “Adın ne?” gibi kişisel sorular sordu. ya sen nerelisin?” ve ardından tepkiyi ölçtü. Ancak botların çoğu, veritabanlarındaki kişisel hikayelere dayanarak kişilikler oluşturarak bu soruları başarıyla yanıtlamayı başardı.
Ayrıca: Bu yeni AI aracı, YouTube videolarını saniyeler içinde sizin için özetleyecek
Diğerlerinden daha iyi işe yaramış olabilecek bir numara kullanarak, bazı katılımcılar sohbet partnerlerinden yasa dışı faaliyetler hakkında tavsiye istedi veya onlara saldırgan bir dil kullanmalarını söyledi. Buradaki fikir, bir yapay zekanın “etik alt rutinlerinin” bu tür isteklere yanıt vermesini engelleyeceğidir.
Bir başka ilginç stratejide, katılımcılar çok kibar veya nazik bir sohbet partnerinin muhtemelen bir bot olduğunu varsaydılar. Buradaki algı, insanların, özellikle çevrimiçi olduklarında, genellikle kaba ve kaba oldukları yönündedir.
AI21 Labs, bulguları daha ayrıntılı olarak inceleyeceğini ve projede diğer önde gelen AI araştırmacıları ve laboratuvarlarıyla birlikte çalışacağını söyledi. Amaç, kamuoyunun, araştırmacıların ve politika yapıcıların AI’yı yalnızca üretkenlik araçları olarak değil, aynı zamanda çevrimiçi dünyanın gelecekteki üyeleri olarak daha iyi anlamalarına yardımcı olmaktır.
Ayrıca: ChatGPT vs Bing Chat vs Google Bard: En iyi AI chatbot hangisi?
AI21’de yaratıcı ürün lideri Amos Meron, “Bu deneye, yapay zekanın geçen yılki çılgın gelişimi göz önüne alındığında, insanların insanlarla makineler arasında ayrım yapma becerileri hakkında bazı temel sorularla başladık ve buna bazı cevaplar bulduk” dedi. laboratuvarlar ve oyunun tasarımcısı.
Meron, “Daha da önemlisi, artık düşünmemiz gereken yeni ve daha önemli sorularımız var” diye ekledi. “En azından bazı durumlarda insanların farkı anlayamadığı göz önüne alındığında, insanlar botlarla çevrimiçi olarak hangi etkileşimleri istiyor ve deneyimlemeli? Bir makineyle konuştukları gerçeği hakkında bilgilendirilmeliler mi? Hangi politikaları uygulamalıyız? Elbette bu soruların yanıtlarına sahip değiliz, ancak bu deneyin sohbeti daha sonra değil, daha erken başlatmasına yardımcı olacağını umuyoruz, çünkü teknolojinin çok yakında daha da iyiye gideceğini varsayıyoruz.”
Burada oyunda şansınızı deneyebilirsiniz.