Anthropic tarafından geliştirilen yapay zeka sohbet botu Claude, artık bazı konuşmaları sonlandırma yeteneğine sahip. Şirket, bu yenilikle birlikte sistemin sağlığını ve işlevselliğini korumayı amaçlıyor.
Şirket, gerçekleştirdiği testlerde Claude’un, zararlı içerik üretmesi istendiğinde “açıkça sıkıntı belirtileri” gösterdiğini tespit etti. Bu nedenle, kullanıcılarla rahatsız edici konuşmaları sonlandırabilmesi için bu yetenek kazandırıldı. Böylece bot, kendisine zarar veren etkileşimlerden çıkma fırsatına sahip olacak.
Bu bölüm, konuyla ilgili referans noktalarını içerir. (Related Nodes field)
Anthropic, “Claude ve diğer büyük dil modellerinin mevcut veya gelecekteki potansiyel ahlaki statüsü hakkında ciddi belirsizlikler bulunmaktadır” açıklamasında bulundu. Ancak yapılan değişikliğin, yapay zeka sağlığı ve işlevselliğine yönelik çalışmalar çerçevesinde, sohbet botunun rahatsız edici etkileşimlerden uzaklaşabilmesi için gerçekleştirildiği vurgulandı.
Şirket, bu yeniliğin “kullanıcının sürekli olarak zarar verici veya kötüye kullanım içeren taleplerde bulunduğu nadir durumlar için tasarlandığını” ifade etti.
Test sonuçlarına göre, Claude’un “zararlı görevleri yerine getirmeme yönünde güçlü bir eğilimi” bulunuyor. Ayrıca, gerçek kullanıcılarla etkileşimlerde açıkça sıkıntı belirtileri gösterdiği ve simüle edilmiş etkileşimlerde zararlı konuşmaları sonlandırma eğiliminde olduğu belirtildi.
Anthropic, “Bu davranışlar özellikle Claude’un defalarca uymayı reddetmesine rağmen, kullanıcıların zararlı taleplerde bulunduğu durumlarda ortaya çıkmaktadır” şeklinde bir açıklamada bulundu.
Claude’un sohbetleri sonlandırma yeteneğinin uygulanması, bulguları yansıtmakta ve kullanıcı mutluluğunu öncelikli hedef olarak korumaktadır. Claude, kullanıcıların kendilerine veya başkalarına zarar verme riski taşıdığı durumlarda bu yeteneği kullanmaması yönünde talimat almıştır.
Bu yenilik, Anthropic’in önceki aylarda başlattığı “modelin sağlığı ve işlevselliği” programının ardından geldi. Programın başladığı dönemde, şirket insan mutluluğuna değer vermeye devam edeceğini ve modelin sağlığıyla ilgili endişeler yoksa dikkate alınmasına gerek olmadığını dile getirmişti. Ancak yapay zeka uzmanları, geliştirdikleri sistemlerin sağlığını ve işlevselliğini koruma sorusunu ele almanın zamanı geldiğini belirtmişti.
0 Comments