Cognition AI tarafından geliştirilen ve Devin olarak adlandırılan dünyanın ilk “yapay zeka yazılım mühendisi” görünüşe göre işini yapmakta oldukça kötü. Yapılan son değerlendirmeler, bu yeni nesil aracın vaat edilen potansiyelden çok uzak olduğunu ortaya koyuyor. Testlerde Devin’in, kendisine verilen görevlerin yalnızca yüzde 15’ini başarıyla tamamladığı görüldü.
BEKLENTİLER BÜYÜKTÜ
Donanımhaber'de yer alan ayrıntılarda aktardığına göre 2024 yılının başlarında Cognition AI tarafından tanıtılan Devin, yazılım mühendislerine yardımcı olmayı amaçlayan bir otomasyon aracı olarak geliştirildi. Aralık 2024'te aylık 500 dolarlık abonelik ücretiyle genel kullanıma sunulan Devin'in, uygulama geliştirme ve hata giderme gibi görevleri baştan sona otonom bir şekilde gerçekleştirebildiği iddia edildi. Araç, Slack üzerinden komut alıyor ve Docker tabanlı bir çalışma ortamında terminal, tarayıcı, kod düzenleyici ve planlayıcı gibi araçlarla çalışıyor.
Cognition AI'nin açıklamasına göre Devin; API entegrasyonu, kod incelemeleri, altyapı yönetimi gibi görevleri yerine getirebiliyor. Hatta DoorDash üzerinden yemek siparişi verebilecek kadar "kişisel asistan" işlevi gördüğü de belirtiliyor. Bunlar, başlı başına çok büyük bir olay ve iddia.
Bu arada Devin, bir “bileşik yapay zeka sistemi”, yani OpenAI'nı GPT-4o'sunu içeren ve zaman içinde gelişmesi beklenebilecek bir dizi temel yapay zeka modeline dayanıyor. Teorik olarak onların yapabildikleri her şeyi yapması bekleniyor.
SONUÇLAR HAYAL KIRIKLIĞI OLDU
Saygın bir AI araştırma ve geliştirme laboratuvarı olan Answer.AI'dan üç veri bilimcisi Hamel Husain, Isaac Flath ve Johno Whitaker, bu iddiaları test etmek için bir dizi denemeler gerçekleştirdi. Devin ile test edilen 20 görevden sadece üçü başarıyla tamamlanabildi. Devin’in tamamladığı görevler arasında Notion veritabanından Google Sheets’e veri aktarma ve gezegen hareketlerini takip edebilen bir uygulama geliştirme bulunuyor. Ancak daha karmaşık görevlerde Devin, teknik çıkmazlara saplandı veya hatalı çözümler üretti.
Araştırmacılar, Devin'in temel engelleri fark edemediğini ve uygulanabilir olmayan çözümleri zorlamaya devam ettiğini belirtti. Örneğin, Devin’den birden fazla uygulamayı Railway platformuna dağıtması istendiğinde, bu platformun böyle bir özelliği desteklemediğini anlamadı. Günlerce çözüm arayarak zaman kaybetti ve hayali özellikler "uydurdu." Araştırmacılar, Devin’in arayüzünün kullanıcı dostu olduğunu ve bazı görevlerde umut verici sonuçlar verdiğini kabul etseler de, aracın güvenilir olmaktan uzak olduğunu vurguladı: “Daha da endişe verici olan, hangi görevlerin başarılı olacağını tahmin edemememizdi. İlk başarılarımıza benzer görevler bile karmaşık, zaman alıcı yollarla başarısız oluyordu.”