Tomorrow

OpenAI, Kod Hatalarını Tespit Eden Yeni Modeli CriticGPT’yi Tanıttı

OpenAI, Kod Hatalarını Tespit Eden Yeni Modeli CriticGPT’yi Tanıttı

OpenAI araştırmacıları, ChatGPT tarafından üretilen kodlarda bulunan hataları tespit etmek amacıyla geliştirdikleri yeni yapay zeka modeli CriticGPT’yi duyurdu. GPT-4 ailesine dayanan CriticGPT, kodu analiz ederek olası hatalara işaret ediyor ve böylece zor fark edilen hataların tespit edilmesini kolaylaştırıyor.

CriticGPT, kasıtlı olarak hatalar içeren kod örnekleriyle eğitilerek çeşitli kodlama hatalarını tanımayı ve işaretlemeyi öğrenmiş durumda. Araştırmacılar, CriticGPT’yi bu veri kümesi üzerinde eğiterek modelin kod analiz yeteneklerini geliştirdiler.

Yapılan testler, CriticGPT’nin eleştirilerinin, doğal olarak oluşan LLM (Dil Modeli) hatalarını içeren vakaların %63’ünde insan eleştirileri yerine tercih edildiğini gösteriyor. CriticGPT kullanan insan-makine ekiplerinin, sadece insanlardan daha kapsamlı eleştiriler yazdığı ve yalnızca yapay zeka eleştirilerine kıyasla konfabülasyon oranlarını azalttığı gözlemlendi.

Araştırmacılar ayrıca, CriticGPT’nin daha ayrıntılı kod incelemeleri yapabilmesi için Force Sampling Beam Search (FSBS) adını verdikleri yeni bir teknik geliştirdiler. Bu yöntem sayesinde CriticGPT’nin kapsamlı kod incelemeleri yapma yeteneği ayarlanabiliyor ve gerçek olmayan sorunları ne sıklıkla uydurabileceği kontrol edilebiliyor.

CriticGPT’nin bazı sınırlamaları da bulunuyor. Model, nispeten kısa ChatGPT cevapları üzerinde eğitildiği için, gelecekteki yapay zeka sistemlerinin üstesinden gelebileceği daha uzun ve karmaşık görevleri değerlendirme konusunda tam olarak hazırlıklı olmayabilir. Ayrıca, CriticGPT konfabülasyonları azaltsa da tamamen ortadan kaldıramıyor ve insan eğitmenler bu yanlış çıktılara dayanarak etiketleme hataları yapmaya devam edebiliyor.

Araştırma ekibi, CriticGPT’nin kod içindeki belirli hataları tespit etmede en etkili yöntem olduğunu belirtiyor. Model, kod analizinde sağladığı yeniliklerle, yazılım geliştirme sürecinde hataların tespiti ve düzeltilmesi konusunda önemli bir adım olarak değerlendiriliyor.

Bu yazıyı paylaş: