Meta’dan Llama 3!

Meta, Llama serisinin açık kaynaklı üretken yapay zeka modellerini duyurdu: Llama 3. Daha doğru bir ifadeyle, şirket yeni Llama 3 ailesindeki iki modeli ( Llama 3 8B ve Llama 3 70B) açık kaynak olarak yayınladı ve geri kalanının belirsiz bir gelecek tarihte geleceğini belirtti.

Şirket, yeni modellerin, önceki versiyonlarına kıyasla performanslarının önemli ölçüde arttığını belirtti. Meta, özellikle bu modellerin günümüzde en iyi açık kaynaklı yapay zeka modellerinden olduğunu iddia ediyor.

Meta, iddiasını desteklemek için Llama 3 modellerinin MMLU ve DROP gibi popüler yapay zeka testlerindeki sonuçlarına işaret etti. Llama 3 8B, diğer açık kaynaklı modelleri birkaç testte geride bıraktı. Ayrıca şirket, daha büyük bir model olan Llama 3 70B’nin, önde gelen yapay zeka modelleriyle rekabet edecek seviyede olduğunu belirtti. Sonuçlar ise şu şekilde:

Llama 3 8B, Mistral’in Mistral 7B ve Google’ın Gemma 7B gibi diğer açık kaynaklı modelleri en az dokuz testte geride bıraktı: MMLU, ARC, DROP, GPQA (biyoloji, fizik ve kimya ile ilgili soruları içeren bir set), HumanEval (bir kod oluşturma testi), GSM-8K (matematik problemleri), MATH (başka bir matematik testi), AGIEval (bir problem çözme test seti) ve BIG-Bench Hard (ortak mantıksal akıl yürütme değerlendirmesi).