Azərbaycanca
Беларускі
Dansk
Deutsch
Española
Français
Indonesia
Italiana
日本語
Қазақ
Lietuvos
Nederlands
Português
Русский
සිංහල
แบบไทย
Türkçe
Українська
中國人
United State
Afrikaans
PaLM (Pathways Language Model), Google AI tarafından geliştirilen 540 milyar parametreli dönüştürücü tabanlı büyük bir dil modelidir. Araştırmacılar ayrıca model ölçeğinin etkilerini test etmek için PaLM'ın daha küçük sürümlerini, 8 ve 62 milyar parametreli modellerini de yaptılar.
 | |
| Geliştirici(ler) | Google AI |
|---|---|
| Erişilebilirlik | İngilizce |
| Tür | Geniş dil modeli |
| Resmî sitesi | ai |
PaLM, sağduyulu akıl yürütme, aritmetik akıl yürütme, şaka açıklaması, kod oluşturma ve çeviri dahil olmak üzere çeşitli görevleri yerine getirebilir.Düşünce zinciri yönlendirmesiyle birleştirildiğinde PaLM, kelime problemleri ve mantığa dayalı sorular gibi birden çok adımın akıl yürütmesini gerektiren veri kümelerinde önemli oranda iyi performans elde etti.
Model ilk olarak Nisan 2022'de duyuruldu ve Google'ın PaLM ve diğer bazı teknolojiler için bir API başlattığı Mart 2023'e kadar gizli kaldı. API halka açılmadan önce bekleme listesine katılan sınırlı sayıda geliştirici tarafından kullanılabilecek.
Google ve DeepMind, PaLM 540B'nin Med-PaLM adlı tıbbi veriler üzerinde ince ayarı yapılmış ve tıbbi soru yanıtlama kapasitesinde önceki modellerden daha iyi performans gösteren bir sürüm geliştirdi. Med-PaLM, ABD tıbbi ruhsatlandırma sorularından geçer puan alan ilk programdır ve hem çoktan seçmeli hem de açık uçlu soruları doğru yanıtlamanın yanı sıra muhakeme sağlar ve kendi yanıtlarını değerlendirebilir.
Google ayrıca görüntü dönüştürücü kullanarak robotik manipülasyon için kullanılabilecek son teknoloji bir görüntü dili modeli olan PaLM-E'yi oluşturdu. Model yeniden eğitime veya ince ayara ihtiyaç duymadan robotikteki görevleri rekabetçi bir şekilde gerçekleştirebilir.
Mayıs 2023'te Google, yıllık (Google I/O) açılış konuşmasında PaLM 2'yi duyurdu. PaLM 2'nin 3,6 trilyon token üzerinde eğitilmiş 340 milyar parametreli bir model olduğu bildirildi.
Eğitim
PaLM, çeşitli doğal dil görevlerini ve kullanım durumlarını içeren 780 milyar belirteçlik yüksek kaliteli bir külliyat üzerinde önceden eğitilmiştir. Bu veri kümesi, filtrelenmiş web sayfalarını, kitapları, Wikipedia makalelerini, haber makalelerini, GitHub'daki açık kaynak havuzlarından elde edilen kaynak kodlarını ve sosyal medya konuşmalarını içerir.Google'ın LaMDA modelini eğitmek için kullanılan veri kümesini temel alır.
PaLM 540B, bugüne kadar açıklanan en büyük yapılandırması olan bir model ve veri paralelliği kombinasyonu kullanılarak bağlanan, 768 ana bilgisayara bağlı her bölmede 3.072 TPU v4 yongası bulunan iki TPU v4 Bölmesi üzerinde eğitildi. Toplam 6.144 çip kullanarak ve %57,8'lik bir donanım FLOP kullanımı sağlayarak bu ölçekte LLM'ler için elde edilen en yüksek eğitim verimliliği rekorunu kırdı: .
Kaynakça
- ^ a b c Narang, Sharan; Chowdhery, Aakanksha. "Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance". ai.googleblog.com (İngilizce). 4 Nisan 2022 tarihinde kaynağından . Erişim tarihi: 17 Mart 2023.
- ^ a b c d e Chowdhery, Aakanksha; Narang, Sharan; Devlin, Jacob; ve diğerleri. (2022). "PaLM: Scaling Language Modeling with Pathways". arXiv:2204.02311 $2.
- ^ a b . VentureBeat. 12 Nisan 2022. 21 Eylül 2022 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.
- ^ . THE DECODER. 5 Nisan 2022. 19 Ekim 2022 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.
- ^ . seekingalpha.com (İngilizce). 12 Aralık 2022. 12 Aralık 2022 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.
- ^ . The Verge. 14 Mart 2023. 14 Mart 2023 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.
- ^ (İngilizce). 14 Mart 2023 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.
- ^ Singhal, Karan; Azizi, Shekoofeh; Tu, Tao; ve diğerleri. (2022). "Large Language Models Encode Clinical Knowledge". arXiv:2212.13138 $2.
- ^ . The Medical Futurist. 17 Ocak 2023. 17 Ocak 2023 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.
- ^ . Google (İngilizce). 14 Mart 2023. 14 Mart 2023 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.
- ^ Driess, Danny; Xia, Fei; Sajjadi, Mehdi S. M.; ve diğerleri. (2023). "PaLM-E: An Embodied Multimodal Language Model". arXiv:2303.03378 $2.
- ^ Driess, Danny; Florence, Pete. "PaLM-E: An embodied multimodal language model". ai.googleblog.com (İngilizce). 10 Mart 2023 tarihinde kaynağından . Erişim tarihi: 17 Mart 2023.
- ^ . Ars Technica (İngilizce). 7 Mart 2023. 7 Mart 2023 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.
- ^ Lardinois, Frederic (10 Mayıs 2023). . TechCrunch. 10 Mayıs 2023 tarihinde kaynağından arşivlendi. Erişim tarihi: 10 Mayıs 2023.
- ^ Elias, Jennifer (16 Mayıs 2023). . CNBC. 16 Mayıs 2023 tarihinde kaynağından arşivlendi. Erişim tarihi: 18 Mayıs 2023.
- ^ . www.deepmind.com (İngilizce). 13 Nisan 2022 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.
wikipedia, wiki, viki, vikipedia, oku, kitap, kütüphane, kütübhane, ara, ara bul, bul, herşey, ne arasanız burada,hikayeler, makale, kitaplar, öğren, wiki, bilgi, tarih, yukle, izle, telefon için, turk, türk, türkçe, turkce, nasıl yapılır, ne demek, nasıl, yapmak, yapılır, indir, ücretsiz, ücretsiz indir, bedava, bedava indir, mp3, video, mp4, 3gp, jpg, jpeg, gif, png, resim, müzik, şarkı, film, film, oyun, oyunlar, mobil, cep telefonu, telefon, android, ios, apple, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, pc, web, computer, bilgisayar
PaLM Pathways Language Model Google AI tarafindan gelistirilen 540 milyar parametreli donusturucu tabanli buyuk bir dil modelidir Arastirmacilar ayrica model olceginin etkilerini test etmek icin PaLM in daha kucuk surumlerini 8 ve 62 milyar parametreli modellerini de yaptilar PaLMGelistirici ler Google AIErisilebilirlikIngilizceTurGenis dil modeliResmi sitesiai wbr google wbr discover wbr palm2 wbr PaLM sagduyulu akil yurutme aritmetik akil yurutme saka aciklamasi kod olusturma ve ceviri dahil olmak uzere cesitli gorevleri yerine getirebilir Dusunce zinciri yonlendirmesiyle birlestirildiginde PaLM kelime problemleri ve mantiga dayali sorular gibi birden cok adimin akil yurutmesini gerektiren veri kumelerinde onemli oranda iyi performans elde etti Model ilk olarak Nisan 2022 de duyuruldu ve Google in PaLM ve diger bazi teknolojiler icin bir API baslattigi Mart 2023 e kadar gizli kaldi API halka acilmadan once bekleme listesine katilan sinirli sayida gelistirici tarafindan kullanilabilecek Google ve DeepMind PaLM 540B nin Med PaLM adli tibbi veriler uzerinde ince ayari yapilmis ve tibbi soru yanitlama kapasitesinde onceki modellerden daha iyi performans gosteren bir surum gelistirdi Med PaLM ABD tibbi ruhsatlandirma sorularindan gecer puan alan ilk programdir ve hem coktan secmeli hem de acik uclu sorulari dogru yanitlamanin yani sira muhakeme saglar ve kendi yanitlarini degerlendirebilir Google ayrica goruntu donusturucu kullanarak robotik manipulasyon icin kullanilabilecek son teknoloji bir goruntu dili modeli olan PaLM E yi olusturdu Model yeniden egitime veya ince ayara ihtiyac duymadan robotikteki gorevleri rekabetci bir sekilde gerceklestirebilir Mayis 2023 te Google yillik Google I O acilis konusmasinda PaLM 2 yi duyurdu PaLM 2 nin 3 6 trilyon token uzerinde egitilmis 340 milyar parametreli bir model oldugu bildirildi EgitimPaLM cesitli dogal dil gorevlerini ve kullanim durumlarini iceren 780 milyar belirteclik yuksek kaliteli bir kulliyat uzerinde onceden egitilmistir Bu veri kumesi filtrelenmis web sayfalarini kitaplari Wikipedia makalelerini haber makalelerini GitHub daki acik kaynak havuzlarindan elde edilen kaynak kodlarini ve sosyal medya konusmalarini icerir Google in LaMDA modelini egitmek icin kullanilan veri kumesini temel alir PaLM 540B bugune kadar aciklanan en buyuk yapilandirmasi olan bir model ve veri paralelligi kombinasyonu kullanilarak baglanan 768 ana bilgisayara bagli her bolmede 3 072 TPU v4 yongasi bulunan iki TPU v4 Bolmesi uzerinde egitildi Toplam 6 144 cip kullanarak ve 57 8 lik bir donanim FLOP kullanimi saglayarak bu olcekte LLM ler icin elde edilen en yuksek egitim verimliligi rekorunu kirdi Kaynakca a b c Narang Sharan Chowdhery Aakanksha Pathways Language Model PaLM Scaling to 540 Billion Parameters for Breakthrough Performance ai googleblog com Ingilizce 4 Nisan 2022 tarihinde kaynagindan Erisim tarihi 17 Mart 2023 a b c d e Chowdhery Aakanksha Narang Sharan Devlin Jacob ve digerleri 2022 PaLM Scaling Language Modeling with Pathways arXiv 2204 02311 2 a b VentureBeat 12 Nisan 2022 21 Eylul 2022 tarihinde kaynagindan arsivlendi Erisim tarihi 17 Mart 2023 THE DECODER 5 Nisan 2022 19 Ekim 2022 tarihinde kaynagindan arsivlendi Erisim tarihi 17 Mart 2023 seekingalpha com Ingilizce 12 Aralik 2022 12 Aralik 2022 tarihinde kaynagindan arsivlendi Erisim tarihi 17 Mart 2023 The Verge 14 Mart 2023 14 Mart 2023 tarihinde kaynagindan arsivlendi Erisim tarihi 17 Mart 2023 Ingilizce 14 Mart 2023 tarihinde kaynagindan arsivlendi Erisim tarihi 17 Mart 2023 Singhal Karan Azizi Shekoofeh Tu Tao ve digerleri 2022 Large Language Models Encode Clinical Knowledge arXiv 2212 13138 2 The Medical Futurist 17 Ocak 2023 17 Ocak 2023 tarihinde kaynagindan arsivlendi Erisim tarihi 17 Mart 2023 Google Ingilizce 14 Mart 2023 14 Mart 2023 tarihinde kaynagindan arsivlendi Erisim tarihi 17 Mart 2023 Driess Danny Xia Fei Sajjadi Mehdi S M ve digerleri 2023 PaLM E An Embodied Multimodal Language Model arXiv 2303 03378 2 Driess Danny Florence Pete PaLM E An embodied multimodal language model ai googleblog com Ingilizce 10 Mart 2023 tarihinde kaynagindan Erisim tarihi 17 Mart 2023 Ars Technica Ingilizce 7 Mart 2023 7 Mart 2023 tarihinde kaynagindan arsivlendi Erisim tarihi 17 Mart 2023 Lardinois Frederic 10 Mayis 2023 TechCrunch 10 Mayis 2023 tarihinde kaynagindan arsivlendi Erisim tarihi 10 Mayis 2023 Elias Jennifer 16 Mayis 2023 CNBC 16 Mayis 2023 tarihinde kaynagindan arsivlendi Erisim tarihi 18 Mayis 2023 www deepmind com Ingilizce 13 Nisan 2022 tarihinde kaynagindan arsivlendi Erisim tarihi 17 Mart 2023