Azərbaycanca
Беларускі
Dansk
Deutsch
Española
Français
Indonesia
Italiana
日本語
Қазақ
Lietuvos
Nederlands
Português
Русский
සිංහල
แบบไทย
Türkçe
Українська
中國人
United State
Afrikaans
Bu maddede bulunmasına karşın yetersizliği nedeniyle bazı bilgilerin hangi kaynaktan alındığı belirsizdir. (Ekim 2021) () |
Doğal Dil İşleme, yaygın olarak NLP (Natural Language Processing) olarak bilinen yapay zekâ ve dilbilim alt kategorisidir. Türkçe, İngilizce, Almanca, Fransızca gibi doğal dillerin işlenmesi ve kullanılması amacı ile araştırma yapan bilim dalıdır.
Uzman Sistemler ve Doğal Dil İşleme
NLP yani Doğal Dil İşleme, doğal dillerin kurallı yapısının çözümlenerek anlaşılması veya yeniden üretilmesi amacını taşır.Bu çözümlemenin insana getireceği kolaylıklar, yazılı dokümanların otomatik çevrilmesi, soru-cevap makineleri, otomatik konuşma ve komut anlama, konuşma sentezi, konuşma üretme, otomatik metin özetleme, bilgi sağlama gibi birçok başlıkla özetlenebilir. Bilgisayar teknolojisinin yaygın kullanımı, bu başlıklardan üretilen uzman yazılımların gündelik hayatımızın her alanına girmesini sağlamıştır. Örneğin, tüm kelime işlem yazılımları birer imlâ düzeltme aracı taşır. Bu araçlar aslında yazılan metni çözümleyerek dil kurallarını denetleyen doğal dil işleme yazılımlarıdır.
Batı dillerinde SAPI (Microsoft şirketinin konuşma sentezleyici üretmek amacı ile satışa sunduğu geliştirici program) tabanlı Konuşma sentezleyici bileşenleri, yazılımcıların multimedia (çoklu ortam) sunuları hazırlamaları için hizmete sunulmuştur.
Konuşma ve komut anlama yazılımları ise gelecekte insan ve bilgisayar arasındaki klavye, fare gibi veri girişi aygıtlarını ortadan kaldıracak yazılımlardır. Bu gelişmeler makine-insan iletişiminde yeni ve devrimci değişimlere yol açacak ve bilgisayarların daha çok insan tarafından kabul görmesine yol açacaktır.
Yapay Zekâ ve Doğal Dil İşleme
Gelecekte, konuşma sentezleyiciler ve alanındaki gelişmeler ve makine-insan iletişiminin gelişmesi, insanın makineden beklentilerini yükseltecektir. İnsanlar makinelerin kendisini anlamalarını isteyecek, karmaşık kullanımı olan makineler pazar bulamayacaktır. Giderek gelişen ve insanı anlayan makinelerin daha zeki olması insanın yaşam kalitesini yükselteceğinden, vazgeçilmez olması kaçınılmazdır. Zeki makine kavramı, yapay zekâ çalışmalarının hızlanmasına yol açmıştır. Geleceğin en önemli sektörlerinden biri olan yapay zekâ ile insanın iletişim kuracağı tek araç dildir.
Dil, insanoğlunun uygarlaşmasını sağlamakla kalmamış, onun zekâsının doğada daha önce görülmemiş şekilde parlamasını sağlamıştır.Kültür dediğimiz insanlık birikimi, dil kullanan ve iletişim kuran insanın sosyalleşme sürecinin ürünüdür.
Dilin Matematik Modeli
Dilin işlenmek üzere çözümlenebilmesi için, matematik modelinin oluşturulması gerekmekteydi.
Genişletilmiş Geçiş Ağları
ATN Genişletilmiş Geçiş Ağları (Augmented Transition Network), tarafından 1970 ve 1973 yılları arasında geliştirilmiş bir yaklaşımdır.
Genişletilmiş geçiş ağları (GGA) üç bileşenden oluşur:
- En az başlangıç ve son (/s) durumları olan sonlu sayıdaki durumlar kümesi,
- Belli bir metindeki mümkün olan harflerden oluşan alfabe (e),
- Sonlu sayıdaki bir durumdan diğer bir duruma geçişi sağlayacak geçişler kümesi.
Genişletilmiş geçiş ağlarında, bir durumdan diğer bir duruma geçmek için gerekli harf okunur ve bu harf geçilecek olan duruma geçmek için gereken harfle karşılaştırılır; uygun ise diğer duruma geçilir. Geçiş ağlarında doğru bir yol, bir başlangıç durumundan başlayıp, son duruma ulaşan geçişler sağlandığında tamamlanır. Harflerin birbirine eklenmesiyle oluşan metin, ağın kabul etmesi için verilen metin ise, bu metin ağ tarafından kabul edilmiş demektir.
Yanda: "Bal" metnini kabul eden Genişletilmiş Geçiş Ağı.
Fonetik ve fonoloji
Fonetik, konuşulurken, dil, gırtlak, ses telleri, damak, dişler ve dudaklar ile çıkarılan sesleri ve bu seslerin dil ile olan ilişkilerini tanımlamak için kullanılan bir terimdir.Doğal dillerde anlam ayırıcı olarak kullanılan en küçük ses fondur (phon) dur. Fonetik terimi bu kökten gelmektedir.
Fon kavramı evrensel değildir ve her dilde farklı seslere kaşılık gelir. Farklı dillerdeki fonların tek ortak özelliği ayırıcı temel sesler olmalarıdır.Sesle ifade edilen dili, yani konuşmayı kaydetmek için yazı icad edilmişti.Konuşmayı yazı ile ifade etmek için ses birim veya fonları harflerle eşleştirmek gerekmekteydi. Bazı dillerde, örneğin Türkçe, Fince ve Japoncada, sesbirimler doğrudan harflere karşılık gelmektedir. Bu tip dillere fonetik diller denir.İngilizce, Almanca, Fransızca gibi dillerde ise Fonlar harflere kaşılık gelmezler.Bu yaklaşımın yerine uluslararası olarak geçerliliği olan fonetik bir alfabe ses birimleri ifade etmek için kullanılır. Ses birimlerin simgesel olarak ifade edilmesi sonucu olusan simgeler fonem (phoneme) olarak adlandırılır. Bir başka deyişle aslında fonemlerin seslendirilmesiyle ses birimler (phon) oluşur.
Dildeki ses birimler belirlenirken iki yaklaşım kullanılır.Bunlar,
- Parçalı sesbirimler (segmental) ve,
- Parçalarüstü ses birimler (supra-segmental, prosodic) dir.
Dilin morfolojisi
Dil bilime terim olarak 1859 yılında August Schleicher tarafından kazandırılan morfoloji, dilde biçimi oluşturan ögelerin türlerini tanımlamak ve özetle dil bilgisi kuralları denen biçimsel ögelerin sınıflandırmasını yapmaktır.
Morfolojik çözümlemede analitik yaklaşımlar
Doğal dil işleme çalışmalarında anlam bütünsel çözümleme yapabilmek için, bazı yaklaşımlar belirmiştir. Bu yaklaşımlar aşağıdaki süreçlerden oluşur.
Sözdizimsel (sentaktik) analiz
Sözdizimsel analiz, sözdizimini (syntax) veya cümleyi oluşturan morfolojik ögelerin hiyerarşik kurallara uyumunu karşılaştırarak ölçümlemektir. Böylece söz dizimin anlamlı olup olmadığının ölçülebilmesi için düzenleyici bir süreç gerçekleşmiş olur.
Türkçede cümleler en genel şekliyle özne, nesne ve yüklem bileşenlerinden oluşur. Cümleye eklenmek istenen anlamlar arttıkça cümleler, özne, yer tamlayıcısı, zarf tamlayıcısı, nesne ve yüklem gibi bileşenleri içerir.Ayrıca cümlenin anlamını kuvvetlendiren cümle dışı bileşenler de (bağlaç, edat, vb) cümlede bulunabilir.Bunlara örnek olarak "ile, için, ama, çünkü" kelimeleri verilebilir. Türkçede özne ile yüklem cümlenin temel bileşenleridir ve genelde tüm cümlelerde yer alırlar. Yer tamlayıcısı, zarf tamlayıcısı, nesne gibi bileşenler bazı cümlelerde yer almayabilirler veya bazı cümlelerde sadece biri, bazılarında sadece ikisi bulunabilir. Bu bileşenlerin cümle içindeki sıralanışları da değişebilir.
Bilgisayarla doğal dilin modellenmesinde anlamsal analizden önce kelimelerden oluşturulan yapının cümle olup olmadığının test edilmesi faydalıdır.Bu işlem sentaktik eşleştirme işleminde anlamsız eşleşmelerin önlenmesine faydalı olur.
Yandaki Şekil : Sözdizimsel Analiz.
Simgeler: Ö: özne, D: dolaylı tümleç, Z: zarf tümleci, N: nesne, Y: yüklem, İG: isim grubu, SG: sıfat grubu, İN: isim nesnesi, SN: sıfat nesnesi, DZ: diğer zarflar, S: sıfat, İ: isim, ZB: zaman belirteçleri, T: tamlayan, TN: tamlanan, ZM: zamir, NE: nesne eki, TE: tamlayan eki, TNE: tamlanan eki, KE: kip eki, ZE: zaman eki, DE: dolaylı tümleç eki, EF: ek fiil
Anlambilimsel (semantik) analiz
Anlambilimsel analiz, sözdizimini oluşturan morfolojik ögelerin ayrılması, yani sözdizimsel analiz ile anlam taşıyan kelimelerin sınıflandırılması işleminden sonra gelen anlamlandırma veya anlama sürecidir.Bu süreçte anlam taşıyan kelimelerin, ekler ve cümle hiyerarşisi içindeki konumlarının saptanması sayesinde birbirleri ile ilişkileri kurulabilir. Bu ilişkiler anlam çıkarma, fikir yürütme gibi ileri seviye bilişsel fonksiyonların oluşturulmasında ham bilgi olarak kullanılacaktır.
Yapay konuşma
Morfolojik çözümleme aşamalarından sonra sözdizimsel kurgu veya yapay konuşma süreci ile yapay zekâ ya veya uzman sistemlere iletişim becerisi kazandırılacaktır. Sözdizimsel çözümlemenin tersi süreçlerden oluşan birleştirme sürecinde, önceki süreçlerde ele geçen bilgi yine morfolojik kurallar dahilinde birleştirilir.
Ayrıca bakınız
Kaynakça
- Vasif Nabiyev - Yapay Zekâ: Problemler, Yöntemler, Algoritmalar, 764 say., Seçkin, Ankara, 2005
- Devrim Çamoğlu - Projesi araştırma tezleri.
- Ünal Çakıroğlu - (KTU) Şekiller, Sözdizimsel Analiz ve matematik model bölümü
Dış bağlantılar
- İTÜ Doğal Dil İşleme Takımı 23 Ekim 2020 tarihinde Wayback Machine sitesinde .
- Stanford Üniversitesi Doğal Dil İşleme Öbeği 29 Kasım 2005 tarihinde Wayback Machine sitesinde .
- CLAC: Computational Linguistics At Concordia 4 Aralık 2005 tarihinde Wayback Machine sitesinde .
- Cognitive Science Society of Trakya (CSST) 10 Mart 2012 tarihinde Wayback Machine sitesinde .
wikipedia, wiki, viki, vikipedia, oku, kitap, kütüphane, kütübhane, ara, ara bul, bul, herşey, ne arasanız burada,hikayeler, makale, kitaplar, öğren, wiki, bilgi, tarih, yukle, izle, telefon için, turk, türk, türkçe, turkce, nasıl yapılır, ne demek, nasıl, yapmak, yapılır, indir, ücretsiz, ücretsiz indir, bedava, bedava indir, mp3, video, mp4, 3gp, jpg, jpeg, gif, png, resim, müzik, şarkı, film, film, oyun, oyunlar, mobil, cep telefonu, telefon, android, ios, apple, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, pc, web, computer, bilgisayar
Bu maddede kaynak listesi bulunmasina karsin metin ici kaynaklarin yetersizligi nedeniyle bazi bilgilerin hangi kaynaktan alindigi belirsizdir Lutfen kaynaklari uygun bicimde metin icine yerlestirerek maddenin gelistirilmesine yardimci olun Ekim 2021 Bu sablonun nasil ve ne zaman kaldirilmasi gerektigini ogrenin Dogal Dil Isleme yaygin olarak NLP Natural Language Processing olarak bilinen yapay zeka ve dilbilim alt kategorisidir Turkce Ingilizce Almanca Fransizca gibi dogal dillerin islenmesi ve kullanilmasi amaci ile arastirma yapan bilim dalidir Bir web sayfasinda musteri hizmetleri saglayan otomatik sanal asistan dogal dil islemenin bir ornegidir Uzman Sistemler ve Dogal Dil Isleme NLP yani Dogal Dil Isleme dogal dillerin kuralli yapisinin cozumlenerek anlasilmasi veya yeniden uretilmesi amacini tasir Bu cozumlemenin insana getirecegi kolayliklar yazili dokumanlarin otomatik cevrilmesi soru cevap makineleri otomatik konusma ve komut anlama konusma sentezi konusma uretme otomatik metin ozetleme bilgi saglama gibi bircok baslikla ozetlenebilir Bilgisayar teknolojisinin yaygin kullanimi bu basliklardan uretilen uzman yazilimlarin gundelik hayatimizin her alanina girmesini saglamistir Ornegin tum kelime islem yazilimlari birer imla duzeltme araci tasir Bu araclar aslinda yazilan metni cozumleyerek dil kurallarini denetleyen dogal dil isleme yazilimlaridir Bati dillerinde SAPI Microsoft sirketinin konusma sentezleyici uretmek amaci ile satisa sundugu gelistirici program tabanli Konusma sentezleyici bilesenleri yazilimcilarin multimedia coklu ortam sunulari hazirlamalari icin hizmete sunulmustur Konusma ve komut anlama yazilimlari ise gelecekte insan ve bilgisayar arasindaki klavye fare gibi veri girisi aygitlarini ortadan kaldiracak yazilimlardir Bu gelismeler makine insan iletisiminde yeni ve devrimci degisimlere yol acacak ve bilgisayarlarin daha cok insan tarafindan kabul gormesine yol acacaktir Yapay Zeka ve Dogal Dil Isleme Gelecekte konusma sentezleyiciler ve alanindaki gelismeler ve makine insan iletisiminin gelismesi insanin makineden beklentilerini yukseltecektir Insanlar makinelerin kendisini anlamalarini isteyecek karmasik kullanimi olan makineler pazar bulamayacaktir Giderek gelisen ve insani anlayan makinelerin daha zeki olmasi insanin yasam kalitesini yukselteceginden vazgecilmez olmasi kacinilmazdir Zeki makine kavrami yapay zeka calismalarinin hizlanmasina yol acmistir Gelecegin en onemli sektorlerinden biri olan yapay zeka ile insanin iletisim kuracagi tek arac dildir Dil insanoglunun uygarlasmasini saglamakla kalmamis onun zekasinin dogada daha once gorulmemis sekilde parlamasini saglamistir Kultur dedigimiz insanlik birikimi dil kullanan ve iletisim kuran insanin sosyallesme surecinin urunudur Dilin Matematik ModeliDilin islenmek uzere cozumlenebilmesi icin matematik modelinin olusturulmasi gerekmekteydi Genisletilmis Gecis Aglari ATN Genisletilmis Gecis Aglari Augmented Transition Network tarafindan 1970 ve 1973 yillari arasinda gelistirilmis bir yaklasimdir Genisletilmis gecis aglari GGA uc bilesenden olusur En az baslangic ve son s durumlari olan sonlu sayidaki durumlar kumesi Belli bir metindeki mumkun olan harflerden olusan alfabe e Sonlu sayidaki bir durumdan diger bir duruma gecisi saglayacak gecisler kumesi Genisletilmis gecis aglarinda bir durumdan diger bir duruma gecmek icin gerekli harf okunur ve bu harf gecilecek olan duruma gecmek icin gereken harfle karsilastirilir uygun ise diger duruma gecilir Gecis aglarinda dogru bir yol bir baslangic durumundan baslayip son duruma ulasan gecisler saglandiginda tamamlanir Harflerin birbirine eklenmesiyle olusan metin agin kabul etmesi icin verilen metin ise bu metin ag tarafindan kabul edilmis demektir Yanda Bal metnini kabul eden Genisletilmis Gecis Agi Fonetik ve fonolojiFonetik konusulurken dil girtlak ses telleri damak disler ve dudaklar ile cikarilan sesleri ve bu seslerin dil ile olan iliskilerini tanimlamak icin kullanilan bir terimdir Dogal dillerde anlam ayirici olarak kullanilan en kucuk ses fondur phon dur Fonetik terimi bu kokten gelmektedir Fon kavrami evrensel degildir ve her dilde farkli seslere kasilik gelir Farkli dillerdeki fonlarin tek ortak ozelligi ayirici temel sesler olmalaridir Sesle ifade edilen dili yani konusmayi kaydetmek icin yazi icad edilmisti Konusmayi yazi ile ifade etmek icin ses birim veya fonlari harflerle eslestirmek gerekmekteydi Bazi dillerde ornegin Turkce Fince ve Japoncada sesbirimler dogrudan harflere karsilik gelmektedir Bu tip dillere fonetik diller denir Ingilizce Almanca Fransizca gibi dillerde ise Fonlar harflere kasilik gelmezler Bu yaklasimin yerine uluslararasi olarak gecerliligi olan fonetik bir alfabe ses birimleri ifade etmek icin kullanilir Ses birimlerin simgesel olarak ifade edilmesi sonucu olusan simgeler fonem phoneme olarak adlandirilir Bir baska deyisle aslinda fonemlerin seslendirilmesiyle ses birimler phon olusur Dildeki ses birimler belirlenirken iki yaklasim kullanilir Bunlar Parcali sesbirimler segmental ve Parcalarustu ses birimler supra segmental prosodic dir Dilin morfolojisiDil bilime terim olarak 1859 yilinda August Schleicher tarafindan kazandirilan morfoloji dilde bicimi olusturan ogelerin turlerini tanimlamak ve ozetle dil bilgisi kurallari denen bicimsel ogelerin siniflandirmasini yapmaktir Morfolojik cozumlemede analitik yaklasimlar Dogal dil isleme calismalarinda anlam butunsel cozumleme yapabilmek icin bazi yaklasimlar belirmistir Bu yaklasimlar asagidaki sureclerden olusur Sozdizimsel sentaktik analiz Sozdizimsel analiz sozdizimini syntax veya cumleyi olusturan morfolojik ogelerin hiyerarsik kurallara uyumunu karsilastirarak olcumlemektir Boylece soz dizimin anlamli olup olmadiginin olculebilmesi icin duzenleyici bir surec gerceklesmis olur Turkcede cumleler en genel sekliyle ozne nesne ve yuklem bilesenlerinden olusur Cumleye eklenmek istenen anlamlar arttikca cumleler ozne yer tamlayicisi zarf tamlayicisi nesne ve yuklem gibi bilesenleri icerir Ayrica cumlenin anlamini kuvvetlendiren cumle disi bilesenler de baglac edat vb cumlede bulunabilir Bunlara ornek olarak ile icin ama cunku kelimeleri verilebilir Turkcede ozne ile yuklem cumlenin temel bilesenleridir ve genelde tum cumlelerde yer alirlar Yer tamlayicisi zarf tamlayicisi nesne gibi bilesenler bazi cumlelerde yer almayabilirler veya bazi cumlelerde sadece biri bazilarinda sadece ikisi bulunabilir Bu bilesenlerin cumle icindeki siralanislari da degisebilir Bilgisayarla dogal dilin modellenmesinde anlamsal analizden once kelimelerden olusturulan yapinin cumle olup olmadiginin test edilmesi faydalidir Bu islem sentaktik eslestirme isleminde anlamsiz eslesmelerin onlenmesine faydali olur Yandaki Sekil Sozdizimsel Analiz Simgeler O ozne D dolayli tumlec Z zarf tumleci N nesne Y yuklem IG isim grubu SG sifat grubu IN isim nesnesi SN sifat nesnesi DZ diger zarflar S sifat I isim ZB zaman belirtecleri T tamlayan TN tamlanan ZM zamir NE nesne eki TE tamlayan eki TNE tamlanan eki KE kip eki ZE zaman eki DE dolayli tumlec eki EF ek fiil Anlambilimsel semantik analiz Anlambilimsel analiz sozdizimini olusturan morfolojik ogelerin ayrilmasi yani sozdizimsel analiz ile anlam tasiyan kelimelerin siniflandirilmasi isleminden sonra gelen anlamlandirma veya anlama surecidir Bu surecte anlam tasiyan kelimelerin ekler ve cumle hiyerarsisi icindeki konumlarinin saptanmasi sayesinde birbirleri ile iliskileri kurulabilir Bu iliskiler anlam cikarma fikir yurutme gibi ileri seviye bilissel fonksiyonlarin olusturulmasinda ham bilgi olarak kullanilacaktir Yapay konusmaMorfolojik cozumleme asamalarindan sonra sozdizimsel kurgu veya yapay konusma sureci ile yapay zeka ya veya uzman sistemlere iletisim becerisi kazandirilacaktir Sozdizimsel cozumlemenin tersi sureclerden olusan birlestirme surecinde onceki sureclerde ele gecen bilgi yine morfolojik kurallar dahilinde birlestirilir Ayrica bakinizDogal dil uretmeKaynakcaVasif Nabiyev Yapay Zeka Problemler Yontemler Algoritmalar 764 say Seckin Ankara 2005 Devrim Camoglu Projesi arastirma tezleri Unal Cakiroglu KTU Sekiller Sozdizimsel Analiz ve matematik model bolumuDis baglantilarITU Dogal Dil Isleme Takimi 23 Ekim 2020 tarihinde Wayback Machine sitesinde Stanford Universitesi Dogal Dil Isleme Obegi 29 Kasim 2005 tarihinde Wayback Machine sitesinde CLAC Computational Linguistics At Concordia 4 Aralik 2005 tarihinde Wayback Machine sitesinde Cognitive Science Society of Trakya CSST 10 Mart 2012 tarihinde Wayback Machine sitesinde