Search

Bu makalede, eşanlatımlı cümle çiftlerinin belirlenmesindeki belirsizlik problemi üzerinde durulmuştur. Eşanlatım cümleleri basitçe aynı olay ve/veya fikri farklı sözcük veya sözcüklerin farklı dizilişleri ile ifade eden cümle çiftleri/kümeleridir. Çalışmada eşanlatım tespitinde eminlik faktörü (EF) modelinin kullanılması önerilmiştir. EF modelinde kullanılmak üzere filtreleme yöntemi ile eşanlatım tespitinde başarılı olan öznitelikler (jenerik ve uzaklık tabanlı öznitelikler) belirlenmiş ve bu öznitelikler kümesi EF modelinde deliller olarak kullanılmıştır. EF modeli Microsoft Eşanlatım derlemi üzerinde F1 ve doğruluk ölçekleri ile sınanmıştır. Yöntemin başarımı Bayes karar verme yaklaşımı ile kıyaslanmıştır. Deney sonuçları EF modelinin eşanlatım tespitinde Bayes modeline bir alternatif yöntem olduğunu göstermiştir., In this paper, we address the problem of uncertainty management in identification of paraphrase sentence pairs. Paraphrase sentences are simply sets/pairs of sentences that express the same facts and/or opinions using different words or order of words. We propose the use of certainty factor (CF) model in paraphrase detection. A set of succeeding paraphrase detection features (generic and distance based features) is built by filtering and this set is used as evidences in CF model. The CF model is evaluated by F1 and accuracy measures on Microsoft Research Paraphrase corpus. The results are compared to the well-known Bayesian reasoning. The experimental results showed that CF model is an alternating paraphrase detection method to Bayes model.

Metinler bilginin dil vasıtasıyla yazılı biçimde aktarımını ve saklanmasını sağlayan araçlardır. Bu tezde metnin taşıdığı anlamın, aktarmak istediği enformasyonun tespiti çalışmalarını destekleyen iki temel analiz çalışması sunulmaktadır: işlev kelimelerin ve eşdizimlerin tespiti.İşlev kelimeler metnin anlam bütünlüğüne katkısı olmayan ya da çok az olan kelimelerdir. Bu kelimeler sıklıkla gözlenmeleri sebebiyle metinde azımsanamayacak büyüklükte bir yer işgal ederler. Tez kapsamında işlev kelimelerin tespiti için dile ait farklı özelliklerin bir arada değerlendirilebileceği istatistiksel bir yöntem olan diskriminant analizinin kullanılması önerilmiştir. Önerilen yöntem Türkçe metinler üzerinde sınanmış ve sıklıkla kullanılan gözlenme sıklığı ve tf-idf gibi mevcut yöntemlerden daha başarılı sonuçlar ürettiği gösterilmiştir.Eşdizimler anlam bütünlüklerini tamamlamak veya güçlendirmek amacıyla birarada bulunan kelimelerin oluşturduğu kelime birlikleridir. Eşdizim oluşturan kelimelerin birbirlerini anımsattığı temelinden yola çıkarak tez kapsamında eşdizim eğilimi yöntemi geliştirilmiştir. Öncelikle literatürde yer alan bazı yöntemler Türkçe derlemler üzerinde uygulanmış ve gövdelemenin etkisi araştırılmıştır. Daha sonra önerilen yöntem mevcut yöntemlerin ürettiği temel veri kümesine tatbik edilerek, bu yöntemlerin duyarlılık ve anma değerlerindeki değişim incelenmiştir. Eşdizim eğilimi yönteminin tüm yöntemleri iyileştirdiği gözlenmiştir. Texts are language tools to transfer and store information in written form. In this thesis, two analysis methods: function word detection and collocation extraction which support the studies in extraction of meaning and measuring the amount of information are presented.Function words, playing grammatical roles, appear in high frequencies and rarely contribute to the meaning of the text. In this thesis, a statistical method, discriminant analysis, which merges several linguistic features, is proposed to discriminate function words. The proposed method is utilized on Turkish texts. The results show that the method brings a significant improvement in distinction compared to well known frequency of occurrence and tf-idf methods.Collocations are the groups of words which collocate to complete or enforce their meaning integrity. In this thesis, collocative tendency method which states that any word in a collocation must suggest or at least imply the following words composing the collocation is presented. Firstly, current collocation extraction methods are utilized on a Turkish corpora and the effect of stemming is investigated. Following, the proposed method is tested on a base data set extracted by some statistical techniques and it is evaluated by precision and recall measures. It is found that collocation tendency method gives a remarkable improvement in current techniques of collocation extraction. 99

Çok sözcüklü ifadeler iki ve ya daha fazla sözcüğün geleneksel olarak dilde bir araya geldiği ifadelerdir. Çok sözcüklü ifadelerin çoğunda, kelimeler yeni bir anlam oluşturmak için bir araya gelirken kendi anlamlarını kaybederler. Son yapılan doğal dil işleme çalışmalarında, kelimelerin/kelime kombinasyonlarının anlamı sözcük temsilleri ile ifade edilir. Bu yaklaşımda,komşu sözcüklerin verilen hedef kelime ile ilgili bilgiyi taşıdığı kabul edilir.Bu tez çalışmasının amacı, Türkçe'de çok sözcüklü ifadelerin tespitinde sözcük temsillerinin kullanımını araştırmaktır. Kelimeler çok sözcüklü ifadeler oluşturmak için bir araya geldiğinde vektör temsillerinde anlam değişikliği ya da kaybı olduğu kabul edilir.Bu tezde, çok sözcüklü ifade adaylarının ve adayları oluşturan sözcüklerin sözcük temsil vektörleri (gövde ve yüzeysel form) beş farklı temsil yöntemi ile oluşturulmuştur. Çok sözcüklü ifade adaylarının vektör temsili on farklı sınıflandırıcıya girdi olarak verilmiştir. Sınıflandırma performansı 5-katlı çapraz doğrulama yöntemiyle F1-skoru kullanılarak ölçülmüştür. Deneylerde gövdelemenin çok sözcüklü ifade çıkarımında performansı geliştirmediği görülmüştür. Bununla beraber, çok sözcüklü ifade tespiti deneylerinde diğer yöntemlerden sürekli olarak üstün olan bir sınıflandırma yöntemi olmadığı gözlenmiştir. Multiword expressions (MWE) are statements in which two or more words are combined traditionally in language. In most of multiword expressions, words combine losing/changing their own meanings in order to create a new one. In recent natural language processing studies, the meanings/senses of the words/word combinations are expressed by word vector representations (word embeddings). In vector representation, it is assumed that the neighbouring words hold the information regarding to the given target word in language.The aim of this thesis is to explore the use of word representations in multiword expression detection in Turkish. We assumed that as the words combine to build up an MWE, they modify or lose their meanings resulting with a change in the vector representation.In this thesis, word vectors of MWE candidates (both stemmed and surface forms)and composing words are built up by five different representation methods. The vector representation of MWE candidates are given as inputs to ten different types of classifiers. The classification performance is measured by F1 score with 5-fold cross validation. The experimental results showed that stemming does not improve the performance of MWE extraction when vector representations are used. In addition, it is observed that there exists no classification method that outperforms the others continuously in MWE detection experiments. 55

Dilde, bir sözcüğün sürekli tekrar eden kullanımını önlemek için, ilgili sözcüğe atıfta bulunan bir zamir veya isim öbeği kullanılır. Bu gibi durumlarda, atıfta bulunulan sözcük öncül, atıf eden zamir veya isim öbeği ise anafor olarak adlandırılır. Önceki ve/veya sonraki atıfların çözümlenmesi bir diğer deyişle öncül ve anafor arası ilişkinin ortaya çıkartılması işlemi anafor çözümlemesidir.Anafor çözümlemesi, makine çevirisi, metin özetleme, bilgi çıkarımı ve soru cevaplama sistemleri gibi birtakım farklı doğal dil işleme uygulamalarında kullanılır.Bu tez çalışmasında, anafor çözümlemesi problemi zamir çözümlemesine indirgenerek Türkçe zamirlerin çözümlenmesinde derin öğrenme ağlarının başarımı incelenmiştir. Tez kapsamında, derin çok katmanlı algılayıcı ve derin konvolüsyonel sinir ağlarına 12 öznitelik girdi olarak verilerek pek çok farklı konfigürasyonda bu ağlar gerçeklenmiştir. Türkçe çocuk hikayelerinden derlenen 593 adet doğru örnek çifti (öncül – zamir) içeren bir veri seti oluşturulmuştur. Türkçe zamir çözümlemesinde en yüksek başarımın, her katmanda çok sayıda nöron içeren ve orta sayıda (10) katmana sahip çok katmanlı algılayıcı ağ ile elde edildiği görülmüştür. In language, in order to prevent the repetitive use of an individual item, a referring pronoun or a noun phrase is employed instead. In such cases, the referred item is known as antecedent and the referring pronoun/noun phrase is named as anaphor. The problem of resolving references to earlier or later items, in order words the process of identifying relation between antecedent and anaphora is the anaphora resolution. Anaphora resolution is used practically in a number of different natural language processing applications such as machine translation, text summarization, information extraction and question answering systems.In this thesis, the task of anaphora resolution is simplified to pronoun resolution where only pronominal anaphora resolution is considered. We analyzed the performance of deep learning networks in Turkish pronoun resolution employing 12 features. Multilayer perceptron and convolutional neural networks are implemented with a number of different configurations. A data set of 593 positive samples (antecedent- anaphora pairs) is prepared from a collection of 10 child stories in Turkish. The experimental results showed that the highest performance in Turkish pronoun resolution is obtained by multilayer perceptron neural network with a medium number (10) of layers that employ too many neurons gives. 115

Çok sözcüklü ifade, doğal dillerde, sözcüklerin anlam bütünlüğü oluşturmaküzere tekrarlayan kombinasyonlarıdır. Metinlerden çok sözcüklü ifadelerin belirlenmesi bir çok doğal dil işleme uygulamaları ( Doğal dil üretme, hesaplamalı sözlükbilim, makine çevirileri vb.) için çok önemli bir konudur. çoksözcüklü ifadelerin belirlenmesi için gözlenme sıklığı bağımlı yöntemler ( Bileşikolasılık (joint probability), noktasal karşılıklı bilgi katsayısı (pointwise mutualinformation), karşılıklı bağlılık (mutual dependency) v.b) sıklıkla kullanılır. Buyöntemlerin en büyük dezavantajı, çok sözcüklü ifadelerin belirlenmesinin performansının frekansın ölçüldüğü veri kaynağının büyüklüğüne bağlı olmasıdır. Butezin amacı, küçük veri setlerinin yarattığı problemlerin önüne geçmek için bilinenen büyük veri kaynağı olan web'i kullanarak gözlenme sıklığını elde etmektir.Bu tezde, 2 farklı aday veri seti kullanılarak, Türkçe dili için frekans tabanlıçok sözcüklü ifade belirleme metotlarının performansı araştırılmıştır. Veri setlerindeki adayların gözlenme sıklığı bilgisi popüler bir arama motoru olan Googlekullanılarak elde edilmiştir. Aday çok sözcüklü ifadelerin arama motoruna sorguolarak gönderildiğinde alınan sayfa sayısı (ing. page count) adayın gözlenmesıklığı olarak kabul edilmiştir. Kullanılan 20 yöntemin başarısı anma(recall), duyarlılık(precision) ve F-ölçütü (F-measure) ile değerlendirilmiştir. Web tabanlıfrekans bilgisinin çok sözcüklü ifadelerin belirlenmesindeki performansı geleneksel derlem tabanlı frekans ile karşılaştırılmıştır ve çok sözcüklü ifadelerin belirlenmesinde web verilerinin kullanılması umut verici sonuçlar göstermiştir.Anahtar Kelimeler : çok sözcüklü ifade, sıklık tabanlı yöntemler, web verisi. Multiword expressions (MWEs) are recurrent combinations of words in naturallanguages. The extraction of MWEs in a text is signicant for a number ofnatural language processing applications (e.g. natural language generation, computationallexicography, machine translation etc.). There are various occurrencefrequency based methods (e.g. joint probability, pointwise mutual informationand mutual dependency) that are used frequently for MWE extraction ([12],[13]).The major disadvantage of these methods is that extraction performance dependsmainly on the size of the data set in which the occurrence frequency is measured.The main goal of this thesis is obtaining the frequency from a massive data source,the World Wide Web, in order to by-pass the negative eect of small data set.In this thesis, we applied frequency based MWE extraction methods on twoTurkish MWE data sets. The occurrence frequencies of MWE candidates in datasets are obtained from popular search engine Google. The retrieved page countswhen the candidates are sent as queries to Google are employed as the occurrencefrequencies. The evaluation of the 20 frequency based methods is performed byprecision, recall and F-measures. The performance of web-based frequencies inidentication of MWEs is compared to the traditional corpus based frequenciesand it is showed that the use of web data in identication of MWEs revealspromising results.Keywords: Multiword expression, frequency based methods, web data. 55

Anlamsal birleşimlilik, kelime kombinasyonları ve bunların parçalarının anlamları arasındaki ilişkiyi tanımlamaktadır. Anlamsal birleşimli olmayan ifadelerde kelimeler bir araya gelerek farklı anlamlar meydana getirmektedir. Anlamsal birleşimli olmayan ifadelerin tanımlanması makine çevirisi, kelime anlamını belirginleştirme ve dil üretme gibi birçok dil işleme görevlerini destekleyebilmektedir. Bu tez çalışmasının amacı, Türkçe'de anlamsal birleşimli olmayan ifadelerin tespitinde uzay vektör modellerinin performanslarını araştırmaktır. Bu tezde altı farklı Türkçe derlemden elde edilen 2229 adet ikili kelime kombinasyonu içeren bir veri kümesi kullanılmıştır. Yapılan deneylerde beş farklı vektör uzay modeli içeren üç küme kullanılmıştır. Bu modeller duyarlılık, anma, ve F-ölçümü ölçütleriyle değerlendirilmiştir. Deneylerde tüm test derlemleri için kelime kombinasyonu ve kombinasyonu oluşturan ikinci kelimeye ait vektörler arası benzerliği ölçen modelin daha yüksek F değerleri ürettiği görülmüştür.Anahtar Kelimeler : anlamsal birle¸simlilik, vekt¨or uzay modeli, do˘gal dil i¸sleme. The semantic compositionality defines the relation between the meanings of word combinations and their components. In non-compositional expressions, the words combine to generate a different meaning. The identification of non-compositional expressions may support several natural language processing tasks such as machine translation, word sense disambiguation and language generation. The objective of the thesis is exploring the performance of vector space models in detection of non-compositional expressions in Turkish.In this thesis, a data set of 2229 two-word combinations that is built from six different Turkish corpora is utilized. Three sets of five different vector space models are employed in the experiments. The evaluation of models is performed using three metrics: precision, recall and F-measure. The experimental results show that the model that measures the similarity between the vectors of word combination and the second composing word produced higher average F-scores for all testing corpora.Keywords: semantic compositionality, vector space model, natural language processing. 67