Son yıllardaki akıllı-telefon, tablet ve akıllı saat gibi internete bağlı cihaz sayısındaki üstel artış ve Nesnelerin İnterneti (Internet of Things -IoT) kavramının da gelişmesiyle birlikte, yeni nesil telsiz ağların yoğun hücrelerden (dense networks) oluşması ve kitlesel iletişimi (massive connection) desteklemesi gerektiği kaçınılmaz olmuştur. Kitlesel makine tipi iletişim (massive Machine Type Communication -mMTC) olarak adlandırılan bu konsept 5G ve sonrası olarak bilinen yeni nesil telsiz ağların üç ana konseptinden biri olarak görülmektedir. Dik olmayan çoklu erişim (Non-orthogonal Multiple Access -NOMA), yüksek spektral verimlilik sağlaması ve kitlesel iletişime olanak sağlaması nedeniyle mMTC için en önemli adaylardan biri konumundadır. NOMA'da kullanıcılar aynı kaynak bloklarına (resource block) atanarak spektral verimliliğin arttırılması amaçlanmaktadır. En fazla ilgi çeken NOMA konsepti olan güç eksenli (power domain -PD) NOMA'da, kullanıcılar aynı kaynak bloklarını farklı güç paylaşım katsayıları ile paylaşırlar. PD-NOMA'da ki kullanıcılar arası girişim, ardışık girişim giderici (successive interference canceler -SIC) kullanılarak giderilir. NOMA'nın 5G ve sonrası ağları için önemli bir potansiyele sahiptir ve bu nedenle araştırmacıların oldukça fazla ilgisini çekmektedir. NOMA erişilebilir kapasite ve kesinti olasılığı açısından fazlasıyla araştırılmıştır/incelenmiştir. Fakat, bu çalışmalarda çoğunlukla, alıcıların hatasız SIC uyguladığı varsayılmıştır. Bu varsayım sönümlemeli kanallar göz önüne alındığında gerçekçi bir varsayım olmaktan çıkmaktadır. Bununla birlikte, NOMA erişilebilir kapasite ve kesinti olasılığı açısından fazlasıyla incelenmesine rağmen, bir diğer önemli kriter olan bit/sembol hata oranı göz ardı edilmiştir. NOMA hakkındaki bu endişeler bu tez çalışmasının ana motivasyon kaynağı olmuştur. Bu çalışmada, NOMA için hatalı SIC varlığında erişilebilir hız, kesinti olasılığı ve bit hata olasılığı açısından analizlerinin yapılması amaçlanmıştır. NOMA'nın bir diğer avantajı da diğer fiziksel seviye teknikleri ile beraber kullanılabilmesidir. Bu nedenle, aynı analizler, NOMA ile işbirlikli iletişimin ve uzaysal modülasyonun birlikte kullanıldığı durumlar için de genişletilmiştir.Tez çalışmasında ilk olarak geleneksel NOMA ağları (aşağı yönlü ve yukarı yönlü) hatalı SIC varlığında incelenmiştir. Üç önemli performans kriteri olan, erişilebilir hız, kesinti olasılığı ve bit hata olasılığı için tam ifadeler kapalı formda türetilmiştir. Elde edilen tüm analitik sonuçlar bilgisayar benzetimleri ile doğrulanmıştır.NOMA ve işbirlikli iletişimin beraber kullanıldığı ağlar araştırmacılar tarafından en fazla ilgi çeken konulardan biri olmuştur. Bu etkileşim üç ana konsepte incelenmektedir: 1) Daha iyi kanal kalitesine sahip NOMA kullanıcılarının daha kötü kanal kalitesine sahip kullanıcılar için röle olarak görev yaptığı, İşbirlikli-NOMA konsepti. 2) Ortamda bulunan rölelerin NOMA kullanıcılarıyla olan iletişime yardımcı olduğu, Röle-destekli/yardımlı-NOMA konsepti. 3) Geleneksel işbirlikli iletişimdeki spektral verimsizliğinin önüne geçmek için kullanılan, NOMA-destekli işbirlikli iletişim sistemleri (cooperative relaying systems -CRS) konsepti. Her üç konsept de hatalı SIC varlığında tüm performans kriterli açısından incelenmiştir ve sonuçlar bilgisayar benzetimleri ile doğrulanmıştır. İşbirlikli-NOMA sistemlerindeki hata yayılımının etkisini ortadan kaldırmak için, Eşik değer tabanlı seçmeli işbirlikli-NOMA (Threshold-base selective cooperative-NOMA – TBS-C-NOMA) sistemi önerilmiş ve önerilen TBS-C-NOMA'nın işbirlikli-NOMA'ya üstünlük sağladığı kanıtlanmıştır. TBS-C-NOMA tam çeşitleme derecesi sağlamaktadır. Geleneksel NOMA ağlarının BHO başarımdaki kaybın önüne geçmek için, uzaysal çoklu erişim (Spatial Multiple Access (SMA)) ve Uzay kaydırmalı Anahtarlama (Space Shift Keying SSK)-NOMA yapıları sırasıyla iki kullanıcılı ve çok kullanıcılı NOMA ağlarına alternatif olarak önerilmiştir. Önerilen her iki yöntem için de erişilebilir kapasite, kesinti olasılığı ve bit hata olasılığı ifadeleri kapalı-formda türetilmiştir. Sonuçlar bilgisayar benzetimleri ile doğrulanmıştır.Daha sonra, NOMA'nın kullanıldığı sitemler için detaylı benzetimler sunularak kapsamlı bir performans değerlendirmesi verilmiştir. NOMA erişilebilir kapasite ve kesinti başarımı açısından dikgen çoklu erişim tekniklerine (Orthogonal Multiple Access -OMA) üstünlük göstermesine rağmen kullanıcılar arası girişim sebebiyle bit hata başarımı açısından OMA kadar iyi performans gösterememektedir. Farklı performans kriterleri arasındaki bu ödünleşime (trade-off) dikkat çekilerek, NOMA sistemlerinin hedef güvenirlilik (target reliability) kriteri göz önünde bulundurularak tasarlanması gerektiği ortaya konmuştur. Sunulan detaylı benzetim sonuçları doğrultusunda, önerilen TBS-C-NOMA'nın C-NOMA'ya, SMA ve SSK-NOMA'nın da geleneksel NOMA sistemlerine üstünlük sağladığı gösterilmiştir. Bu bölümde son olarak, farklı performans kriterleri göz önüne alınarak, en iyi güç paylaşımının nasıl olması gerektiği tartışılmıştır.Son olarak, elde edilen tüm sonuçlar değerlendirilerek, tez gelecek çalışmalar hakkındaki görüşler, olası çalışma alanları ve zorluklar sunularak sonlandırılmıştır. In recent years, exponential increase in connected devices (i.e., smart-phones, tablets, watches etc.) to the internet and with the introduce of the Internet of Things (IoT), future radio networks (FRN) are keen to serve massive users in dense networks which is called as Massive Machine Type Communication (mMTC) -one of the three major concepts of 5G and beyond-. Non-orthogonal Multiple Access (NOMA) is seen a strong candidate for mMTC in FRN due to its high spectral efficiency and ability to support massive connections. In NOMA, users are assigned into same resource block to increase spectral efficiency and the most attracted scheme is power domain (PD)-NOMA where users share the same resource block with different power allocation coefficients. The interference mitigation in PD-NOMA is held by successive interference canceler (SIC). Due to its potential for 5G and beyond, NOMA has attracted tremendous attention from researchers where NOMA is widely investigated mostly in terms of achievable rate and outage probability. However, in those work mostly perfect SIC is assumed at the receivers which is not that reasonable assumption considering the fading channels. In addition, whereas numerous efforts have been devoted to investigating NOMA in terms of capacity and outage, one of the most important key performance indicators (KPIs): bit/symbol error rate (BER/SER) has not been regarded. These two major concerns about NOMA have initially motivated us to do this PhD research. This work aims to investigate three KPIs (capacity, outage and BER) of NOMA with imperfect SIC. Then, the same analysis is done for the interplays of NOMA with cooperative communication and spatial modulation (SM).Firstly, conventional NOMA (downlink and uplink) networks is analyzed under imperfect SIC and exact closed-from expressions for ergodic capacity (EC), outage probability (OP) and bit error probability (BEP) are derived over fading channels. All derived expressions are validated via computer simulations.The interplay between NOMA and cooperative communication is one of the most attracted NOMA related topics in the literature. This interplay is divided into three concepts: 1) cooperative-NOMA (C-NOMA) where strong NOMA users act as relays for weaker users to improve reliability of them. 2) relay-assisted/aided-NOMA where dedicated relays help source serving to NOMA users. 3) NOMA based cooperative relaying system (CRS) where NOMA is applied for different symbol of the destination to improve the inefficiency of device-to-device cooperative communication. All three concepts have been analysed in terms of the same performance metrics (i.e., EC, OP, BEP) under imperfect SIC and have been validated via Monte Carlo simulations. Then, threshold-based selective cooperative NOMA (TBS-C-NOMA) have been proposed to eliminate the effect of error propagation in C-NOMA and it is proved that TBS-C-NOMA outperforms C-NOMA and achieves full diversity order.In order to neutralize the decay in BER of conventional NOMA networks, the spatial multiple access (SMA) and Space Shift Keying (SSK)-NOMA have been introduced as alternatives to two users and multiple users multiple-input-multiple-output (MIMO)-NOMA networks. Closed form expressions of EC, OP and BEP have been derived for both systems and the derived expressions have been validated via computer simulations.Then, a comprehensive evaluation of NOMA involved systems is presented by extensive simulations. It is proved that NOMA outperforms orthogonal multiple access (OMA) techniques in terms of EC and OP. However, due to the inter-user interference (IUI), NOMA cannot compete with OMA networks. Thus, the trade-off between capacity and reliability of NOMA networks is emphasized and it is revealed that NOMA design should be handled considering the target reliability of networks. In addition, the performance improvement of the proposed TBS-C-NOMA scheme are presented compared to C-NOMA schemes. Furthermore, based on the extensive simulation results, it is proved that the proposed SMA and SSK-NOMA systems outperform their NOMA counterparts in terms of all three performance metrics (i.e,, EC, OP and BER). Moreover, the effect of power allocation on the performances of NOMA involved systems are investigated and the optimum power allocation in terms of three KPIs is discussed.Finally, all results are discussed and the thesis is concluded with the opportunities, challenges and the insights for future researches. 209