V doktorski disertaciji smo se osredotočili na simulacije, načrtovanje in eksperimentalno demonstracijo fotonskih integriranih vezij (PIC) na osnovi silicija, ki vsebujejo in izkoriščajo izbrane nanofotonske strukture za izboljšanje zmoglivosti in funkcionalnosti integriranih fotonskih gradnikov. Posvetili smo se predvsem podvalovnodolžinskim nanostrukturam dielektričnih metamaterialov v vlogi obloge optičnih valovodov v PIC. Poleg standardne platforme silicija na izolatorju (SOI), ki vsebuje kristalni silicij, smo v raziskave vključili tudi hidrogenizirani amorfni silicij (a-Si:H) kot potencialni material za fotonsko integracijo. Demonstrirali smo testno a-Si:H vezje z vključenimi nanofotonskimi strukturami. V sklopu disertacije smo uporabili različne numerične modele, ki smo jih prilagodili za simulacije nanofotonskih struktur in gradnikov PIC. Razvili smo tudi merilni sistem za optično karakterizacijo PIC, ki omogoča stransko in navpično sklapljanje PIC-a z dvemi optičnimi vlakni. Dielektrične metamateriale smo raziskovali v vlogi obloge optičnih valovodov z namenom večanja gostote integracije PIC. Raziskali smo tudi vpliv lomnega količnika (različne materialne platforme za izdelavo PIC) na pojave metamaterialne obloge. Rezultati kvantitativne analize so pokazali, da je vpliv metamaterialne obloge na gostoto integracije lahko pozitiven le v platformah z visokim kontrastom lomnih količnikov (kot na primer Si ali InP membranska platforma). V nadaljevanju smo izvedli obširnejšo optimizacijo geometrije metamaterialne obloge za primer Si platforme z namenom zmanjšanja minimalno dopustne širine med jedri dveh optičnih valovodov, pri čemer smo omejili vrednost presluha na -30 dB pri dolžini 2 mm. Tako smo lahko eksplicitno kvantitativno ocenili povečano gostoto integracije gradnikov na PIC. Z vpeljavo metamaterialne obloge smo dosegli zmanjšanje minimalne dopustne reže med jedri dveh trakastih valovodov za 60 % v primerjavi s Si valovodi z običajno oblogo. Raziskali smo tudi valovnodolžinsko odvisnost in občutljivost na variacije dimenzij pri izdelavi optimiziranih struktur. Rezultati razkrivajo, da je potreben kompromis med največjo dosegljivo gostoto integracije in uporabnim valovnodolžinskim območjem. Optične lastnosti dielektričnih metamaterialov lahko koristno uporabimo tudi pri delitvi polarizacije v PIC. V disertaciji predlagamo koncept polarizacijskega razcepnika (PBS), ki izkorišča edinstvene lastnosti dielektričnih metamaterialnih oblog za dosego največjega dušenja (ER) in največje pasovne širine (BW). Kot izhodišče smo vzeli strukturo (PBS-1), ki je osnovana na smernem sklopniku z metamaterialno oblogo, ki smo ga združili z zavojem valovoda z metamaterialno oblogo na zunanji strani, v vlogi TE polarizatorja. Z namenom povečanja BW smo predlagani izboljšani koncept (PBS-2) - strukturo s kompaktnim dvojnim Mach-Zehnderjevim interferometrom v kombinaciji s TE polarizatorjem. Numerične simulacije so razkrile, da lahko s tako strukturo dosežemo izjemno visoko ER nad 35 dB in 263 nm široko BW z vstavitvenim slabljenjem (IL) 1 dB. Načrtani gradnik PBS-2 ima velikostni odtis 82 μm. Rezultati meritev izdelanega gradnika PBS-2 so razkrili, da je eksperimentalno doseženo ER > 30 dB v in BW vsaj 140 nm (omejeno območje nastavljivega laserja). Na področju a-Si:H materialov za fotonsko integracijo smo demonstrirali načrtovanje, izdelavo (v sodelovanju z zunanjimi partnerji) in karakterizacijo PIC s testnimi strukturami za sklopitev z optičnimi vlakni ter testnimi strukturami valovodov z metamaterialno oblogo. Izvedli smo analizo z vrstičnim elektronskim mikroskopom (SEM) za oceno kvalitete izdelave struktur z minimalnimi dimenzijami 60 nm. Rezultati analize so pokazali, da so bile strukture, kljub majhnim dimanzijam, po optimizaciji procesa z uporabo elektronskega snopa (e-beam) izdelane kvalitetno. Izmerjena vršna vrednost sklopne učinkovitosti sklopnika z uklonsko mrežico (s strukturami manjšimi od valovne dolžine svetlobe minimalne dimenzije 78 nm) je bila -7.25 dB. Rezultati meritev testnih struktur valovodov z metamaterialno oblogo eksperimentalno potrjujejo teoretično predvideno znižanje presluha v takih strukturah a-Si:H. V primeru metamaterialne obloge z dvemi rebri smo dosegli znižanje presluha za 15 dB v primerjavi z običajnimi valovodi. Na osnovi prikazanih rezultatov v doktorski disertaciji upamo in verjamemo, da naši rezultati prispevajo nova znanja k področju integrirane fotonike. Prikazane lastnosti dielektričnih metamaterialov se lahko koristno uporabijo, ko je zahtevana velika gostota integriracije optičnih valovodov. Verjamemo tudi, da je lahko demonstriran koncept in zmogljivost polarizacijskega razcepnika, ki izkorišča metamaterialno oblogo, uporabljen v aplikacijah, ki zahtevajo učinkovito deljenje polarizacije. Demonstracija uspešne sklopitve a-Si:H PIC z optičnimi vlakni predstavlja prvi korak k nadaljnim raziskavam a-Si:H materialov za PIC, ki jih načrtujemo v prihodnosti. Prikazani rezultati predstavljajo izhodiščno točko za raziskave vpliva parametrov depozicije a-Si:H plasti za kontrolo nad kristalno zgradbo in hidrogeniziranostjo a-Si:H plasti in njihovega vpliva na zmogljivostne parameter gradnikov PIC, kot so kvaliteta izdelave nanostruktur, valovodne izgube in nelinearne lastnosti. In this thesis, we focus on simulations, design and experimental demonstration of silicon-based photonic integrated circuits (PICs) utilizing nanophotonic structures to increase the performance and alter the functionality of integrated devices. Furthermore, we study hydrogenated amorphous silicon (a-Si:H) as a potential material for PICs and demonstrate a test a-Si:H PIC utilizing nanophotonic structures. Different numerical models were utilized and adapted to simulate specific nanophotonic structures and PIC components in the scope of this thesis. An experimental measurement set-up for optical characterization of PICs in horizontal and vertical fiber coupling configuration was developed as well. In this thesis all-dielectric metamaterials are the main nanophotonic structures under investigation. We study them in the role of the cladding of optical waveguides (WGs) to increase the integration density of PICs. The role of the refractive index (material platform) on the effects of metamaterial cladding is studied. The results of a quantitative analysis show that only material platforms with a high refractive index contrast (such as existing Si or membrane InP platform) can noticeably benefit from optimized metamaterial cladding in terms of integration density. Furthermore, we perform a comprehensive optimization of the geometry of metamaterial cladding in Si platform to achieve the lowest possible gap width between cores of two adjacent WGs, while keeping the cross-talk bellow the targeted limit of -30 dB at the length of 2 mm. By doing this we can explicitly show how much the integration density of a PIC can be increased. We demonstrate that a metamaterial cladding can, in best case, reduce the gap width by 60 % compared to Si WGs with normal cladding in case of core width Wcore = 450 nm. The wavelength dependence and sensitivity to fabrication variability of optimized structures are also studied, revealing a trade-off between the highest possible integration density and a usable wavelength range. The demonstrated properties of all-dielectric metamaterial cladding structures can also be utilized in polarization splitting. We propose a concept of integrated silicon-based polarization beam splitter (PBS) exploiting unique properties of all dielectric metamaterial cladding to achieve a high extinction ratio (ER) and wide bandwidth (BW) polarization splitting characteristics. We start from a structure (PBS-1) based on a directional coupler with metamaterial cladding combined with a bent waveguide with metamaterial cladding at the outer side in the role of a TE polarizer at the Thru port of the device. To increase BW we propose the improved concept (PBS-2) - a metamaterial compact dual Mach-Zehnder Interferometer structure in combination with the TE polarizer. Numerical simulations reveal that an exceptionally high ER over 35 dB can be achieved in a BW of 263 nm with insertion loss (IL) below 1 dB in case of PBS-2. The designed device has a footprint of 82 μm. We also fabricate the device via a commercially available fabrication service. Measurement results reveal that an ER > 30 dB is achievable in a BW of at least 140 nm (limited by the laser tuning range). In the field of a-Si:H materials for photonic integration we demonstrate the design, fabrication (in conjunction with external partners) and characterization of a PIC with test structures for light in/out coupling as well as some test structures of WGs with all-dielectric metamaterial cladding. A scanning electron microscopy (SEM) analysis was carried out to evaluate the fabrication of structures with the minimal feature size of 60 nm, revealing good results in terms of subwavelength structure development. The measured peak coupling efficiency of a single etch-step subwavelength grating coupler (exhibiting a minimal feature size of 78 nm) was -7.25 dB. The measurements of test structures of WGs with all-dielectric metamaterial cladding experimentally confirm the predicted decrease in cross-talk in such structures. Namely, a reduction in cross-talk by 15 dB was achieved for a metamaterial cladding test structure with two ribs. We hope and believe that the results presented in this thesis can contribute to the field of integrated photonics. The demonstrated qualities of the all-dielectric metamaterial cladding can be of use in case of applications requiring densely integrated WGs. Furthermore, we believe that the demonstrated design and performance of the PBS utilizing a metamaterial cladding is to be utilized in PICs for applications where high performance polarization splitting is required. The demonstration of successful light in/out coupling to the a-Si:H PIC represents the first step towards our future investigations a-Si:H materials in PICs. It presents a starting point for future study of the a-Si:H layer deposition parameters resulting in different levels of crystallinity and hydrogenization on various PIC performance metrics such as quality of fabrication, WG propagation loss and non-linearity.