Provedena je numerička implementacija i validacija dvodimenzionalne nelinearne spektralne metode viših redova (eng. "Higher Order Spectrum", skraćeno HOS) za propagaciju trodimenzionalnih površinskih valova. Metoda je implementirana u programu otvorenog koda OpenFOAM, koji je specijaliziran za računalnu dinamiku fluida (eng. "Computational Fluid Dynamics", CFD). Radi se o pseudo--spektralnoj metodi rješavanja nelinearnih diferencijalnih jednadžbi koje opisuju problem površinskih valova u okviru modela potencijalnog strujanja. Pseudo-spektralni pristup omogućuje brzo rješavanje problema površinskih valova s proizvoljnim brojem valnih komponenti, čime se može opisati realistično stanje mora. Red nelinearnosti do kojeg se provodi HOS proračun je proizvoljan, što čini metodu prilagodljivom specifičnim primjenama. Problem se razlaže na način da se prostorni dio problema rješava u spektralnoj domeni, dok se vremenski dio problema rješava u fizičkoj domeni. Pri tome se projiciranje između spektralne i fizičke domene vrši pomoću Fourierove transformacije. Korištenje "Fast Fourier Transform" (skraćeno FFT) algoritma za provođenje Fourierove transformacije omogućuje korištenje velikog broja harmonika zahvaljujući visokoj efikasnosti algoritma. U radu je prikazana matematička pozadina metode i prateći matematički alati. Implementacija je provedena prvenstveno radi sprege sa CFD alatima za brodsku hidrodinamiku, sa naglaskom na efikasnu i točnu inicijalizaciju proizvoljnog stanja mora. Mogućnost nelinearne propagacije valnog spektra omogućuje opisivanje realističnih ekstremnih valova, koji postaju sve zanimljiviji u području brodogradnje i pučinskih objekata. Točnost metode provjerena je na tri testna proračuna. U prvom proračunu provedena je usporedba nelinearne propagacije monokromatskog vala s analitičkim rezultatima. U drugom proračunu uspoređena je propagacija spektra valova s rezultatima viskoznog, dvofaznog proračuna. Treći proračun prikazuje razvoj nelinearnih nestabilnosti monokromatskog propagirajućeg vala poznatih kao Benjamin--Feir nestabilnosti. Na posljetku su prikazane simulacije računalne dinamike fluida u kojima je simuliran trodimenzionalan ekstreman val za čiju se inicijalizaciju koristila implementirana HOS metoda. Ekstreman val se prirodno razvio u dugoj HOS simulaciji, što ga čini statistički i fizikalno realističnim. In this work Higher Order Spectral (HOS) method for three--dimensional nonlinear water wave propagation is implemented and validated. Implementation is conducted in a specialised Computational Fluid Dynamics (CFD) open--source software OpenFOAM. HOS is a pseudo--spectral method for solving nonlinear differential equations, which describe free surface wave phenomena. The pseudo-spectral approach enables fast calculation of surface wave problem with arbitrary number of wave components. The order of nonlinearity of the HOS calculation is arbitrary, making this method highly flexible. Multiple wave components, or harmonics, can reproduce a realistic sea state. The problem is divided into a spectral and a physical part, where the projection between the spectral and physical space is performed via Fourier transforms. Large number of wave components may be used due to high efficiency of the FFT algorithm. Mathematical model of the HOS method is outlined and its numerical model is shown in detail. The reason for implementation of HOS method is its coupling with high-fidelity CFD simulations regarding wave-structure interaction. The capability of low-cost, long time evolution of input spectra can be used to obtain realistic freak waves. Validity of the implemented algorithm is verified on three test cases. The first test case consists of nonlinear propagation of a monochromatic wave using HOS compared with the analytical solution. The second test case demonstrates the ability of accurate wave spectrum propagation by comparing the result with viscous two--phase simulation. In the third test case emergence of Benjamin-Feir instabilities in monochromatic wave train is observed. Finally, CFD simulations of extreme wave are presented. Extreme wave is initialized using HOS solution.