Content-based video copy detection

Son yıllarda, otomatik video kopya bulmaya olan ihtiyaç yeni teknolojik gelişmelerle birlikte artmıştır. Genellikle, geliştirilen sistemin büyük veritabanlarına uygulanabilmesi için birkaç zorunlu gereksinimi karşılaması gerekmektedir. Gereksinimler yüksek doğruluk bulma, düşük karşılaştırma karmaşıklığı ve düşük hafıza ihtiyacıdır. Bu amaçla, bu tez kapsamında, öznitelik çıkarma, nicemleme tabanlı indeksleme ve geometric doğrulama olmak üzere üç ana bölümden oluşan bir içerik tabanlı kopya bulma sistemi önerilmektedir. Öznitelik çıkarma bölümünde, referans ve sorgu videolardan, benzerlik hesaplamalarında kullanılmak için yerel uzamsal ve uzamsal-zamansal öznitelikler çıkartılmaktadır. Uzamsal uzayda, ölçek değişimsiz öznitelik dönüşümü (SIFT), Karşıt SIFT, Çevirme Değişimsiz SIFT ve Hızlandırılmış Dayanıklı Dönüşüm (SURF) tanımlayıcıları, uzamsal-zamansal uzayda, Dönüşüm Değişimleri Histogramı (HoG) ve Hareket Sınır Histogramı (MBH) tanımlayıcıları hesaplanmıştır. İkinci bölümde, yerel öznitelikler arasında hızlı karşılaştırma yapabilmek için, yerel tanımlayıcılar, üç yeni önerilen Kelime Çantası, Hamming Yerleştirme ve Çarpım Nicemlemesi indekleme metodlarıyla indekslere nicemlenmektedir. Son adımda, öznitelik indekslerinin eşleşmesi sırasında doğru eşleşmeyen noktalar olabileceği için, her iki uzamsal ve uzamsal-zamansal öznitelikler için, geometrik modeli uygularak sonuçları iyileştiren bir geometri son basamağından faydalanılmaktadır. Ayrıca, yerel ilgi noktaları bilgisini kodlayan yoğun bir geometrik imza hesaplanmaktadır. Test sonuçları, iyi bilinen TRECVID 2009 içerik tabanlı kopya bulma veritabanında sunulmaktadır. Sonuçlar göstermektedirki, Çevirme değişimsiz SIFT, Hamming yerleştirme, iyileştirilmiş zayıf geometrik tutarlılık ve görsel grup ikili imza kombinasyonu en iyi toplam sonucu vermektedir. In recent years, need in automatic video copy detection has been increased rapidly with the recent technical developments. In general, a developed system should provide a few requirements to conduct over large database including high detection accuracy, low comparison time and low memory usage. For that purpose, within the scope of the thesis, we propose a content-based video copy detection system that consists of three crucial stages namely feature extraction, quantization-based indexing and geometric verification. In feature extraction stage, local spatial and spatio-temporal features are extracted from reference and query videos to be used for similarity score calculation. In spatial domain, Scale Invariant Feature Transform (SIFT), Opponent SIFT, Flip Invariant SIFT (F-SIFT) and Speed Up Robust Transform (SURF) descriptors, in spatio-temporal domain, Histogram of Orientated Gradient (HoG) and Motion Boundary Histogram (MBH) descriptors are utilized. In the second stage, in order to make efficient comparison among local features, the local features are quantized into indices with three state-of-the-art indexing schemes Bag-of-word, Hamming Embedding and Product Quantization. In the final stage, since there would be outliers during matching content indices, a geometric post-processing stage is utilized for both spatial and spatio-temporal features that impose an overall geometric model to refine the accuracy. Additionally, a compact geometric signature that encodes the local relation of interest points with binary signature is computed. The experimental results are presented on the well-known TRECVID 2009 content-based video copy detection dataset. The experiments show that combination of Flip Invariant SIFT, Hamming embedding, enhanced weak geometric consistency and visual group binary signature yields the best overall result. 106