Search

Today, agriculture is a very valuable activity of countries. Due to the large population growth in recent years, the demand for cultivation has also increased, hence agricultural robotics takes a fundamental role in this task, substantially increasing the yield and decreasing the time and cost of personnel. In this sense, the present project has as main objective to facilitate the harvesting of apples by farmers through an analysis of these, knowing their location in each tree and thus be collected. To know the location of apples in real time, Kinect cameras are used, through which the images are obtained on the one hand and on the other the spatial coordinates of each pixel of the image and the RGB values of these. In this project, apple predictions from a 2D detection network have been used as proposals for another 3D network. To move from one network to another, the 2D bounding boxes have been projected to 3D and used as input for the 3D classification network. This entire system aims to extend objects detection to 3D. So from a Kinect capture of an apple tree, a 3D apple detection is obtained., Hoy en día, la agricultura es una actividad muy valiosa de los países. Debido al gran crecimiento de la población en los últimos años, la demanda de cultivo también ha aumentado, por lo que la robótica agrícola toma un papel fundamental en dicha tarea, aumentando sustancialmente el rendimiento de la recolección y disminuyendo el tiempo y coste de personal. En este sentido, el presente proyecto tiene como objetivo principal facilitar a los agricultores la recolección de manzanas mediante un análisis de estas, sabiendo su localización en cada árbol y así ser recolectadas. Para saber la localización de las manzanas en tiempo real, se utilizan unas cámaras Kinect, a través de las cuales se obtienen por un lado las imágenes y por otro las coordenadas espaciales de cada pixel de la imagen y los valores RGB de estas. En el presente proyecto, se han utilizado las predicciones de manzanas de una red de detección 2D, como propuestas para otra red 3D. Para pasar de una red a otra se han proyectado los cuadros delimitadores de las manzanas 2D a 3D y se han utilizado como entrada para la red de clasificación 3D. Todo este sistema tiene como objetivo extender la detección de objetos a 3D. Por lo que a partir de una captura Kinect de un manzano, se obtiene una detección de las manzanas en 3D., Avui dia, l'agricultura és una activitat molt important dels països. A causa del gran creixement de la població en els últims anys, la demanda de cultiu també ha augmentat, de manera que la robòtica agrícola pren un paper fonamental en aquesta tasca, augmentant substancialment el rendiment de la collita i disminuint el temps i cost de personal En aquest sentit, el present projecte té com a objectiu principal facilitar als agricultors la recol·lecció de pomes mitjançant una anàlisi d'aquestes, sabent la seva localització en cada arbre i així ser recol·lectades. Per saber la localització de les pomes en temps real, s'utilitzen unes càmeres Kinect, a través de les quals s'obtenen d'una banda les imatges i de l'altra les coordenades espacials de cada píxel de la imatge i els valors RGB d'aquestes. En el present projecte, s'han utilitzat les prediccions de pomes d'una xarxa de detecció 2D, com propostes per una altra xarxa 3D. Per passar d'una xarxa a una altra s'han projectat els quadres delimitadors de les pomes 2D a 3D i s'han utilitzat com a entrada per a la xarxa de classificació 3D. Tot aquest sistema té com a objectiu estendre la detecció d'objectes a 3D. Pel que a partir d'una captura Kinect d'una pomera, s'obté una detecció de les pomes en 3D.

From video shots with scenes of TV news or similar, obtain annotations that indicate when known persons appear and disappear from the scene Structure of the System - Face Detection - Recognition of know persons faces (from Data Base) - Additional features to help recognition other than faces - Tracking of faces to know when every person in the scene appears and disappears - Shot detection, to have an important reference of possible changes of persons in the scene The student will concentrate on one of these steps, specifically on recognition and/or tracking, This project is about tracking of objects or regions in video sequences. There are many tracking techniques and we are going to focus on one of them to follow the participants of TV show’s faces. This work is a participation in “Camomile”’s project from the Image Processing Group of UPC, where the main goal is to summarize TV programs, detecting every moment which persons are being part of the sequence. One of the parts to get this summary is to locate the speakers or TV presenter faces in order to be able to track it and recognize people. To make the tracking, which is the main goal of the project, it has been used a generic algorithm about graph cuts that minimizes some energy functions. The one that have been utilized in this project to work with graph cuts is the one that allows us to find the optical flow between two images. Therefore, if we start with a rectangular zone where the face is placed (bounding box) we can use this algorithm to know the optical flow of this region between two consecutives images. Once achieved the optical flow, we have the motion vectors information of all pixels from the region of interest. As we use a rectangular bounding box, we need to do a processing of this information to make a good estimation of the face position in the following image. Also, to determinate how the rectangle moves. We have to take into consideration that the bounding box can increase or decrease its size, apart from displacing. A lot of tests have been done to prove the algorithm performance (available as Open Source), and then several techniques have been tested to process the movement vectors previously obtained. Eventually, the obtained results have been composed with the results obtained by using other technique based on particle filter, an algorithm that also allows us to do face tracking., En este proyecto se trabaja en lo que se conoce como tracking o seguimiento de objetos o regiones. Existen muchas técnicas de tracking, y nosotros nos hemos centrado en utilizar una de ellas para seguir las caras de participantes de programas de televisión. El trabajo se enmarca en el proyecto “Camomile” del Grupo de Procesado de Imagen de la UPC, donde el objetivo es poder resumir o anotar programas de televisión, detectando en cada momento qué personas participan en la secuencia. Una de les partes para poder conseguir éste resumen es tener localizadas las caras de los tertulianos o del presentador para poder realizar un seguimiento a lo largo del tiempo y también reconocer a las personas. Para el seguimiento, objetivo de este trabajo, se ha utilizado un algoritmo genérico de graph cuts que sirve para minimizar algunas funciones de energía. La función de energía utilizada en este proyecto para trabajar con graph cuts es la que nos permite encontrar el flujo óptico entre dos imágenes. Así pues, si partimos de una zona inicial rectangular dónde se encuentre la cara (bounding box) podemos utilizar este algoritmo para poder conocer el flujo óptico de esta región entre dos imágenes consecutivas. Una vez conseguido el flujo óptico, tenemos la información de los vectores de movimiento de todos los píxeles de la región de interés. Al utilizar un bounding box rectangular, es necesario hacer un procesado de esta información para obtener una buena estimación de la posición de la cara en la siguiente imagen y poder determinar cómo se mueve el rectángulo, teniendo en cuenta que aparte de desplazarse, puede reducir o aumentar su tamaño. Se han realizado diversas pruebas para comprobar el funcionamiento del algoritmo disponible como código libre, y posteriormente se han probado diversas técnicas y definido los parámetros para procesar la información de los vectores de movimiento obtenidos. Finalmente se han comparado los resultados obtenidos con los resultados utilizando otra téc, En aquest projecte es treballa en el que es coneix com a tracking o seguiment d’objectes o regions. Existeixen moltes tècniques de tracking, i nosaltres ens centrarem en utilitzar una d’elles per tal de seguir les cares dels participants de programes de televisió. El treball s’emmarca en el projecte “Camomile” del Grup de Processament d’Imatge de la UPC on l’objectiu és poder resumir o anotar programes de televisió, detectant en cada moment quines persones participen en la seqüència. Una de les parts per poder aconseguir aquest resum és tenir localitzades les cares dels tertulians o del presentador per tal de fer-ne el seguiment al llarg del temps i també reconèixer les persones. Per realitzar el seguiment, objectiu d’aquest treball, s’ha utilitzat un algoritme genèric de graph cuts que serveix per minimitzar algunes funcions d’energia. La funció d’energia utilitzada en aquest projecte per treballar amb graph cuts és la que ens permet trobar el flux òptic entre dues imatges. Així doncs, si partim d’una zona inicial rectangular on es trobi la cara (bounding box) podem utilitzar aquest algoritme per tal de conèixer el flux òptic d’aquesta regió entre dues imatges consecutives. Un cop aconseguit el flux òptic, tenim la informació dels vectors de moviment de tots els píxels de la regió d’interès. Com que s’utilitza un bounding box rectangular, cal fer un processat d’aquesta informació per tal d’obtenir una bona estimació de la posició de la cara a la següent imatge i poder determinar com es mou el rectangle, tenint en compte que a part de desplaçar-se, pot reduir o augmentar la seva mida. S’han realitzat diverses proves per comprovar el funcionament de l’algoritme disponible com a programari lliure, i posteriorment s’han provat diverses tècniques i definit els paràmetres per processar la informació dels vectors de moviment obtinguts. Finalment s’han comparat els resultats obtinguts amb els resultats utilitzant una altra tècnica basada en el filtre de partícules, un altr

Projecte final de carrera fet en col.laboració amb Graduate College of the Illinois Institute of Technology., English: Since the image quality assessments made by human observers can be too much costly and time-consuming, despite they are the most accurate because humans will be the final users of the images, a widely used alternative are the model or numerical observers, mathematical methods that estimate the human performance. More specifically, the Channelized Hotelling Observer is able to correlate very precisely the human observer if a proper internal noise model is optimized. In this manuscript, the CHO is studied using four different channels and eleven internal noises when it is trained with images we know the human behavior and trained afterwards in other related images for which the human performance would not be available. By this procedure we verify the model observer is a good surrogate of the human observer in this situation. In addition, the research is based on two experiments. The first one estimates the human performance in images reconstructed by a different iteration of the filter used, whereas in the second scene the tested images have correlated noise to the trained ones., Castellano: Dado que las evaluaciones de calidad de imagen realizadas por humanos pueden ser muy costosas económica y temporalmente, a pesar de ser las más precisas ya que estos serán los usuarios finales de dichas imágenes, una alternativa cada vez más utilizada son los observadores numéricos, métodos matemáticos que estiman el comportamiento humano. Más concretamente, el Channelized Hotelling Observer se ha comprobado que es capaz de correlar con precisión al observador humano si se optimizan modelos de ruido interno adecuados. En este manuscrito se estudia este observador con cuatro canales y once ruidos internos diferentes cuando es entrenado con imágenes de las que conocemos el comportamiento humano y testeado posteriormente en otras relacionadas con las primeras por las que este comportamiento no estaría disponible. Así comprobamos que el CHO es una buena alternativa al humano en esta situación. Además, la investigación se basa en dos experimentos. El primero estima el comportamiento humano en imágenes reconstruidas con una iteración diferente del filtro utilizado, mientras que en el segundo las imágenes testeadas tienen ruido correlado a las utilizadas en el entrenamiento del algoritmo., Català: Donat que les avaluacions de qualitat d'imatge realitzades per humans poden ser molt costoses econòmica i temporalment, malgrat ser les més acurades ja que aquests seran els usuaris finals de dites imatges, una alternativa cada vegada més utilitzada són els observadors numèrics, mètodes matemàtics que estimen el comportament humà. Més concretament, el Channelized Hotelling Observer s'ha comprovat que és capaç de correlar molt acuradament l'observador humà si s'optimitzen models de soroll intern adequats. En aquest manuscrit s'estudia aquest observador amb quatre canals i onze sorolls interns diferents quan l'entrenem amb imatges de les quals coneixem el comportament humà i el testegem. posteriorment a unes altres relacionades amb les primeres per les quals aquest comportament no estaria disponible. Així comprovem que el CHO és un bona alternativa a l'humà en aquesta situació. A més, la investigació es basa en dos experiments. El primer estima el comportament humà en imatges reconstruïdes amb una iteració diferent del filtre utilitzat, mentre que al segon les imatges testejades tenen soroll correlat a les utilitzades en l'entrenament de l'algoritme.