Search

Research Findings: The aim of the present study was to identify profiles of kindergarten teachers based on the observed quality of interactions with the children in their classrooms and to explore possible differences between the profiles in terms of teachers’ occupational well-being and teacher and classroom characteristics. Participants were 54 Finnish kindergarten teachers whose interactions with children were observed with the Classroom Assessment Scoring System (CLASS Pre-K). The teachers also completed a questionnaire about their occupational well-being. Four interaction profiles were identified: Highest Quality, Moderate Quality, Lower Quality with Limited Negativity, and Lower Quality with Moderate Negativity. Differences between the profiles were found in teachers’ teaching-related stress, general stress, and depressive symptoms. Furthermore, the profiles differed, albeit marginally significantly, in terms of teachers’ emotional exhaustion. Overall, teachers in the Moderate Quality profile reported the most favorable occupational well-being, whereas teachers in the Highest Quality and the two lower quality profiles reported challenges to their occupational well-being. The profiles did not differ in terms of teacher and classroom characteristics. Practice or Policy: Results suggest that teachers’ professional development opportunities should focus on both improving the quality of classroom interactions and enhancing teachers’ occupational well-being by reducing their stress. peerReviewed

Quality evaluation (QE) has assumed major importance in governing education. QE is acknowledged as a self-evident and necessary method of improving quality in education across education systems. Along with the quality ‘evaluation wave’, schools and teachers have not only become objects of evaluation, but have also been subjected to increasing demands to self-evaluate. Using genealogical methodology, this chapter analyses the emergence and formation of the politics of school and teacher self-evaluation and also the power and subjectivities invoked through it in the case of Finnish comprehensive education. The research material includes curricular, legislative and education policy texts and national guidelines and textbooks on school and teacher self-evaluation in the period 1970–2014. The chapter demonstrates how, along with these changes in policy, the ethics of the necessity for self-evaluation in Finnish basic education emerges. It shows how teachers and schools traditionally strictly governed by rules and norms and subjectified as obedient to norms have since the early 1980s transformed into the self-developing and self-evaluative teacher and school. Becoming entangled with the long histories of teachers as reflectors on their own work, these changes enabled the formation of self-evaluation as a normal and self-evident everyday practice of teachers and schools to evolve, and along with this, the related ethics of the necessity for self-evaluation to emerge. This ethics is closely entangled with and supports the governing of education through quality evaluation. peerReviewed

Objective measures and documentation are increasingly used in the care for older people to promote efficiency and productivity. A standardised assessment of functional capacity is one such measure. In this study, we examined the meanings given to standardised functional assessment by care workers who provide long-term care for older people. Gathered from eight Finnish long-term care facilities, the data consisted of one-on-one interviews with practical and registered nurses (n = 24). In the data analysis, we employed the discursive approach. We identified three discourses in the care workers’ talks that differed in the meaning given to standardised functional assessment in the process of care: part of the bureaucracy, a missed opportunity and a threat to person-centred care. Care workers described these assessments as constituting a routine part of their job but expressed uncertainty about their role and the practical benefits in actual care work. They even called into question these assessments’ relevance to quality care delivery. To be a meaningful part of care practice, it is essential that there be a shared understanding of the rationale behind functional assessments in the care organisation and that care workers themselves can see the outcomes of these assessments in their daily work. peerReviewed

Datasta on tullut yrityksille liiketoiminnan kannalta erityisen tärkeää. Data auttaa organisaatioita tekemään aiempaa tarkempia päätöksiä. Moniulotteisten syy-seuraussuhteiden ymmärtämisessä kone on ihmistä valovuosia edellä. Datan määrällä ei kuitenkaan ole merkitystä, mikäli datan laadussa on puutteita. Mikäli datan laadussa on ongelmia, saattaa datan pohjalta tehdyt päätökset johtaa pahimmassa tapauksessa vääriin johtopäätöksiin. Jotta datan laadusta voidaan tehdä johtopäätöksiä, tulee organisaation olla tietoinen laadun nykytilasta. Tätä varten on kehitelty datan laadun ulottuvuuksia mittaavia mittareita, joiden avulla saadaan numeraalisia arvoja datan laadun nykytilasta. Mittauksista saatujen tulosten avulla voidaan arvioida datan laatua ja määritellä datan laadun kehityskohteet. Jotta datan laatua voidaan tutkia, tulee ensin määritellä data, laadun, datan laadun, datan mittausten sekä datan arvioimisen käsitteet. Tässä työssä lähestytään datan laadun mittauksia edellä mainitussa järjestyksessä. Lisäksi työssä käydään kokonaisuuden ymmärtämiseksi läpi myös datan laadun kustannukset sekä kehitystoimien prosessit. Viimeiseksi työssä käydään läpi datan laadun arviointimenetelmät. Työn teorian avulla pyritään saamaan mahdollisimman laaja käsitys datan laadusta. Teoria muodostaa datan laadun varmistamiselle laajan akatemiaisesti pätevän pohjan. Teoriaa hyödynnetään työn empiirisessä tutkimuksessa. Tämä työ toteutettiin finanssialan yritykselle ja tarkemmin tämän yrityksen viranomaisraportoinnin rajapintaan. Tässä työssä pyrittiin selvittämään miten datan laatua kannattaa mitata, miten laadun arviointia voidaan suorittaa sekä miten saatuja tuloksia voidaan analysoida. Tässä diplomityössä suoritettiin ensin laaja kirjallisuuskatsaus aiheesta, jonka jälkeen tehtiin kirjallisuuden pohjalta pilottimainen tutkimus kohdeyrityksen rajattuun dataan. Tässä työssä tehdyt mittaukset rajattiin koskemaan tarkkaan valittua asiakasdataa. Työn filosofinen lähestymistapa oli pragmatismi, jossa on mahdollista hyödyntää eri näkökulmien yhdistämistä tietojen keräämisessä ja tulkinnassa. Työn empiirisessä osassa hyödynnettiin sekä määrällistä että laadullista aineistoa. Työssä selvitettiin erinäisiä laadun arviointimenetelmiä. Menetelmistä koottiin kohdeyritykselle sopiva laadun mittaus ja arviointitapa. Tätä menetelmää kutsutaan tässä työssä Hybridimenetelmäksi. Tutkimuksessa suoritettiin subjektiivisia käyttäjäkyselyitä sekä objektiivisia mittauksia suoraan datasta. Tässä työssä tutkittuja laadun ulottuvuuksia oli ainutlaatuisuus, johdonmukaisuus, maine, datan sopiva määrä, täydellisyys, uskottavuus sekä virheettömyys. Mittausten tuloksia vertailtiin keskenään ja luotiin kattava yleiskuvaus valitun datan laadun tilasta. Diplomityön tuloksissa käytiin myös läpi, miten datan laatua voidaan tulevaisuudessa kehittää ja miten tässä työssä kehitettyjä datan laadun mittauksia voidaan kehittää.

nonPeerReviewed

Suomessa päivähoidon ja varhaiskasvatuksen vaikuttavuuden yhtenä mittarina on ollut koulussa tai työelämässä menestyminen. Päivähoidolle ja varhaiskasvatukselle asetetut tavoitteet ovat aina tavalla tai toisella liittyneet yhteiskunnan taloudellispoliittisiin olosuhteisiin, josta käsin ne ovat ohjanneet myös toiminnan sisältöjä ja laatua. Laadunarvioinnin lähtökohtana ovat olleet palvelujärjestelmän mahdollisuudet vastata työelämän ja perheen tarpeisiin. Lasten kokonaisvaltaiseen oppimiseen ja hyvinvointiin tähtäävän pedagogiikan arviointi on sen sijaan jäänyt vähemmälle huomiolle. Tässä katsauksessa keskitytään tarkastelemaan päivähoidossa ja varhaiskasvatuksessa tapahtuneiden rakenteellisten muutosten vaikutuksia pedagogisen toiminnan toteuttamiseen.

Tutkimuksen tarkoituksena oli selvittää, minkälaisia käsityksiä varhaiskasvatuksen opettajilla on lapsen tuottamasta toiminnan arvioinnista. Pyrimme saamaan selville, minkälaisen merkityksen lasten tuottama arviointi saa ja millaiseksi varhaiskasvatuksen opettajat sen kokevat. Näiden kautta saamme myös tietoa konkreettisista keinoista, miten lapset voidaan ottaa mukaan toiminnan arviointiin. Tutkimus toteutettiin laadullisena haastattelututkimuksena eräässä pirkanmaalaisessa kunnassa. Tutkimuksemme muodostui fenomenografiseksi tutkimukseksi, sillä tutkimuksen kohteena olivat varhaiskasvatuksen opettajien käsitykset. Tutkimusaineisto kerättiin haastattelemalla kuutta varhaiskasvatuksen opettajaa puolistrukturoidulla teemahaastattelulla. Haastattelu analysoitiin aineistolähtöisesti laadullisen sisällönanalyysin mukaisesti. Varhaiskasvatuksen opettajien käsitykset lasten tuottamasta toiminnan arvioinnista voidaan jakaa kahteen pääluokkaan, arviointitieto suhteessa arjen toimintaan sekä arvioinnin toteuttaminen. Varhaiskasvatuksen opettajat kokivat lapsen tuottaman arviointitiedon merkityksellisenä, koska saavat sitä kautta arvokasta tietoa jokaisesta ryhmän lapsesta. Tiedon kautta päivittäinen toiminta on entistä lapsilähtöisempää ja lapsi oppii, että hänen ajatuksillaan on vaikutusta ryhmän arkiseen toimintaan. Arviointitiedon kautta lapsi opitaan tuntemaan paremmin yksilönä. Esimerkiksi mikä on hänelle mielekästä ja minkä takia, ja mikä taas ei ole niin mieluista tekemistä. Arvioinnin vuorovaikutuksellisuutta pidettiin tärkeänä turvallisen ja luotettavan ilmapiirin saavuttamiseksi, mikä taas edesauttaa lapsen rehellistä kerrontaa. Lapsia kannustetaan rehelliseen kerrontaan, jolloin he myös oppivat monenlaisten mielipiteiden olemassaolon. Lisäksi lapsen tuottama arviointitieto nähtiin palautteena omasta työstä, jonka pohjalta pystyy reflektoimaan omaa ja tiimin toimintaa. Lapsen tuottaman toiminnan arvioinnin toteuttamiseen varhaiskasvatuksen opettajilla oli käytössä monipuolisia tapoja, kuten havainnointi, keskustelu ja erilaiset äänestämisen tavat. Lapsen ikä ja persoona oli hyvin huomioitu arviointitavoissa. Arvioinnin toteuttaminen ja lapsilta tiedon saaminen koettiin helpoksi, mutta sen sisäistäminen ja käyttöönotto on prosessi, joka vie aikaa. Myös arjen hektisyyden koettiin haastavan arvioinnin toteutumista.

Tämän pro gradu -tutkielman aiheena on varhaiskasvatuksen laadunarviointi, josta tarkastelun kohteeksi on otettu pedagogisen toiminnan tasolla tapahtuva laadunarviointi päiväkodeissa. Tutkimuksen tarkoituksena oli selvittää päiväkotien lapsiryhmissä työskentelevien varhaiskasvatuksen opettajien käsityksiä varhaiskasvatuksen laadunarvioinnista. Tutkimuksessa oltiin kiinnostuneita ensinnäkin siitä, millaisena varhaiskasvatuksen opettajat ymmärtävät varhaiskasvatuksen laadunarvioinnin, ja toiseksi siitä, miten laadunarviointi toteutuu päiväkodeissa käytännön tasolla varhaiskasvatuksen opettajien näkökulmasta. Tutkimus on luonteeltaan laadullinen tutkimus. Tutkimuksen kohteena ovat varhaiskasvatuksen opettajien käsitykset, joten se ilmentää fenomenografisen tutkimussuuntauksen piirteitä. Tutkimuksen aineistonkeruumenetelmänä käytettiin puolistrukturoitua haastattelua, johon osallistui kymmenen varhaiskasvatuksen opettajaa eri kunnista. Haastatteluaineisto analysoitiin aineistolähtöisen sisällönanalyysin menetelmin. Tutkimuksen tuloksissa varhaiskasvatuksen opettajien käsitykset laadunarvioinnista jaoteltiin laadunarvioinnin merkitykseen, laadunarvioinnin kohteisiin, laadunarvioinnin menetelmiin, laadunarvioinnin haasteisiin sekä laadunarviointia edistäviin tekijöihin. Tulosten perusteella varhaiskasvatuksen opettajat näkevät laadunarvioinnin varsin merkityksellisenä osana varhaiskasvatustyötä, ja heillä on myös monenlaisia keinoja toteuttaa sitä. Tuloksista kävi ilmi, että laadunarviointi ei kuitenkaan aina toteudu niin hyvin kuin varhaiskasvatuksen opettajat toivoisivat, vaan monet tekijät varhaiskasvatuksen arjessa haastavat sen toteutumista. Kuitenkin tutkimuksessa ilmeni myös sellaisia tekijöitä, jotka varhaiskasvatuksen opettajien näkökulmasta edistävät laadunarvioinnin toteutumista omassa työssään. Tutkimuksen tuloksia voidaan parhaimmillaan hyödyntää pedagogisen toiminnan tasolla tapahtuvan laadunarvioinnin kehittämiseen puuttumalla tutkimuksessa ilmenneisiin laadunarvioinnin haasteisiin ja toisaalta pyrkimällä lisäämään laadunarviointia edistäviä tekijöitä. Esimerkiksi lisäämällä varhaiskasvatuksen henkilöstön tietämystä laadunarvioinnista, kouluttamalla päiväkotien johtajia laadunarviointityön johtamisesta sekä parantamalla varhaiskasvatuksen resursseja, voitaisiin tämän tutkimuksen tulosten perusteella edistää laadunarvioinnin toteutumista päiväkotien arjessa.

Study quality is emerging as an essential component of evidence syntheses. It allows practitioners and policymakers to make informed decisions based on the quality of the evidence reviewed. Study quality is typically assessed by checklists of pre-determined quality criteria. Few study quality checklists have been systematically evaluated, and none have been developed specifically for survey studies in psychology. The present study addresses this evidence gap by developing the quality of survey studies in psychology (Q-SSP) checklistusing an expert-consensus method. An international panel of experts in psychology research and quality assessment (N = 53) evaluated the inclusion and importance of candidate quality items and offered commentary. The resulting checklist was used to evaluate a set of survey studies and inter-rater reliability of checklist scores was computed. A preliminary test of criterion validity of checklist scores was conducted using on a sample of survey studies with ‘known differences’ in study quality verified by experts. Experts exhibited high agreement on inclusion and importance ratings of the candidate items. Minor adjustments were made to the candidate items based on experts' feedback. Inter-rater reliability of study quality scores using the checklist was high. Some evidence for criterion validity of scores using the checklist was obtained. Overall, we provide preliminary data to support the Q-SSP checklist as a potential means to evaluate the quality of survey studies in psychology. We recommend a future large-scale study using the Q-SSP checklist to assess study quality in studies with known differences in quality verified by experts.

Continuous sensor measurements are becoming an important tool in environmental monitoring. However, the reliability of field measurements is still too often unknown, evaluated only through comparisons with laboratory methods or based on sometimes unrealistic information from the measuring device manufacturers. A water turbidity measurement system with automatic reference sample measurement and measurement uncertainty estimation was constructed and operated in laboratory conditions to test an approach that utilizes validation and quality control data for automatic measurement uncertainty estimation. Using validation and quality control data for measurement uncertainty estimation is a common practice in laboratories and, if applied to field measurements, could be a way to enhance the usability of field sensor measurements. The measurement system investigated performed replicate measurements of turbidity in river water and measured synthetic turbidity reference solutions at given intervals during the testing period. Measurement uncertainties were calculated for the results using AutoMUkit software and uncertainties were attached to appropriate results. The measurement results correlated well (R2 = 0.99) with laboratory results and the calculated measurement uncertainties were 0.8–2.1 formazin nephelometric units (FNU) (k = 2) for 1.2–5 FNU range and 11–27% (k = 2) for 5–40 FNU range. The measurement uncertainty estimation settings (such as measurement range selected and a number of replicates) provided by the user have a significant effect on the calculated measurement uncertainties. More research is needed especially on finding suitable measurement uncertainty estimation intervals for different field conditions. The approach presented is also applicable for other online measurements besides turbidity within limits set by available measurement devices and stable reference solutions. Potentially interesting areas of application could be the measurement of conductivity, pH, chemical oxygen demand (COD)/total organic carbon (TOC), or metals.

Julkisten palveluiden on nähty olevan tilanteessa, jossa niiden täytyy yhä enemmän todistella olevansa tuloksellisia. On lisäksi puhuttu palveluiden laadusta ja vaikuttavuudesta. Sosiaalityön tutkimuksessa puhutaan tilivelvollisuudesta tai selontekovelvollisuudesta (accountability). Tämä ei ole myöskään jäänyt puheen tasolle, sillä menneet vuosikymmenet ovat nähneet mittavan määrän erilaisia julkissektorin reformeja niin globaalisti kuin kotimaassakin. On jopa puhuttu ”vaikuttavuusyhteiskunnassa” elämisestä, missä ollaan kiinnostuneita erilaisen politiikkatoimien ja interventioiden seurauksista ja arvioinnista. Sosiaalityö ei ole ollut tästä keskustelusta osattomana. Julkisten palveluiden laatu ja vaikuttavuus ovat kuitenkin sekä käsitteinä että arvioinnin ja mittaamisen kohteina ongelmallisia: esimerkiksi niiden sisällöstä on epäselvyyttä ja niihin liittyy erilaisia arvostuksia riippuen, kuka on arvioitsija. Lisäksi, vaikka käsitteistä vallitsisi yksimielisyys, tulee ongelmaksi niiden raportointi ulkopuolisille tahoille esimerkiksi julkispalveluiden luonteen johdosta. Tässä tutkielmassa on haluttu ensinnäkin selvittää niitä tekijöitä, jotka ovat muun muassa sosiaalityön laatu- ja vaikuttavuusvaateiden takana sekä selventää mitä näillä käsitteillä (laadulla ja vaikuttavuudella) tarkoitetaan. Kolmas tutkimuksen tavoite on jäsentää laadun ja vaikuttavuuden mittaamisen sekä arvioinnin haasteita. Tutkielma lähestyy näitä kysymyksiä teoreettisesti, etsien kirjallisuudesta mahdollisia vastauksia. Tämän jälkeen teoriaa on peilattu empiriaan, joka koostuu päihdehuollon parissa toimivien sosiaalityöntekijöiden haastatteluista. Aineisto on analysoitu käyttäen teorialähtöistä sisällönanalyysiä. Teoria ja aineisto ovat pitkälti yhtenevät. Selontekovaateiden taustalla voidaan nähdä lukuisia tekijöitä, kuten sosiaalityön profession omat pyrkimykset laadukkaaseen ja muutosta aikaansaavaan toimintaan, hallinnon selontekovaateet, uudeksi julkisjohtamiseksi (NPM) kutsutun johtamisopin vaikutukset sekä akateemisen tutkimuksen ja näyttöön perustuvan käytännön vaatimukset. Laadun ja vaikuttavuuden käsitteet jäsentyvät teorian ja empirian kautta hallittavaksi kokonaisuudeksi, jossa laadulla tarkoitetaan teknisiä seikkoja, hyvää arviointia, juridiikan ja hallinnon osaamista, hyvää työntekijän ja asiakkaan vuorovaikutusta, moniammatillisuutta ja verkostotyötä, asiakasosallisuutta sekä sosiaalityön näkökulman esiintuomista ongelmien ratkomisessa. Vaikuttavuus määrittyy luontevasti tavoitteiden saavuttamisena, ja nämä tavoitteet ovat moninaiset ja usein samanaikaiset monilla eri tasoilla. Mitä tulee selontekovelvollisuuden haasteisiin, voidaan tunnistaa ensinnäkin sosiaalityön luonteesta johtuvia ongelmia. Sosiaalityötä vaivaa esimerkiksi tavoitemoninaisuus sekä usein myös niiden ristiriitaisuus. Vaikutusten arvioinnissa arvioinnin aikajänne sekä klassinen kausaliteetin ongelma tuottavat päänvaivaa. Toisaalta ongelmia on käytetyissä mittareissa, jotka eivät sovellu kovinkaan kummoisesti erityisesti vaikutusten todentamiseen. Kolmanneksi, materiaalisten resurssien puute tai työn organisoinnin ongelmat sekä mittaamisen ja arvioinnin vähäinen esilläolo koulutuksessa ja työelämässä voivat vaikeuttaa arviointia. Muita esiin nousseita haasteita ovat sosiaalityön ja muiden ammattiryhmien vuorovaikutuksen puute, sidosryhmien (toimijoiden) puute, poliittinen haluttomuus tiettyjen asiakasryhmien osalta, osaoptimointi sekä tietojärjestelmiin liittyvät ongelmat. ABSTRACT Theory-based content analysis: concepts of quality and effectiveness of social work in the field of substance abuse services, accountability and it’s challenges Demands for higher performance have been directed towards public services. The quality and effectiveness of these services has also been a subject of public and academic discourse. In the field of social sciences and social work research, the concept of accountability is used to describe these demands. This development has materialized over the last decades through waves of public sector reforms in a multitude of countries around the world, including Finland. Some even say we live in an ”outcome-oriented society”, where all the more attention is directed towards the effects of different social interventions and policies. Social work as a public service has naturally been a part of this process. Concepts such as quality and effectiveness in the context of public services like social work are, however, vague by nature. There are differing opinions about their contents and these opinions are usually accompanied by biased value judgements. Even if the concepts were not contested, there are also difficulties in their measurement and evaluation due to the problematic nature of the public services themselves. Firstly, this thesis attempts to locate the factors that drive the accountability of public services. Secondly, there follows an examination of the meaning of the concepts of quality and effectiveness in social work. Thirdly, the problems and challenges of measurement and evaluation are mapped out. The thesis starts by a theoretical investigation of the topics. Then, the theory framework is compared to empirical data, which concists of interviews of social workers in the field of substance abuse services. The data is analysed by means of a theory-based content analysis. The theory and the data seem consistent in general. Efforts in the field of social work, administrative demands, the effects of New Public Management (NPM), academic research and Evidence-Based practice (EPB) seem to constitute the broad basis of accountability. Concepts of quality and effectiveness of social work are specified using the theory and data: quality means technical matters, good evaluation, legislative and administrative competence, good relationship between worker and client, multidisciplinary orientation, client involvement, and the presence of the perspective of social work in the problem solving process. Effectiveness is defined as the degree to which goals are accomplished. These goals are multiple and usually pursued at many different levels simultaneously. The challenges faced while carrying out the accountability process stem first of all from the nature of social work itself. This includes, for example, the fact that the sheer number of differering and often competing goals is a problem in and of itself. Evaluationwise, the timespan necessary for the effects of social work to take place creates some difficulties and thus the classical problem of causality also arises. On the other hand, even if these problems were solved, there remains the question of indicators, that are, at least at the time, insufficient or inadequate. A third broad category of problems and challenges relates to insufficient material resources, working arrangements and a lack of training in the measurement and evaluation of social work in education and work-life. The thesis also points out that the absence of dialogue across disciplines, a lack of stakeholders, political reluctance towards certain groups, suboptimization and issues with information systems may create additional problems.

The use and continuous use of the website in the developed countries universities are predominant, and the developing countries universities are heightening their effort in the aspect of education technology. The reason why one university website is better than the other concerning quality and accessibility is the focus of this study and this prompt evaluation of 141 Universities in Nigeria across the Federal, State, and the Private ownership. We opted for a hybrid approach to cover the gap in the previous studies. WebQual and SITEQUAL as a framework is adopted based on the web analytical tools. The study contributes theoretically by combining two website quality theories to explain the inhibitors, improvement, quality and future updates of Nigeria Universities websites based on ease of use, processing speed, aesthetic design, interactive responsiveness, entertainment, trust and usefulness and come up with a new WebFUQII model. The contributes to methodology by using web diagnostic hybrid tools that gives more explanatory power. The study also gives managerial implications and guides future direction. peerReviewed

nonPeerReviewed

Kokoomateos tuottaa uutta tieteellisesti tutkittua tietoa tilintarkastuksen ja arvioinnin ajankohtaisista kysymyksistä. Tilintarkastusala on ollut merkittävien muutosten kohteena viimeisen 10 vuoden aikana. Teoksen artikkelit liittyvät tilintarkastukseen kattaen tilintarkastajan rooliin, vastuuseen ja siirtohinnoitteluun, sekä tilintarkastuksen laadukkuuteen ja tilintarkastuskertomuksiin liittyviä kysymyksiä. Arviointia koskevissa artikkeleissa tarkastellaan erityisesti tuloksellisuuden ja toiminnan tarkoituksenmukaisuuden arviointia ja tarkastusta. Monitieteisen tutkimuksen tuloksena syntyy kokoava ja moniulotteinen käsitys tilintarkastuksesta ja arvioinnista sekä niihin liittyvästä tämänhetkisestä tutkimuksesta ja mahdollisista jatkotutkimuspoluista. Toimituskunnan poikkitieteellinen yhteistyö tuottaa lisäksi uusia yhteisiä näkökulmia tarkastajien tärkeästä roolista ja vastuusta, sekä tarkastuksilta vaadittavasta laajuudesta, laadukkuudesta ja eettisyydestä. Teos on suunnattu muun muassa tilintarkastuksen ja arvioinnin ammattilaisille, opiskelijoille ja tutkijoille.

The role of higher education as an essential component of the productive economy has been emphasized in the 21stcentury, resulting in a constant need to demonstrate compliance and excellence to various stakeholders. To achieve this, a large variety of internal and external evaluation processes have been developed. However, to connect these evaluations with continuous improvement has often proved challenging due to factors arising from organizational complexity. This compilation dissertation examines how various quality evaluations in higher education could be integrated in a meaningful and synergistic manner. Integration is analyzed both horizontally across the three missions of the university, as well as vertically ranging from external evaluations to self-assessment. The four research articles each support this whole from a different viewpoint. The results of the articles are complemented by a literature review of chosen relevant topics on quality management and evaluation in higher education. The results of this work suggest that a planned process of evaluations starting from the institution level could help evaluations build upon each other and to drive continuous improvement. A holistic view on evaluation and evaluation criteria could be of use in avoiding sub-optimization and ensuring that issues such as stakeholder engagement and societal impact are included in evaluations. The integration of evaluations would constitute a part of integrating an institution’s management system and advance unity of effort. The ubiquitous concept of excellence can be seen as linking factor in integration, and an excellence award model was used as an example of a holistic evaluation framework. The theoretical contribution of this study contributes in the discussion regarding quality evaluation, excellence and the integration of management activities in higher education. For practitioners this dissertation work provides both practical tools arising from the results of the research articles, as well as a synthesis of theoretical and practical issues that should be accounted for when developing quality evaluation approaches in institutions of higher education. Tiivistelmä Korkeakoulujen rooli tuottavan talouden olennaisena osana on korostunut uudella vuosituhannella. Tästä on seurannut jatkuva tarve osoittaa vaatimustenmukaisuutta ja erinomaisuutta eri sidosryhmille. Tämän seurauksena on kehitetty suuri määrä erilaisia sisäisiä ja ulkoisia arviointiprosesseja. Kuitenkin näiden prosessien yhdistäminen toiminnan jatkuvan kehittämiseen on usein osoittautunut haastavaksi johtuen organisatorisesta monimutkaisuudesta. Tässä kokoomaväitöskirjassa tarkastellaan, kuinka erityyppisiä laadunarviointeja korkeakoulutuksessa voitaisiin integroida mielekkäällä ja synergistisellä tavalla. Integraatiota tarkastellaan niin horisontaalisesti yliopiston kolmen tehtävän läpi, kuin myös vertikaalisesti ulkoisista arvioinneista itsearviointiin. Väitöskirjaan liittyvät tutkimusartikkelit tukevat tätä tutkimusongelmaa eri näkökulmista. Kirjallisuuskatsaus tukee artikkelien tuloksia valittujen laatujohtamisen ja arvioinnin aiheiden tarkastelun kautta. Tämän työn tuloksien mukaan suunnitelmallinen arviointikokonaisuus lähtien korkeakoulutasolta voisi tukea arviointien tulosten kumuloitumista ja edistää jatkuvaa kehittämistä. Holistinen näkökulma arviointiin ja arviointikriteereihin voisi ehkäistä osaoptimointia ja varmistaa, että seikkoihin kuten sidosryhmien osallistuminen ja yhteiskunnallinen vaikuttavuus huomioidaan arvioinneissa. Arviointien integrointi tukisi osaltaan korkeakoulun johtamisjärjestelmän integrointia ja edistäisi yhteisiin tavoitteisiin pyrkimistä. Erinomaisuuden yleistynyttä käsitettä voidaan pitää yhdistävänä tekijänä integraation toteutumisessa, ja siihen perustuvaa laatupalkintomallia käytettiin työssä esimerkkinä holistisesta arviointimallista. Väitöskirjatyön teoreettinen kontribuutio liittyy korkeakoulujen laadunarvioinnin, erinomaisuuden ja johtamistoimien integroinnin tieteelliseen keskusteluun. Käytännön työn kannalta tutkimustulokset tarjoavat käytännön työkaluja artikkelien tulosten kautta, sekä yhdistelmän teoreettisista ja käytännön seikoista jotka tulisi huomioida korkeakoulun laadunarviointia kehitettäessä.

Varhaiskasvatuslaki (2015) ja valtakunnallinen varhaiskasvatussuunnitelman perusteet (2005) edellyttävät järjestäjältään toteutuneen varhaiskasvatuksen arviointia. Varhaiskasvatussuunnitelman perusteet nähdään merkittävänä yhdenmukaisen sekä laadukkaan varhaiskasvatuksen toteutumisen määrittäjänä. Laadunarvioinnin avulla saadaan tietoa laadun tämänhetkisestä tilanteesta ja kehittämiskohteista. Laadukkaalla varhaiskasvatuksella onkin positiivinen vaikutus muun muassa lapsen akateemisiin taitoihin, erityisesti kieleen ja sosiaalisiin taitoihin. Tämän tutkimuksen tarkoituksena oli varhaiskasvatuksen oppimisympäristöjen laadun tarkastelu maailmalla paljon käytetyn Early Childhood Environment Rating Scale (ECERS-R) -mittarin avulla. Tutkimuksessa selvitettiin myös ECERS-R -mittarin vastaavuutta Loimaan kaupungin ja valtakunnalliseen varhaiskasvatussuunnitelmiin. Mittarin avulla tehdään näkyväksi laadukkaan varhaiskasvatuksen pedagogiset prosessit. Mittarin mukaisia havainnoitavia sisältöjä olivat toiminta ja sisällöt, henkilökohtaiset hoitorutiinit, kieli ja päättely, vuorovaikutus, päiväohjelma sekä vanhemmat ja henkilökunta. Laatua tarkasteltiin tässä tutkimuksessa pedagogisesta näkökulmasta. Laadun pedagoginen näkökulma rakentuu neljän ulottuvuuden kautta, joita ovat yhteiskunnallinen ulottuvuus, lapsen, opettajan sekä oppimisympäristön laatu. Laadullinen tapaustutkimus toteutettiin havainnoimalla kahdeksaa loimaalaista päiväkotiryhmää ja yhtä ryhmäperhepäiväkotiryhmää, 2-6-vuotiaiden lasten ryhmissä. Varhaiskasvattajien hyviä käytäntöjä kerättiin fokusryhmäkeskustelujen avulla. ECERS-R -mittarin ja fokusryhmäkeskustelujen tulosten pohjalta syntyi laadunarviointitaulukko. Taulukkoa hyödynnetään Loimaan kaupungin varhaiskasvatussuunnitelman ryhmäkohtaisissa laadunarvioinneissa. Laadunarviointimittarilla tehtyjen arviointien mukaan Loimaan kaupungin oppimisympäristöjen laatujen vahvuudet olivat päiväohjelma sekä henkilökohtaiset hoitorutiinit. Toiminta ja sisällöt -osio jäi tyydyttävälle tasolle. Valtakunnallinen ja Loimaan kaupungin varhaiskasvatussuunnitelma sekä ECERS-R -mittari sisälsivät samankaltaisia laatutavoitteita. Mittari voi siten olla tukemassa valtakunnallisesti yhdenmukaisen laadun toteutumista.

Tutkimuksen tavoitteena oli saada tietoa Ammatillisen opettajankoulutuksen tuloksellisuuden kokonaisuudesta. Tarkoituksena oli selvittää, miten avainhenkilöt määrittävät tuloksellisuutta ja minkälaista heidän mielestään on tuloksellinen ammatillinen opettajankoulutus. Lisäksi selvitettiin suhtautumista tulosajatteluun ja kokemuksia tuloksellisuuden mittaamisesta. Lopuksi tarkasteltiin tuloksellisuuteen ja sen mittaamiseen liittyviä koettuja ongelmia ja kehittämiskohteita. Tutkimus toteutettiin Oulun ammattikorkeakoulun Ammatillisessa opettajakorkeakoulussa vuosina 2013–2014 kvalitatiivisena haastattelututkimuksena. Tiedonkeruumenetelmänä käytettiin puolistrukturoitua teemahaastattelua, ja aineisto analysoitiin laadullisella sisällönanalyysillä. Haastateltavista (N=9) osa toimii ammatillisen opettajankoulutuksen tai ammattikorkeakoulun johtotehtävissä, osa käytännön tehtävissä opettajankouluttajina. Koska ammattikorkeakoulua koskeva lainsäädäntö on muuttunut, ja tulosrahoitus tullut vahvemmin toimintaa ohjaavaksi, tutkimusaihe on siten hyvin ajankohtainen. Avainhenkilöille tuloksellisuus merkitsi tehokkuutta, taloudellisuutta ja vaikuttavuutta. Tuloksellisuus on opiskelijoiden osaamistavoitteiden saavuttamista, osaamisen kasvua ja sen varmistamista. Laadukas työ, innovatiivisuus ja ajanmukaisuus ovat keskiössä. Asiakas- ja kumppanuussuhteet ovat tärkeitä. Tuloksellisuuden ulottuvuudet muodostuivat seuraaviksi: 1) yhteiskuntavastuullinen toimija ja vaikuttaja 2) luotettava ja arvostettu työelämä- ja verkostoyhteistyökumppani 3) riittävästi resursoitu ja osaava asiantuntija 4) joustava, moniulotteinen organisaatio ja korkea laatu 5) hyvinvoiva, innovatiivinen ja dynaaminen työyhteisö 6) mahdollistava, ketterä strategia 7) erityispiirteet 8) yhteinen toimintakehys ja laatumittaristo. Määrällisissä tulosmittareissa laadulliset tekijät jäävät useimmin tarkastelun ulkopuolelle. Jatkuvuus ja menestyminen turvataan osaamisella ja tulevaisuuden ennakoinnilla.

Tämä maaseutuyritysten rahoitusneuvonnan palveluiden laadun arviointi pe- rustuu Keski-Suomen elinkeino-, liikenne- ja ympäristökeskuksen (ELY) toi- meksiantoon. Arviointi on kohdennettu Manner-Suomen kehittämisohjelmasta vuosina 2007–2013 rahoitusta saaneisiin yritysasiakkaisiin. Arvioinnin näkökulmana on yritysasiakkaan kokema laatu. Arvioinnissa on olennaista se mihin maaseutuyritysten rahoitusneuvonnan palveluiden laadun kehittämisellä pyritään. Yritystuet eivät saisi liikaa ohjata maaseutuyritysten rahoitusneuvontaa vaan painopiste pitäisi olla maaseutuyritysten kasvun ja kehittymisen tavoitteiden edistämisessä ja niitä tukevassa ratkaisukeskeisessä asiakasneuvonnassa, mitkä ovat maaseutuyritysten rahoitusneuvonnan palve- luiden laadun ydintä. Tutkimuksen tulokset perustuvat huhtikuussa 2014 toteutettuun Manner- Suomen maaseudun kehittämisohjelmasta rahoitusta saaneiden yritysasiakkai- den verkko - ja kirjekyselyihin sekä maaseutuyritysten rahoitusneuvonnan pal- veluiden tarjoajien verkkokyselyyn ja haastatteluihin. Kysely lähettiin kuntien seudullisten kehittämisyhtiöiden toimitusjohtajille ja yritysneuvojille sekä niiden kuntien kunnanjohtajille ja elinkeinojohtajille jotka eivät ole mukana seudullisissa kehittämisyhtiöissä. Kyselyiden lisäksi arviointi- aineistoa täydennettiin haastattelemalla seudullisten kehittämisyhtiöiden toimi- tusjohtajia ja yritysneuvojia sekä kunnanjohtajia ja elinkeinojohtajia. Tutkimuksen tuloksia tarkastellaan alueittain seutukuntajaon, ja soveltuvin osin toimialan, yrityksen koon ja toiminta-ajan mukaan. Arvioinnin ensituloksia käsiteltiin Keski-Suomen ELY-keskuksen järjestämässä arviointikokouksessa. Arvioinnin keskeiset tulokset, päätelmät ja kehittämiseh- dotukset ovat raportin alussa.

Tämän pro gradu -tutkielman aiheena on nuortenkirjastotyön laatu. Tutkielman tavoitteena on selvittää, mitä nuortenkirjastotyön laatu on ja miten sitä voidaan arvioida. Tutkielman teoreettisena taustana toimii kirjastopalvelujen arviointia ja nuortenkirjastotyön laatua käsittelevä kirjallisuus. Kirjallisuuden pohjalta määritellään nuortenkirjastotyön laadun käsite. Erityisesti eri organisaatioiden julkaisemien nuortenkirjastyön laatua käsittelevien asiakirjojen pohjalta esitetään nuortenkirjastotyön laadun keskeisimmät ulottuvuudet ja niiden väliset suhteet käsitemallin muodossa. Nuorten kirjastotyön laadun keskeisimmät ulottuvuudet ovat: nuorten tarpeet, käytettävissä olevat resurssit, suunnittelu, nuorille suoraan tai välillisesti suunnatut palvelut, nuorten osallistaminen, yhteistyö muiden nuorten parissa työskentelevien toimijoiden kanssa, tehokkuus sekä henkilöstön myönteiset asenteet. Tutkielman empiirisessä osiossa kehitettiin nuortenkirjastotyön arviointikehikko, joka pohjautuu vastaavaan yhdysvaltalaiseen arviointimenetelmään. Arviointikehikon kehittämisen tukena käytettiin eri organisaatioiden julkaisemia laatuasiakirjoja ja nuortenkirjastotyön ammattilaisten kommentointia. Tutkielmaan kuului myös arviointikehikon testaaminen, joka toteutettiin kuudessa erikokoisessa kirjastossa. Testauksen tarkoituksena oli arviointikehikon kehityskohtien paikallistaminen ja käyttökelpoisuuden arviointi. Testauksen perusteella arviointikehikon todettiin soveltuvan suomalaisten kirjastojen sisäiseen nuortenkirjastotyön laadun arvioimiseen. Lopuksi toteutettiin Lempäälän kirjaston nuortenkirjastotyön arviointi valmista arviointikehikkoa käyttäen.

TIIVISTELMÄ Koriseva, Soile ja Minkkinen, Milla. Kohti uutta palautekulttuuria. Opiskelijapalaute- käytännöt ja niihin liittyvät prosessit Jyväskylän yliopistossa. Kasvatustieteen ja aikuis- kasvatustieteen pro gradu – tutkielma. Jyväskylän yliopisto. Kasvatustieteiden laitos. 213 sivua. Bolognan prosessin myötä laadunarvioinnista on tullut yhä keskeisempi osa korkeakoulujen arkea. Yliopistoissa arviointi on konkretisoitunut paljolti opiskelijapalautteen keräämiseen ja siihen liittyviin prosesseihin. Jyväskylän yliopistossa on halu kehittää pa- lautejärjestelmiä, joten tarvittiin kattava selvitys palautekäytäntöjen nykytilasta. Palau- tejärjestelmillä hankitulla tiedolla tullee tulevaisuudessa olemaan merkitystä myös yliopistojen saamaan perusrahoitukseen. Tutkimuksen tarkoituksena olikin kuvata Jyväskylän yliopiston opiskelijapalautetoiminnan nykytilaa lukuvuonna 2009–2010. Kyselylomakkeeseen vastasi 319 Jyväskylän yliopiston henkilökunnan jäsentä, joiden tehtävänkuvaan nimikkeen perusteella kuului opetus ja/tai sen organisointi. Kyselylomakkeen avulla selvitettiin ensisijaisesti, millä tavoin kurssipalautetta kerättiin ja hyö- dynnettiin. Lisäksi oltiin kiinnostuneita, minkälaisina palautetoimintaa määrittävät osa- alueet (arviointiote, laatukulttuuri, kehittäminen sekä hyvän opetuksen määrittely ja oppimiskäsitykset) näyttäytyivät Jyväskylän yliopistossa. Opintoasianpäälliköiden haastatteluissa paneuduttiin osin samoihin teemoihin kuin lomakkeessa. Aineistojen käsittelys- sä hyödynnettiin kuvailua, laskemista, luokittelua, teemoittelua ja yksisuuntaista va- rianssianalyysiä sekä sen parametritonta vastinetta, Kruskalin-Wallisin - testiä. Tutkimuksen mukaan palautetta kerättiin eri tavoin ja sitä hyödynnettiin vaihtelevasti. Keskeistä oli, että palautteen käsittely ja sen hyödyntäminen näkyivät harvoin palautteen antajalle eli opiskelijalle. Syinä palautteen keruun taustalla korostuivat erityisesti oman toiminnan arviointiin ja kehittämiseen sekä opintojen kehittämiseen liittyvät seikat. Paras tapa kerätä palautetta oli kirjallisesti ja paras ajankohta vastaavasti kurssin loppupuolella tai sen jälkeen. Tutkittavien mukaan heidän laitoksensa opettajat keräsivät palautetta lähinnä kursseista ja opetuksesta. Haastatteluissa peräänkuulutettiin uuden- laista palautekulttuuria, jossa palaute olisi luonnollinen osa kaikkien toimijoiden toimintaa. Yhteiset käytänteet tai jopa yhteinen palautejärjestelmä nähtiin tarpeellisina, mutta samalla alleviivattiin myös tiedealakohtaisten eroavaisuuksien huomioon ottamista. Palautetoimintaa määrittäviä osa-alueita tarkasteltaessa huomattiin, että Jyväskylän yliopistossa painottuivat selkeästi enemmän kehittävän kuin perinteisen arvioinnin piirteet. Laatukulttuurin piirteistä tutkittavat eivät osanneet nimetä keskeisimpiä. Erilaisia kehittämistoimia oli toteutettu, mutta ne eivät olleet kovin systemaattisia. Hyvän opetuksen ominaisuuksia vastaajat pitivät melko tai erittäin tärkeinä ja eri opetusmuotojen kohdalla korostuivat erilaiset ominaisuudet. Oppimiskäsityksiltään tutkittavat olivat enemmän konstruktivistisia kuin behavioristisia. Lisäksi tiedekuntien välillä oli tilastollisesti merkitseviä eroja konstruktivismi- ja behaviorismimittarin suhteen.

Pitkäaikaisen kansainvälisen kokemuksen mukaan eri alojen välinen vuorovaikutus ja keskinäinen palaute korkeakoulun sisällä voi johtaa poikkeuksellisen hedelmälliseen institutionaaliseen oppimisen ja kehittymisen prosessiin. Siitä syystä sisäisen ristiinarviointijärjestelmän kehittäminen on otettu osaksi Jyväskylän ammattikorkeakoulun laatutyötä. Ensimmäinen arviointi toteutettiin ammattikorkeakoulun strategiaryhmässä marraskuussa 2003 päätetyn tehtäväksiannon perusteella. Arviointiryhmän tehtävänä oli:1) suunnitella, toteuttaa ja arvioida ensimmäinen koulutusohjelmien välinen ja koulutusyksikkörajat ylittävä sisäinen ristiinarviointi ja 2) laatia esitys koulutusohjelmien systemaattisen ristiinarviointijärjestelmän rakentamiseksi Jyväskylän ammattikorkeakouluun. Ensimmäiseksi arvioinnin kohteeksi valittiin liiketalouden yksikön tietojenkäsittelyn koulutusohjelma. Valinta perustui koulutusohjelman vapaaehtoisuuteen ja omaan halukkuuteen. Arviointiprosessi toteutettiin kevätlukukaudella 2004 kehittävän arvioinnin periaatteiden mukaisesti. Arviointiprosessiin kuului 1) arvioinnin suunnittelu, 2) arvioitavan koulutusohjelman tekemä ohjeistettu itsearviointi, 3) arviointiryhmän tekemä arviointivierailu, 4) palautetilaisuus, 5) arviointiryhmän laatima julkinen raportti ja 6) siihen sisältyvä esitys sisäisen ristiinarviointitoiminnan systematisoinnista ja kehittämisestä. Koulutusohjelman arviointi kohdistui koulutusohjelman ja sen opetuksen suunnitteluun, opetuksen toteutukseen, tuloksiin ja opiskelijoiden oppimiseen ja koulutusohjelman toteuttamista tukeviin palveluihin ja tukitoimiin. Arviointiryhmän mukaan liiketalouden yksikön tietojenkäsittelyn koulutusohjelman erityisiin vahvuuksiin kuuluvat koulutusohjelman moderni ja dynaaminen ilme ja sisältö, opettajien välinen tiivis yhteistyö opintokokonaisuuksien ja -jaksojen suunnittelussa ja toteutuksessa, monipuolisten opetusmenetelmien käyttö ja siihen luontevasti kuuluva tehokas verkko-oppimisympäristön hyödyntäminen sekä yksikössä säännöllisesti toteutettavat pedagogiset suunnittelupäivät. Vahvuuksia ovat myös yksikön hyvä työilmapiiri ja henkilöstön luonteva suhde opiskelijoihin, syvälliset ja toimivat, tosin vahvasti henkilösidonnaiset työelämäsuhteet ja toimiva, vaikkakin dokumentoinnin puolesta vielä kehittämistä vaativa opiskelijapalautejärjestelmä. Arviointiryhmän kehittämisehdotukset liittyvät koulutusohjelman profiilin vahvistamiseen vaihtoehtoisia opiskelumahdollisuuksia kehittämällä ja kartoittamalla mahdollisuuksia uuden, toimintaa täsmällisemmin kuvaavan spesifin tutkintonimikkeen käyttöönottoon. Arviointityöryhmä esittää harkittavaksi myös koulutuksen suunnitteluprosessin systematisointia tekemällä suunnittelun lähtökohdat (koulutuksen tavoitteet) selkeiksi ja näkyviksi. Myös koulutuksen työelämäsuhteiden systematisointia ja dokumentointia olisi hyvä kehittää edelleen. Arviointityöryhmän esityksen mukaan koulutusohjelman luonne edellyttäisi kansainvälistymisen tehostamista. Yhteistyössä muiden toimijoiden kanssa tapahtuva t&k-toiminnan kehittäminen voisi tuoda mukanaan mielenkiintoisia uusia avauksia ja näköaloja nopeasti kehittyvään liiketalouden tietojenkäsittelyyn. Parhaimmillaan projektitoiminta saattaisi tarjota myös lisäresursseja ja -mahdollisuuksia niukkojen yksikköhintojen kanssa kamppailevalle koulutusohjelmalle. Myös opiskelijoiden ohjaustoiminnan tehostaminen ja koulutusohjelman ja tukipalveluiden (erityisesti tietohallinto) yhteistyön kehittäminen sisältyvät arviointiryhmän kehittämisehdotuksiin. Laatiessaan esitystä systemaattisen ristiinarviointijärjestelmän rakentamiseksi työryhmä vaiheisti arviointiprosessin rakenteen ja teki esityksen toimintatavan edelleen kehittämisestä. Esityksen mukaan: 1) arviointiryhmään on otettava mukaan opiskelijaedustus, 2) arvioitavan koulutusohjelman edustus on oltava mukana arviointiprosessin suunnittelussa, 3) arviointivierailun valmistelu on toteutettava huolellisesti, 4) vierailun toteuttamiseen on varattava riittävästi aikaa, 5) arviointiraportin kokoamisesta ja sen aikatauluista on sovittava täsmällisesti, 6) ristiinarvioinnille on varattava toiminnan edellyttämä resurssointi, 7) on laadittava pelisäännöt arviointiryhmien kokoamisesta jatkossa ja 8) on laadittava pilottivaiheen jälkeen selkeä suunnitelma millä syklillä ja miten usein koulutusohjelmat arvioidaan tulevaisuudessa. Arviointiryhmä kehitti myös eettiset pelisäännöt sisäiselle ristiinarvioinnille: 1) sisäisten koulutusohjelma-arviointien ensisijaisena tarkoituksena on oppivan organisaation idean hengessä tukea koulutusohjelman, sen ydin- ja tukiprosessien, kehitystä. 2) prosessin aikana tapahtuva arviointi ja siinä annettava palaute on luonteeltaan kehittävää ja muutokseen tähtäävää, ei valvovaa, tarkastavaa eikä luokittelevaa, 3) arviointien aikana annettava palaute on luonteeltaan rakentavaa, uusia näkökulmia ja vaihtoehtoja tarjoavaa. Kehittämiskeskustelut ovat arviointien tärkein työskentelymuoto, 4) arviointitilanteet ovat luottamuksellisia. Ilman luottamusta ei synny kehittämistoiminnan edellyttämää avoimuutta ja rehellisyyttä, 5) Arvioinnissa syntyvä loppuraportti on julkinen. Kuitenkin ennen tietojen julkaisemista raportti käydään läpi yhdessä arvioitavan koulutusohjelman edustajien kanssa ja asiavirheet korjataan. Toteutettu pilottiarviointi osoitti, että vaikka se vaatii työtä ja paneutumista kaikilta osapuolilta, sen hyödyt ovat kiistattomat. Sisäinen ristiinarviointi saa arvioitavan koulutusohjelman vastuuhenkilöt kokoamaan ja analysoimaan koulutusohjelman tilannetta systemaattisesti ja edellyttää myös arvioitsijoilta huolellista paneutumista arvioitavan koulutusohjelman kysymyksiin. Se palvelee tehokkaasti ammattikorkeakoulun pedagogisen toiminnan kehittämistä lisäämällä koulutusohjelmien välistä keskustelua ja yhteistyötä, levittämällä hyviä koulutuksen käytäntöjä alalta toiselle ja tarjoamalla monipuolisia oppimisen mahdollisuuksia korkeakouluyhteisön jäsenille. Koulutusohjelmien ristiinarviointi kehittää tehokkaasti myös korkeakoulun yhteistä laatu- ja arviointikulttuuria.Sekä arvioidun koulutusohjelman vetäjät ja asiantuntijat että ammattikorkeakoulun eri koulutus- ja asiantuntijuusaloja edustaneet arvioitsijat pitivät läpikäytyä arviointiprosessia oivallisena kehittämisvälineenä.

Jyväskylän ammattikorkeakoulussa käynnistyi vuoden 2004 alussa koulutusalojen vuorovaikutukseen ja keskinäiseen palautteeseen perustuva koulutusohjelmien ristiinarviointi osana korkeakoulun laatujärjestelmää. Ensimmäisenä arvioitiin tietojenkäsittelyn koulutusohjelma, toiseksi valittiin Degree Programme in Nursing. Koulutusohjelman ristiinarviointi toteutettiin syyskuussa 2004 kehittävän arvioinnin periaatteiden mukaisesti. Arviointi kohdistui koulutusohjelman ja sen opetuksen suunnitteluun, opetuksen toteutukseen, tuloksiin ja opiskelijoiden oppimiseen sekä koulutusohjelman toteuttamista tukeviin palveluihin ja tukitoimiin. Tekemänsä arvioinnin perusteella arviointiryhmä pitää Degree Programme in Nursing -koulutusohjelman erityisenä vahvuutena sitä, että koulutusohjelman kehittämistyö perustuu systemaattiseen tutkimukselliseen otteeseen. Sairaanhoitajakoulutuksen toteuttaminen sekä englannin että suomen kielellä opetussuunnitelmaltaan identtisenä vahvistaa hoitotyön koulutusohjelman, koulutusalan ja ammattikorkeakoulun kansainvälistymistä. Koulutusohjelman toimivat kansainväliset yhteistyökumppanuudet, opiskelijoiden harjoittelumahdollisuudet ja suuri ulkomailla suoritettujen opintojen määrä tuovat koulutusohjelmalle kansainvälistä uskottavuutta. Vahvuutena on pätevä ja kansainvälisesti kokenut henkilöstö, joka on sitoutunut sekä opiskelijoiden ohjaukseen että koulutusohjelman toteuttamiseen. Välitön ja vapautunut ilmapiiri opiskelijoiden, opettajien ja johdon välillä muodostaa hyvän pohjan toiminnalle ja kehittämistyölle. Arviointiryhmän mukaan englanninkielisen hoitotyön koulutusohjelman keskeinen kehittämishaaste on toiminta-ajatuksen kirkastaminen suhteessa aluekehitystyöhön ja työelämän kansainvälistymiseen. Yhteistyön lisääminen ammattikorkeakoulun muiden kansainvälisten koulutusohjelmien ja muualla toteutettavien englanninkielisten hoitotyön koulutusohjelmien kanssa tukisi hyvin monia koulutusohjelman tavoitteita. Kansainvälisen tutkimus- ja kehittämistoiminnan lisääminen toisi lisäresursseja koulutusohjelman toteuttamiseen ja erityisesti englanninkielisten opinnäytetyöaiheiden löytämiseen. Opinnäytetyöprosessia kannattaisi kehittää kokonaisuudessaan ja erityisesti suhteessa koulutusyksikön tutkimus- ja kehittämistoimintaan. Arviointiryhmän mielestä olisi opiskelun ohjauksessa tärkeätä kehittää henkilökohtaiseen opiskelusuunnitelmaan perustuvaa ajattelua ja erityisesti kulttuurisensitiivistä uraohjausta. Arviointi nosti esiin englanninkielisten koulutusohjelmien riippuvuuden koko ammattikorkeakoulun kulttuurisesta oppimis- ja työyhteisöstä. Jyväskylän ammattikorkeakoulua oppimisympäristönä tulisi edelleen kehittää aidosti kaksikieliseksi. Arviointiryhmä on tehtäväksi antonsa mukaisesti pyrkinyt Degree Programme in Nursing -koulutusohjelman arvioinnin rinnalla kuvaamaan itse arviointiprosessia sekä keräämään kokemuksia ja informaatiota systemaattisen koulutusohjelmien ristiinarviointijärjestelmän rakentamiseksi. Degree Programme in Nursing -koulutusohjelman arviointi oli sekä kielellisesti että kulttuurisesti rikas oppimisprosessi. Arvioinnin kautta avautui näkymä sekä vieraasta kulttuurista olevan opiskelijan asemaan ja mahdollisuuksiin opiskella ja työskennellä Keski-Suomessa että englanninkielisen koulutusohjelman toteuttamiseen Suomessa.

Jyväskylän ammattikorkeakoulussa käynnistyi vuoden 2004 alussa koulutusalojen vuorovaikutteiseen ja keskinäiseen, kehittävään keskusteluun perustuva koulutusohjelmien ristiinarviointi osana korkeakoulun laadunvarmistusjärjestelmää. Arviointiprosessista on kehittynyt kahden vuoden kuluessa toimiva malli arvioida, kehittää ja varmistaa koulutusohjelmien laadukkaan toiminnan toteutumista. Syksyn 2006 alkaessa on toteutettu jo kolmetoista ristiinarviointia. Arviointiryhmissä työskennellyt henkilöstö ja opiskelijat ovat hyödyntäneet välittömästi havaitsemiaan hyviä käytäntöjä toiminnassaan omissa yksiköissään. Kevään 2006 aikana arvioitiin neljä koulutusohjelmaa, joiden raportit on koottu käsillä olevaan julkaisuun. Tämä julkaisu esittelee liiketalouden koulutusohjelman, mediatekniikan koulutusohjelman, logistiikan koulutusohjelman ja musiikin koulutusohjelman ristiinarvioinnit. Neljän eri koulutusyksikön koulutusohjelmien ristiinarvioinnit nostivat esille koulutusohjelmien vahvuuksia ja parantamisalueita. Kaikkien arvioitujen koulutusohjelman voimavarana on henkilöstön laaja ja syvällinen asiantuntijuus aihealueellaan. Liiketalouden koulutusohjelman vahvuudeksi ristiinarvioinnissa havaittiin koulutusohjelman valinta painottaa tradenomien kouluttamisessa työelämän tarvitsemaa laaja-alaista osaamista. Ammattikorkeakoulun ja yksikön strategiat ja toimintapolitiikat on koulutusohjelmassa viety yksilötasolle. Suunnittelu- ja kehityskeskusteluissa asetetaan opettajille henkilökohtaiset tavoitteet BSC-mittaritavoitteiden toteuttamiseksi. Liiketalouden koulutusyksiköllä on oma pedagoginen strategia, jolla on edistetty pedagogista kehittämistä. Liiketalouden koulutusohjelmassa on otettu käyttöön ongelmaperustaisen oppimisen menetelmä (PBL). Ongelmaperustaiseen menetelmään perehtyminen ja osittainen siirtyminen siihen on merkinnyt myönteistä muutosta vallitsevaan oppimis- ja opettamiskulttuurin sekä lisännyt pedagogista keskustelua ja yhteistyötä. Koulutusohjelman vahvuutena on henkilökunnan vahva substanssiosaaminen yhdistettynä kehitysmyönteiseen ilmapiiriin. Liiketalouden yksikön pedagoginen strategia painottaa oppija- ja oppimislähtöistä pedagogiikkaa. Koulutusohjelman haasteita ovat yhteisen ohjauskulttuurin luominen, ohjausajattelun kehittäminen ja ohjauskäytäntöjen systematisoiminen. Ongelmaperustaisen oppimisen soveltaminen vaatii kehittämistyön jatkamista erityisesti siten, että opetuksessa käytettävät ongelmat nousisivat aidoista työelämän tilanteista. Liiketalouden koulutusohjelma voi vielä monipuolistaa opiskelijoiden oppimisen arvioinnin menetelmien kirjoa siten, että ne tukevat ongelmaperustaisen oppimisen periaatteita vielä laajemmin. Lisäksi työelämäkontaktien syventäminen on välttämätöntä, jotta kontakteista syntyisi lisää tutkimus ja kehityshankkeita. Logistiikan koulutusohjelman vahvuudeksi tunnistettiin koulutusohjelman käyttämä laadunvarmistusjärjestelmän mukainen suunnittelukehys. Koulutusohjelmalla on tiimeihin organisoituneena kattava sisäinen yhteistyö opetussuunnitelmien kehittämisessä ja ajantasaistamisessa. Koulutusohjelmassa on hyödynnetty kehityskeskusteluja ohjaamaan tehokkaasti opettajien työn suuntaamista opetukseen, kansainväliseen toimintaan sekä tutkimus- ja kehityshankkeisiin. Koulutusohjelmalla on tiivis ja vilkas yritysyhteistyö sekä tutkimus- ja kehitystoiminta. Projektihenkilöstön osaamista hyödynnetään tiimeissä ja opetuksessa. Logistiikan koulutusohjelma kokoaa ja hyödyntää mallikkaasti neuvottelukunnan ja yrityskontaktien antaman palautteen ja arviointitiedon. Koulutusohjelmalla on monipuoliset palautekanavat, joiden tuottama tieto on dokumentoitu systemaattisesti ja käsitelty kattavasti. Pedagogisen kehittämisen tarve koulutusohjelman strategian toteuttamiseksi ja tulevaisuuden vahvuuksien varmistamiseksi on tunnistettu koko henkilöstön piirissä. Logistiikan koulutusohjelmalle esitetään kehittämisehdotuksena logistiikkainsinöörin perus- ja erityisosaamisen kuvaamista systemaattisena, osaamisperustaisena kokonaisuutena. Laajaa kansainvälistä verkostoa voisi käytettävissä olevien resurssien avulla hyödyntää kansainvälisten koulutuksen laatukriteereiden pohtimiseen ja kehittämiseen. Opiskelijan osaamisen kehittymisen systemaattiseen tukemiseen ja opiskelijan oman asiantuntijuuden rakentamiseen ehdotetaan henkilökohtaisen opiskelusuunnitelman ja ohjauksen kehittämistä edelleen. Opiskelijoiden edustajille tulisi luoda mahdollisuus vaikuttaa koulutusohjelman suunnitteluun ja opetussuunnitelmaprosessiin. Mediatekniikan koulutusohjelman suunnittelun perustana toimivat Jyväskylän ammattikorkeakoulun aluekehitystä tukevat linjaukset. Koulutusohjelmassa on havaittavissa vahva työelämän ja opetuksen sisällön keskinäinen kytkentä: opiskelijat tekevät yritysten tilaamia projektitöitä aidoissa työelämäkonteksteissa. Mediatekniikan koulutusohjelman henkilöstöllä on vahvaa alan kansainväistä ja kansallista huippuosaamista. Mediatekniikan koulutusohjelmassa on toteutettu opintojen rakenne siten, että ammatilliset opinnot on teemoitettu eri vuosikursseille ajatellen opiskelijoiden ammatillista kehittymistä jatkumona. Tässä rakenteessa teoreettiset opinnot sekä käytännön projektiopinnot tukevat hyvin toisiaan. Mediatekniikan koulutusohjelma on onnistunut opiskelijoiden valinnassa, ohjauksessa ja tutoroinnissa, mikä näyttäytyy tutkinnon suorittaneiden suurena määränä. Kehittämisehdotuksena informaatioteknologian instituutille esitetään sen strategisten painopisteiden selkeämpää kirjallista tunnistamista. Ne voidaan tunnistaa joko painopistealueina tai tavoiteasetannan avulla, jotta ne hahmottuisivat niin koulutusohjelma- kuin henkilötasolla. Koulutusohjelman opettajien vahvaa osaamista voitaisiin hyödyntää laajemmin tutkimus- ja kehitystoiminnassa. Mediatekniikan koulutusohjelman tulisi kehittää erityisesti sekä opettajien että opiskelijoiden kansainvälistymistä. Informaatioteknologian instituutin ja mediatekniikan koulutusohjelman tulisi kehittää palautejärjestelmän vaikuttavuuden dokumentointia ja erityisesti sen viestimistä. Palautejärjestelmä on kattava, mutta palautteen konkreettinen vaikutus toiminnan kehittämiseen jää etenkin opiskelijoille epäselväksi. Musiikin koulutusohjelman yhdeksi vahvuudeksi tunnistetaan kulttuurialalla tehty vahva strategiatyö. Musiikin koulutusohjelmassa toimii tehokas ja tuottava koulutusprosessi, siten opiskelijat valmistuvat koulutusohjelmasta alle ohjeajan ja koulutusohjelman keskeytysprosentti on alhainen. Musiikin koulutusohjelman vahvuuksia ovat lisäksi runsaat kansainväliset kontaktit sekä osallistuminen eurooppalaiseen korkeakoulujen väliseen verkostoitumiseen ja kehittämistyöhön. Opetusmenetelmien valinnoissa ja erilaisten oppimistyylien huomioimisessa vahvuutena on opetusmenetelmien yksilöllinen joustavuus sekä opiskelijoiden että opettajien näkökulmasta. Musiikin koulutusohjelmalle on luonteenomaista avoimuus ja keskustelevuus yhteisössä henkilöstön ja opiskelijoiden kesken. Musiiikin koulutusohjelman kehittämistä edistäisi koulutusalan yhteisen päämäärän kirkastaminen ja musiikin koulutusohjelman roolin ja merkityksen tunnistaminen sen osana. Koulutusohjelman tulisi rohkeasti luoda ”itsensä näköistä”, koulutusohjelman tehtävää tukevaa tutkimus ja kehitystyötä. Opiskelijat tulisi entistä tiiviimmin nähdä tässä työssä resurssina, ja toisaalta tutkimus- ja kehitystyötä pitäisi kehittää myös opiskelijoiden oppimisresurssina. Kulttuurialalla tulisi jatkaa edelleen keskustelua siitä, mitä aluekehitys tarkoittaa, miten sitä voidaan edistää ja miten vahvistaa opiskelijoiden yrittäjyysvalmiuksia. Musiikin koulutusohjelmassa on hyviä käytäntöjä, mutta niiden käyttöönottoa ja palautetiedon käsittelyn systemaattista dokumentointia voisi kehittää. Musiikin koulutusohjelma hyötyisi ammattikorkeakoulun tuottamiin tukipalveluihin perehtymisestä ja niiden hyödyntämisestä koko palvelujen laajuudessa. Koulutusohjelmien ristiinarvioinneista on noussut kehittämisehdotuksia koko ammattikorkeakoululle. Koko ammattikorkeakoulussa pitää kehittää tietojärjestelmiä systemaattisesti ja tavoitteellisesti. Lisäksi tulee varautua henkilöstön eläköitymiseen suunnitelmallisella rekrytointiohjelmalla ja hiljaisen tiedon siirtymisen tukemiseen muutosvaiheessa. Koko korkeakoulun tulee keskittyä pedagogisen osaamisen kehittämiseen.

An important element of the quality assurance system of JAMK University of Applied Sciences (JAMK) is the cross-evaluation of degree programmes, in which the expertise of the various fields of study is utilised to develop education. A multidisciplinary evaluation team is established for each cross-evaluation. The team also produces a report on the evaluation in question, to be published later. Thus, cross-evaluation is also an internal, collective learning method, in which good practices and development ideas are shared and distributed. The cross-evaluation procedure started in JAMK in 2004. By the end of 2008, a total of 31 JAMK degree programmes had undergone the cross-evaluation process. The present publication reports on the cross-evaluation of the Degree Programme in Music Management (DMM) carried out between April 2008 and November 2008. The degree programme, which is conducted in English, is implemented in unique collaboration between three European institutes of higher education. The programme is innovative. It is based on JAMK’s regional and internationalisation strategies. Through its close international co-operation with the EDIM partners, the degree programme realises JAMK’s role as an internationalising agent in Central Finland. It produces professionals for the needs of the entertainment industry and is highly valued by the industry. Campus Entertainment, a company run by the DMM students, helps students network with the music industry and increases their opportunities to employ themselves. The wide personal contacts of the personnel with industry professionals provide a good basis for the programme to cooperate with the music industry and its educational partners. The atmosphere in the programme is open. The informal relationship between the members of the personnel and the students supports innovativeness. The students are enthusiastic and committed to their field of study. The pedagogical principles of the programme, however, need to be clarified. More attention should be paid to the student evaluation criteria and transparency. The different learning styles of the students should be taken into consideration. The programme will be larger in the future, but prioritisation of tasks and better utilisation of support services will still be necessary. The students should have some kind of systematic role in the planning process, and they should be able to see the effects of the feedback they give. Due to the international nature of the degree programme, there should also be an attractive virtual platform enabling active interaction. The cross-evaluation also highlights some challenges for JAMK. The internal marketing of the support services for the students should be improved. Special attention should be paid to the development of the structure of the Study Forum in the Optima Virtual Learning Environment. As degree programmes produce different products for a variety of customers, JAMK should allow programmes to act and communicate in a customer-oriented way. Keywords: universities of applied sciences, constructive evaluation, quality assurance, degree programme, cross-evaluation of degree programme, Music Management

Jyväskylän ammattikorkeakoulun laadunvarmistusjärjestelmään kuuluu yhtenä tärkeänä osana koulutusohjelmien ristiinarviointi, jonka avulla hyödynnetään eri alojen asiantuntemusta koulutuksen kehitystyössä. Jokaista arviointia varten kootaan monialainen arviointiryhmä, joka laatii myös julkaistavan raportin tekemästään arvioinnista. Näin ristiinarviointi on myös sisäinen yhteisöllinen oppimismenetelmä, jossa hyviä käytäntöjä ja kehittämisvirikkeitä siirtyy yhteiseen käyttöön. Arvioinnit aloitettiin vuonna 2004, ja kesään 2009 mennessä on arvioitu jo 34 koulutusohjelmaa. Julkaisussa raportoidaan automaatiotekniikan, ohjelmistotekniikan ja tietotekniikan koulutusohjelmien ristiinarvioinnit. Koulutusohjelmien erityinen vahvuus on alueen työelämän tarpeisiin vastaaminen. Hyvänä käytäntönä voidaan esiin nostaa opintojaksojen puolivälissä kerättävä välipalaute, joka mahdollistaa opintojakson kehittämisen opintojakson toteutuksen aikana. Koulutusohjelmien yhteisiä haasteita ovat muun muassa kansainvälisen toiminnan sekä arviointikäytänteiden kehittäminen. Automaatiotekniikan koulutusohjelmalla on luontevat työelämäyhteydet, mikä perustuu muun muassa jatkuvaan yhteydenpitoon ja partnerisopimuksiin keskeisten yhteistyöyritysten kanssa. Koulutusohjelma tekee aktiivista yhteistyötä strategisella tasolla myös yliopiston kanssa, millä halutaan turvata alan vetovoima ja aloittavien opiskelijoiden osaamistaso. Koulutus painottaa matemaattis-luonnontieteellistä perusosaamista, joka korostuu myös alan kansainvälisissä kriteereissä. Käytännönläheisyys lisääntyy opintojen edetessä ja koulutusohjelma käyttää aktiivisesti oppimisympäristöjään, joiden laitteisto vastaa teollisuudessa käytössä olevia laitteistoja. Oppimisympäristöjen kehittämistä on tuettu T&K-hankkeilla. Koulutusohjelman haaste on saada henkilöstön vahvat työelämäyhteydet näkymään myös opiskelijoille erityisesti opintojen alkuvaiheessa. Samalla myös T&K-toiminnan ja opetuksen yhteyttä voitaisiin tiivistää. Toinen koulutusohjelman haaste on kansainvälisten yhteyksien laajentaminen ja erityisesti henkilöstöliikkuvuuden edistäminen. Arvioinnissa tuli esille selkeä tarve käynnistää englanninkielinen opetus ja hyödyntää laajemmin ulkomaalaisia luennoitsijoita. Opiskelijoiden ja alumnien osallistumista koulutusohjelman suunnittelutyöhön voitaisiin vahvistaa uusilla toimintatavoilla. Lisäksi koulutusohjelman tulisi kehittää arviointikäytänteitä ammattikorkeakoulun pedagogisen strategian mukaisesti. Nopeasti muuttuvalla toimialalla on tärkeää turvata myös henkilöstöresurssien riittävyys ja laboratorioympäristöjen jatkuva kehittäminen. Ohjelmistotekniikan koulutusohjelmalla on vahvat yrityskontaktit ja verkostot, mikä näkyy esimerkiksi yritysten osallistumisena koulutusohjelman suunnitteluun sekä henkilöstön osallistumisena kansainvälisiin asiantuntijaverkostoihin. Koulutuksen kansainvälistä vertailtavuutta parantaa se, että opetussuunnitelmatyössä on hyödynnetty kansainvälisiä kriteeristöjä. Sen vuoksi koulutuksessa painottuu erilaisille tehtäville perustan antava vahva matemaattis-luonnontieteellinen perusosaaminen. Käytännönläheisyys korostuu enemmän ammattiopinnoissa. Opiskelijoiden osaamista kehittää erityisesti pitkäkestoiset ja monipuoliset opiskelijaprojektit, jotka ovat tukeneet myös opiskelijoiden työllistymistä. Lisäksi lähes kaikki opinnäytteet tehdään yrityksille. Opintojaksojen puolivälipalautteen ohella hyvinä käytänteinä esille tulivat Singaporessa järjestettävät opiskelijavaihto-yritysprojektit sekä opetussuunnitelman suunnittelu henkilöstöä ja opiskelijoita osallistavalla seinätaulutekniikalla. Ohjelmistotekniikan koulutusohjelman haasteena on koulutuksen alkuvaiheen rakenteen joustavoittaminen siten, että opiskelijoiden kansainvälinen vaihto ja T&K-mahdollisuuksiin tarttuminen olisi helpompaa. ICT-alan kansainvälisyyden vuoksi opiskelijoiden kansainvälisen liikkuvuuden ja kansainvälisyysosaamisen tukeminen eri tavoin on muutenkin keskeistä. Myös alaan liittyvää kansainvälistä verkostoa voitaisiin laajentaa. Ohjelmistotekniikan T&K-toimintaa olisi syytä vahvistaa ja luoda samalla opiskelijoille enemmän osallistumismahdollisuuksia. Lisäksi yhdeksi kehittämiskohteeksi nousee arvioinnin kehittäminen. Tietotekniikan koulutusohjelman toiminta on selkeää ja järjestelmällistä. Sitä tukevat erinomaiset tilat ja laitteet sekä henkilöstön vahva substanssiosaaminen. Koulutusohjelman kehittämisessä on hyödynnetty eri tavoin hanketoimintaa. Erityisesti runkoverkkoteknologiassa koulutus vastaa alueen työelämän tarpeisiin ja toteuttaa siten aluekehitystehtävää. Opiskelijoiden näkökulmasta opetusmenetelmät monipuolistuvat ja opiskelijakeskeisyys lisääntyy koulutuksen edetessä ja etenkin ammattiopinnoissa teoria ja käytäntö yhdistyvät hyvin. Hyvänä käytäntönä voidaan mainita harjoittelupalautteen kokoaminen, joka tuottaa systemaattista tietoa työelämän tarpeista ja koulutusohjelman tavoitteiden toteutumisesta. Markkinoinnin kehittäminen yhteistyössä ammattikorkeakoulun tukipalvelujen kanssa on yksi tietotekniikan koulutusohjelman haasteista. Kansainvälisen verkoston kehittämishaasteita ovat esimerkiksi yhteistyökumppanien löytäminen, kansainvälistä liikkuvuutta koskevan tiedotuksen lisääminen sekä vaihtojen ajoituksen ja opintojen ja harjoittelujen hyväksilukemisen parantaminen. Opiskelijoiden ohjausta voitaisiin parantaa erityisesti opintojen alkuvaiheessa esimerkiksi vahvistamalla urasuunnitelman ja henkilökohtaisen opintosuunnitelman merkitystä. Opetuksen osalta tulisi kehittää osaamiskeskeisen opetuksen suunnittelua ja toteutusta. Koulutusohjelmassa on myös hyvä opintojaksopalautejärjestelmä, jonka merkitys tulisi tehdä näkyvämmäksi opiskelijoille. Sisäisen viestinnän parantaminen sekä yksiköiden ja koulutusohjelmien erityispiirteiden huomioon ottaminen korostuivat arvioinneissa esiin nostetuissa ehdotuksissa tukipalvelujen ja koko ammattikorkeakoulun toiminnan kehittämiseksi. Tarjottavista tukipalveluista tulisi käydä enemmän vuoropuhelua yksiköiden kanssa. Markkinoinnin osalta toivotaan esimerkiksi lisää yhteistyötä sekä kohdennettua markkinointia valittujen koulutusohjelmien vetovoiman parantamiseksi. Kansainvälistymis- ja T&K-kehittämispalveluiden menettelytapojen toivotaan olevan selkeämpiä ja paremmin ohjeistettuja. Koko ammattikorkeakoulun osalta tuotiin esille opinnäytetöitä koskevan ohjeistuksen uudistaminen.

Jyväskylän ammattikorkeakoulussa käynnistyi vuoden 2004 alussa koulutusalojen vuorovaikutteiseen ja keskinäiseen, kehittävään keskusteluun perustuva koulutusohjelmien ristiinarviointi osana korkeakoulun laadunvarmistusjärjestelmää. Tähän mennessä ristiinarviointeja on toteutettu kuusi. Vuoden 2004 aikana ensimmäisenä ristiinarvioitiin tietojenkäsittelyn koulutusohjelma, sitten Degree Programme in Nursing sosiaali- ja terveysalalta ja kolmantena matkailu-, ravitsemis- ja talousalan palvelujen tuottamisen ja johtamisen koulutusohjelma. Kevään 2005 aikana jatkettiin kolmen koulutusohjelman, liiketalouden koulutusyksikköön kuuluvan itsenäisen Jyväskylän Tiimiakatemian, tekniikan ja liikenteen alan paperikoneteknologian koulutusohjelman sekä kolmantena sosiaali- ja terveysalalta fysioterapian koulutusohjelman ristiinarvioinneilla. Näiden kolmen viimeksi toteutetun arvioinnin raportointi on koottu tähän yhteiseen julkaisuun. Arviointiprosessia on tietoisesti kehitetty arviointi arvioinnilta. Siitä on kehittynyt toimiva malli arvioida, kehittää ja varmistaa koulutusohjelmien laadukkaan toiminnan toteutumista. Tavoitteena on, että ristiinarviointi toteutetaan kaikissa Jyväskylän ammattikorkeakoulun koulutusohjelmissa viimeistään vuoteen 2010 mennessä. Syksyllä 2005 toteutetaan seuraavat kolme ristiinarviointia. Kolmen koulutusohjelman ristiinarvioinnit tuottivat erilaisia tuloksia. Opittavaa löytyy kaikista. Tiimiakatemian koulutusohjelman vahvuuksina arviointiryhmä piti ennakkoluulotonta pedagogista kehitystyötä, jota Tiimiakatemia on tehnyt yrittäjyyskasvatuksen edistämiseksi tuomalla todellisen liiketalouden ympäristön oppimisen tilaksi. Opiskelijoiden sitoutuminen opiskeluun ja Tiimiakatemian yhteisiin arvioihin todettiin arvioinnissa huomattavan suureksi. Tiimiakatemia on myös onnistuneesti levittänyt toteuttamaansa koulutusajattelua. Tiimiakatemian toimintamalli perustuu vahvasti sen omaan ideologiaan ja arvoihin, eikä niinkään Jyväskylän ammattikorkeakoulun yhteisiin strategioihin. Tiimiakatemian ja muun ammattikorkeakoulun välisen toimivan yhteistyön kehittäminen tukisi sekä Tiimiakatemian että ammattikorkeakoulun muuta toimintaa. Erityisesti yrittäjyyskasvatuksen asiantuntemus ja menetelmät todettiin Tiimiakatemiassa onnistuneiksi, ja tässä työssä koko ammattikorkeakoulun tasolla Tiimiakatemialla olisi paljon annettavaa muille koulutusaloille. Yhteistyötä olisi kehitettävä myös niin, että muilla ammattikorkeakoulun opiskelijoilla olisi paremmat mahdollisuudet osallistua Tiimiakatemian opetukseen. Kehittämiskohteen arvioinnissa nousi esille myös tarve arvioida opetussuunnitelman toteutumista Tiimiakatemiassa ja kuvata Tiimiakatemian oppimistavoitteita ja oppimispolkuja korkeakoulujärjestelmän edellyttämällä tavalla. Lisäksi arviointiryhmä halusi tuoda esille tarpeen turvata aloittavien opiskelijoiden riittävä perehdytys ja ohjaus. Paperikoneteknologian koulutusohjelman ristiinarvioinnissa koulutusohjelma todettiin hyvin alueelliseksi koulutusohjelmaksi, jonka perustana on Keski-Suomen vahva metsäklusteri. Alueen työelämä onkin osallistunut pitkäjänteisesti koulutusohjelman suunnitteluun ja toteutukseen. Koulutusohjelman työelämäyhteydet todettiin arvioinnissa hyviksi, ja niiden kautta välittyi tietoa teollisuudesta koulutusyksikköön. Niiden ansiosta myös opiskelijoilla on runsaasti mahdollisuuksia toteuttaa projekti- ja harjoitustöitä sekä opinnäytteitä teollisuudesta. Koulutusohjelmaan kerätään aktiivisesti palautetta sekä opiskelijoilta että työelämältä, jota hyödynnetään opetuksen suunnittelussa eri menetelmin. Arviointiryhmälle koulutusohjelma hahmottui hyvin perinteisenä ja opettajakeskeisenä koulutusohjelmana. Koulutusohjelman ja sen opetuksen suunnittelun haasteiksi todettiin opetusmenetelmien modernisointi ja monipuolistaminen sekä opetuksessa mukana olevien yhteistyökumppaneiden joukon laajentaminen. Hyviksi käytännöiksi todettiin vielä koulutusohjelmassa käytössä olevat keinot ylläpitää päätoimisen henkilöstön substanssiosaamista, kuten tiedon siirtoprosessi koulutusohjelman sisällä ja henkilöstön työelämäjaksot. Fysioterapian koulutusohjelmaa on kehitetty aktiivisesti koko ammattikorkeakouluhistorian ajan. Koulutusohjelman ristiinarvioinnissa arviointiryhmä totesi opinnoissa hyödynnettävän uusinta kansallista ja kansainvälistä tutkimustietoa. Tämä todentui myös arviointivierailun haastatteluissa, joissa opiskelijat pitivät koulutusohjelmaa ajantasaisena ja tulevaisuuden osaamista tuottavana. Lisäksi koulutuksen suunnittelua ovat ohjanneet alueelliset painotukset hyvinvointiosaamisessa ja hyvinvointiteknologiassa. Koulutusohjelman kansainvälisyyden vahvuudeksi todettiin fysioterapeutin ammatin osaksi kansainvälinen pätevyys sekä kansainvälistymisen suunnittelun ulottaminen kahteen nuorimpaan vuosikurssiin, joiden opiskelijat ovat tehneet oman kansainvälistymissuunnitelman. Fysioterapian koulutusohjelman opiskelijoita harjoittelee runsaasti sosiaali- ja terveysalalla toimivassa Fysipisteessä, jonka toiminta todettiin arvioinnissa laadukkaaksi ja toimivaksi. Toisaalta Fysipisteen toimintamallin rakentuminen opiskelijaharjoittelijaresursseille todettiin heikentävän opiskelijoiden mahdollisuuksia monipuoliseen työharjoitteluun. Kehittämishaasteeksi arviointiryhmä totesi myös pedagogisen ajattelun kehittämisen ja opiskelijoiden mahdollisuuksien lisäämisen oman osaamisensa syventämiseen.

Miten yliopistojen kokonaisarviointeja hyödynnetään? Kaikissa suomalaisissa yliopistoissa tehtiin kokonaisarviointi vuosina 1993 - 2000. Tutkimuksessani etsin vastausta kysymykseen, miten näitä arviointeja on yliopistoissa hyödynnetty. Tarkastelemalla kahta erilaista yliopistoa pyrin saamaan esille erilaisia tapoja hyödyntää kokonaisarviointia. Lähestyn asiaa viiden täsmentävän kysymyksen kautta: kuka, mitä, miten, missä ja miksi on käyttänyt arviointia. Vastaukset perustuvat 40 haastatteluun. Haastatellut ovat rehtoreita, dekaaneja, yliopistojen ja opetusministeriön virkamiehiä sekä ulkopuolisten arviointiryhmien jäseniä. Tutkimus osoittaa, että sen kohteena olleet yliopistot käyttivät arviointia eri tavoin. Pelkistetysti sanottuna toisessa painotettiin näkyvyyden parantamista, toisessa oppimista. Arviointia käytettiin myös yliopistojen kehittämiseen, jota niiltä erityisesti odotettiin, ja kehittämistoimien legitimointiin. Molemmissa yliopistoissa korkea (akateeminen) asema yhdistettynä arviointiprosessiin osallistumiseen tarjosi parhaat mahdollisuudet käyttää arviointia monipuolisesti. Riippumatta organisatorisesta asemasta arviointiprosessiin osallistuminen edisti sekä yksilöllistä että organisatorista oppimista. Arvioinnin hyödyntämisen kannalta keskeisiä tekijöitä kummassakin yliopistossa olivat aktiiviset, sitoutuneet yksilöt, vuorovaikutus (keskustelu) ja yliopiston muutoskyky. How are University Evaluations used? All Finnish universities had an institutional evaluation between 1993 and 2000. The research question is how these evaluations have been used. This question is considered from the perspectives of two Finnish universities. The aim is to recognise different types of using institutional evaluation. The question is considered through five sub-questions, namely who, what, how, where, and why used the evaluation. Answers to these questions are based on 40 interviews with rectors, deans, university and ministry officers, and members of the peer review teams. The study indicates that the two universities used the evaluation differently. To put it briefly, the one used it in the first place for improving the university s visibility, and the other one for organisational learning. Evaluation was also used for improvement and for legitimising purposes. In both universities high (academic) position offered the best possibilities for using the evaluation in different ways. Further, irrespective of organisational position, participation in the evaluation process offered a possibility for both individual and organisational learning. From the point of view of utilisation the key factors in both universities were active, committed individuals, interaction, and the university's capacity for change.

Korkeakoulutuksen laadunvarmistuksella pyritään osaltaan lisäämään eurooppalaisen korkeakoulutuksen kilpailukykyä ja vetovoimaa. Laadunvarmistus ei ilmiönä ole uusi, mutta käsitteenä ja käytännössä se on moniselitteinen ja jopa ristiriitainen. Miten yliopistoissa laadunvarmistus ymmärretään? Tämä raportti pureutuu tähän kysymykseen tarkastelemalla akateemisia käsityksiä laadusta ja laadunvarmistuksesta. Raportissa pohditaan, millainen laadunvarmistusjärjestelmä parhaiten soveltuu yliopistoon. Raportti auttaa korkeakoulujen laatutyötä tekeviä, opetus- ja tutkimushenkilöstöä, opiskelijoita, arvioinnin ammattilaisia ja päätöksentekijöitä paremmin ymmärtämään laadunvarmistusta ja sen edellytyksiä yliopistossa. Raportti toimii myös tietolähteenä kaikille korkeakoulujen arvioinnista ja laatutyöstä kiinnostuneille.

Tutkimuksessa tarkastellaan palvelun laadun arviointia moniportaisessa julkisessa organisaatiossa. Laatutyöhön kuuluu keskeisenä osana laadun arviointi. Ongelmallista julkisten organisaatioiden tuottamien palvelujen arvioinnissa on se, että lainsäädäntö jättää usein viranomaisten harkinnan varaan sen, millaisina palvelut tosiasiallisesti tuotetaan eivätkä kunnalliset päätöksentekijätkään välttämättä aseta palvelujen laadulle kovin tarkkoja tavoitteita. Jos em. tahot asettavat palvelun laatua koskevia tavoitteita, ne asetetaan yleensä palvelun lopputulokselle eikä palvelun tuotantoprosessin välivaiheille. Moniportaisissa organisaatioissa ja organisaatiohierarkian eri tasoilla ylempien organisaatiotasojen osuus palvelujen tuottamisessa jää usein arvioinnissa mm. tavoitteiden puutteellisuuden vuoksi vähemmälle huomiolle kuin asiakasrajapinnassa toimivien organisaatiotasojen. Asiaan vaikuttaa myös tulosjohtamiseen liittyvä käytäntö, jossa ylempi organisaatiotaso arvioi alempaansa eikä päinvastoin. Tulosjohtaminen on ankkuroitunut Suomen julkiseen hallintoon aiemmin ja vahvemmalla otteella kuin laatujohtaminen. Selkeiden laatua koskevien tavoitteiden puute hankaloittaa arvioimista, erityisesti tavoiteperusteista arviointia, jossa toimintaa verrataan asetettuihin tavoitteisiin. Tavoitteiden puutteellisuus asettaa paineita arvioida toimintaa eri intressitahojen näkemykset huomioon ottavan monitahoarvioinnin avulla. Palvelun laadun intressitahoja julkisessa hallinnossa ovat palvelujen käyttäjien lisäksi mm. poliittiset päätöksentekijät ja kansalaiset, palvelua tuottavan organisaation johto sekä palvelua tuottava henkilöstö ja moniportaisissa organisaatioissa vielä organisaation eri tasot. Eri intressitahojen näkökulmat ja vaateet palvelun laadulle määräytyvät niiden suhteesta palveluun samoin kuin niiden asema ja tehtävät arvioinnissa ja arviointitiedon hyväksikäytössä. Moniportaisissa organisaatioissa keskeisin intressitaho ylemmän organisaatiotason tuottamalle palvelulle on alempi organisaatiotaso. Alemman organisaatiotason näkökulmasta katsottuna ei ole riittävää arvioida moniportaisissa organisaatioissa ylemmän organisaatiotason toimintaa esim. laatupalkintokriteereiden avulla, vaan ylemmän organisaatiotason toimintaa on tarpeen arvioida palvelukohtaisesti. Tämä puolestaan edellyttää sitä, että palvelukohtaisesti määritellään ylemmän ja alemman organisaatiotason työosuus (osapalvelu) moniportaisen organisaation palveluketjussa. Tutkimuksessa päädyttiin myös näkemykseen, jonka mukaan palvelut on varsinkin ylemmän organisaatiotason toiminnan suhteen syytä suunnitella moniportaisissa organisaatioissa etukäteen eri intressitahojen vaateita yhteen sovittaen. Tutkimuksen tuloksena syntyi arviointikehikko moniportaisten julkisten organisaatioiden tuottamien palvelujen laadun arviointiin. Arviointikehikossa otetaan kantaa siihen, miten arvioinnin eri vaiheissa olisi tarkoituksenmukaista edetä ja millaisia näkökohtia eri vaiheissa on tarpeen ottaa huomioon. EVALUATION OF THE QUALITY OF SERVICES IN A PUBLIC MULTI-LEVEL ORGANIZATION The task of the study was crystallized in the following questions: 1. In what way is it justifiable in public organizations to evaluate the activi-ties of upper organizational levels in producing high quality services? 2. Accordingly, in what way is it justifiable to evaluate the guidance and support directed to the school assistants work and carried out by the ad-ministrative level in the Education Department of the City of Helsinki.? The study showed that the way in which it is justifiable to evaluate the qual-ity of services in public organizations is determined by the special features of public administration. These features have an effect on the definitions of the ser-vice and quality in public administration. The definition is especially influenced by the community orientation of public organizations, the lack and the vagueness of the goals which guide the quality of services, and many interest groups of services. In this study the quality of the service produced by a public organization has the following definition: the quality of the service and the process with help of which the users of the service receive the service must satisfy the integrated de-mands of the users of the service and its various interest groups in all the features of quality. In public administration, interest groups for the quality of services include not only the users of the services but also political decision makers, the leaders and the personnel of the organization producing the services ­ and in a multilevel organization, the different levels of the organization. The quality demands made by these groups, their opportunities to evaluate the service and their interests in utilizing the evaluation data at least partly differ from each other. In a multi-level organization the lower level, often the so called performing level of the organization, is one of the interest groups in relation to how the up-per level takes care of its own tasks in the service chain. The culture of manage-ment by results has rooted in the public organizations earlier than quality culture. Management by results assumes that the upper organizational levels evaluate the lower levels and not the other way around. Quality culture, however, places the direction of the evaluation upside down, bottom-up and not top-down. In service chain thinking there is a need for the lower level to give feedback to the upper organizational level about how it has for its own part supported the work of the lower level in producing value added to the ultimate users of the services. From the point of view of the lower organizational level the emphasis in evaluation should be on the quality of those parts of the services that are pro-duced by the upper organizational level. Evaluation should take place by evaluat-ing one service at a time. The main interest of the lower level is in evaluating whether or not the upper level supports the lower level well enough in producing individual services. In order to be able to define what is good enough in each case it is necessary to specify the responsibilities of both the upper and lower organizational levels service by service in the service chain. Multiple constituency evaluation or stakeholder-based evaluation is an approach to evaluation in which activities are evaluated from the points of views of many different interest groups. The choice of the approach is determined by the purpose of the evaluation. Purposes of evaluation can be for instance evaluation for development work or evaluation for accountability. Multiple constituency evaluation is suitable for situations where there is a lack of goals for the quality of public services or the goals are vague. The case example of the study showed the lack and vagueness of goals in the guidance and support directed to the school assistants work and carried out by the administrative level of the Hel-sinki City Education Department. Multiple constituency evaluation is suitable for evaluations for both accountability and for development. However, if there were clear goals defined for the quality of the services the natural choice of the ap-proach in the purpose of evaluation for accountability would be the goal-attainment evaluation.

Toiminnanohjausjärjestelmät ovat maailmanlaajuisesti eräitä yleisimmin organisaatioissa käyttöönotettuja tietoteknisiä ohjelmistoja, jotka tarjoavat yrityksille strategisia ja operatiivisia parannuksia. Järjestelmien lisääntyvä suosio organisaatioissa on johtanut useisiin niiden käyttöönottoa ja toteutusta koskeviin tutkimuksiin, mutta vain harvat ovat tarkastelleet toiminnanohjausjärjestelmiä toteutusvaihetta pidemmälle. Järjestelmiä käyttäviltä ammatinharjoittajilta puuttuu usein tietoa siitä, mihin kysymyksiin tulisi kiinnittää huomiota tällaisten teknologioiden onnistumisen arvioinnissa.Ifinedon väitöstutkimus lisää tietämystä tietojärjestelmien onnistumisen arvioinnista yleisesti ja toiminnanohjauksen onnistumisen arvioinnista erityisesti. Tutkimus toimii hyvänä pohjana alan tulevalle tutkimukselle ja siitä hyötyvät myös ammatinharjoittajat.Ifinedo laajensi väitöstyössään saatavilla olevaa toiminnanohjausjärjestelmien onnistumisen mittaamistapaa sisällyttämällä siihen kaksi uutta, merkityksellistä ulottuvuutta. Näitä ovat myyjän/konsultin laatu ja työryhmän vaikutus. Myyjän tai konsultin korkea laatutaso edistää järjestelmän ja informaation laatua sekä yksilöllistä ja organisatorista vaikutusta. Järjestelmän laatu lisää yksilöllistä vaikutusta, joka puolestaan lisää työryhmän vaikutusta ja työryhmän vaikutus organisatorista vaikutusta. Toiminnanohjausjärjestelmien onnistumisen arviointi vaihtelee teollisuusilmaston ja kansallisen taloudellisen ilmaston mukaan.Lisäksi Ifinedo huomasi, että organisaation rakenteella ja kulttuurilla on merkitystä toiminnanohjausjärjestelmien ja niiden käyttöönoton onnistumiseen. IT-resurssit vaikuttavat onnistumiseen eniten suuremmissa yrityksissä ja niiden määrällä on vaikutusta erityisesti ylimmän johdon tuen myötä. Myös henkilöstön IT-taidot vaikuttavat järjestelmien onnistumiseen.

ICT has become a key business enabler and a competitive factor for enterprises. Enterprise architecture, developed by ICT consultants and ICT end-user organizations, is emerging as the management tool for intertwined business and IT planning. For managerial decisions, there is a need to evaluate the business value of architecture development results, but only a few models for this have so far been presented. Here we present the V-model for EA testing and validation that marks the evaluation points in EA management, and guides which evaluation tools could be used. peerReviewed