Search

Tilintarkastus ja valvonta ovat olleet merkittävien muutosten kohteena viime vuosina niihin kohdistuneiden sääntelyuudistusten, palvelujen ulkoistamisen ja toimintojen yhtiöittämisen vuoksi. Tämä teos sisältää tieteellisesti tutkittua tietoa tarkastuksen, valvonnan ja arvioinnin ajankohtaisista kysymyksistä. Teoksen artikkelit käsittelevät esimerkiksi yhtiöjärjestyksen tarkastamista, tilintarkastuksen ja sisäisen tarkastuksen laatua, tilintarkastuksen hintaa, epävarmojen veropositioiden merkitystä, XBRL:n käyttöönottoa tilinpäätösraportoinnissa, kuntien riskienhallintaa, ulkoistettujen palveluiden valvontaa sekä omistajaohjausta julkisella sektorilla. Monitieteisen otteen ansiosta kirja on monipuolinen kooste tilintarkastuksesta, valvonnasta ja arvioinnista. Teos soveltuu esimerkiksi tilintarkastuksen ja arvioinnin ammattilaisille, opiskelijoille ja tutkijoille. Over the past decade, the field of auditing has experienced substantial changes. This book ("Finance, Regulation, Steering – Current Topics of Audit and Control") provides original research about various current auditing and evaluation topics. The articles cover, for instance, such topics as audit quality and price of auditing, performance of internal auditing, XBRL and the debt costs, risk management in local governments and ownership steering of government-owned-enterprises. The book will be of value to practitioners, students and academics interested in contemporary aspects of external and internal auditing, evaluation and oversight of service providers and evaluation.

Kokoomateos tuottaa uutta tieteellisesti tutkittua tietoa tilintarkastuksen ja arvioinnin ajankohtaisista kysymyksistä. Tilintarkastusala on ollut merkittävien muutosten kohteena viimeisen 10 vuoden aikana. Teoksen artikkelit liittyvät tilintarkastukseen kattaen tilintarkastajan rooliin, vastuuseen ja siirtohinnoitteluun, sekä tilintarkastuksen laadukkuuteen ja tilintarkastuskertomuksiin liittyviä kysymyksiä. Arviointia koskevissa artikkeleissa tarkastellaan erityisesti tuloksellisuuden ja toiminnan tarkoituksenmukaisuuden arviointia ja tarkastusta. Monitieteisen tutkimuksen tuloksena syntyy kokoava ja moniulotteinen käsitys tilintarkastuksesta ja arvioinnista sekä niihin liittyvästä tämänhetkisestä tutkimuksesta ja mahdollisista jatkotutkimuspoluista. Toimituskunnan poikkitieteellinen yhteistyö tuottaa lisäksi uusia yhteisiä näkökulmia tarkastajien tärkeästä roolista ja vastuusta, sekä tarkastuksilta vaadittavasta laajuudesta, laadukkuudesta ja eettisyydestä. Teos on suunnattu muun muassa tilintarkastuksen ja arvioinnin ammattilaisille, opiskelijoille ja tutkijoille.

Väitöskirja on laadullinen tutkimus mielenterveysalan työntekijöiden suhtautumisesta uuteen julkisjohtamiseen (new public management). Uusi julkisjohtaminen on tuottanut monimuotoisia arviointivälineitä, joista on tullut olennainen osa sosiaali- ja terveyspalveluiden ammattikäytäntöjä. Näillä välineillä ammattilaisten työstä pyritään tekemään arviointikelpoista eli mahdollisimman seurattavaa ja mitattavaa toimintaa. Tutkin väitöskirjassa seuraavanlaisia suomalaisiin mielenterveyspalveluihin sijoittuvia arviointivälineitä: yhtä potilastietojärjestelmää, kahta hallinnollista tietojärjestelmää sekä kunnan ja palveluntuottajan välille solmittavaa ostopalvelusopimusta. Näiden välineiden avulla määritellään työn tavoitteita, kuten asiakkuuksien ja työmuotojen kestoja, määriä ja sisältöjä, sekä seurataan niiden toteutumista. Selvitän tutkimuksessa sitä, miten arviointivälineet vaikuttavat päivittäisiin mielenterveystyön käytäntöihin ja miten työntekijät sopeuttavat työtään näiden välineiden mukanaan tuomiin muutoksiin. Tutkimus koostuu viidestä empiirisestä tapaustutkimuksesta, jotka kaikki vastaavat yhteiseen tutkimuskysymykseen siitä, miten arviointi muovaa mielenterveystyön käytäntöjä, ja miten työntekijät siihen vastaavat ja reagoivat. Tapaustutkimukset on tehty kolmessa eri mielenterveystyön organisaatiossa, jotka sijoittuvat erikoissairaanhoidon avopalveluihin, tuettuun asumiseen ja lastenpsykiatriaan. Aineisto koostuu työntekijöiden puoli-strukturoiduista haastatteluista (N=23), tiimipalavereista (N=21) ja organisaatioiden hallinnollisista asiakirjoista (N=24). Tutkitut työntekijät edustavat eri ammattiryhmiä: sosiaalityöntekijöitä, psykologeja, psykiatreja, erikoistuvia lääkäreitä, psykiatrisia sairaanhoitajia, lähihoitajia, päihdetyöntekijöitä ja hallinnollista henkilökuntaa. Asiakirja-aineisto koostuu arviointivälineiden tuottamista tai niitä käsittelevistä dokumenteista. Alustava aineiston analyysi tehtiin kuvailevalla koodauksella (descriptive coding), jossa poimittiin kaikki aineistossa esiintyvät arviointia käsittelevät kohdat. Tätä vaihetta seurasi tulkinnallinen koodaus (interpretive coding), jossa ryhmiteltiin ja tulkittiin koodeja hallinnan analytiikan kehyksessä. Tämä kehys tarjosi analyysiin näkökulman arviointivälineistä tekniikoina (audit techniques), jotka ohjaavat ammattilaisten toimintaa ja samalla välittävät uuden julkisjohtamisen periaatteita arkisiin käytäntöihin. Tutkimuksen tulokset ovat kaksitahoisia. Ensinnäkin kaikki viisi alkuperäistä artikkelia osoittavat sen, että arviointi vahvistaa tiettyjä mielenterveystyön käytäntöjä ja samalla estää toisenlaisia työtapoja. Artikkelit toimivat tapaustutkimuksina (case studies), joista kukin tuo esiin joko yhden tai useamman arviointitekniikan eri konteksteissa, ja raportoi kullekin tapaukselle ominaisia arvioinnin vaikutuksia. Toiseksi väitöskirjan yhteenveto-osio sisältää tapaustutkimusten synteesin, joka syventää ymmärrystä arvioinnin mikrotason vaikutuksista nostamalla esiin työntekijöiden toimijuuden – sen, kuinka he itse sopeuttavat työtään arvioinnin vaatimuksiin. Synteesin tuloksina esitetään kolme erilaista tapaa, joilla ammattilaiset suhtautuvat arviointiin. Ensimmäinen tapa on arvioinnin noudattaminen, joka ilmenee koodien ohjaamana käytäntöjen tehostamisena ja tehokkuusretoriikan hyödyntämisenä ammatillisessa puheessa. Toinen tapa suhtautua arviointiin on arvioinnin vastustus, joka ilmenee hienovaraisena vastarintana sekä perinteisten dokumentointi- ja kommunikointikeinojen hyödyntämisenä arviointitekniikoiden rinnalla tai niiden sijaan. Kolmas tapa on strateginen suhtautuminen arviointiin, jossa ammattilaiset tasapainottelevat asiakastyön ja arvioinnin vaatimusten välillä, ja arviointia noudatetaan tai vastustetaan tilannekohtaisesti. Jokainen näistä kolmesta suhtautumistavasta heijastaa työntekijöiden erilaisia kokemuksia arvioinnista: noudattamalla arviointia työntekijät kokevat sen rautahäkkinä (iron cage), vastustaessaan arviointia he kokevat sen ammatillisen harkinnan mahdollistajana (discretionary space) ja suhtautumalla arviointiin strategisesti he kokevat sen epävarmuuden tilana (state of flux), joka kaipaa jatkuvaa tasapainottelua. Erittelemällä sekä arvioinnin vaikutuksia käytännöille että ammattilaisten suhtautumistapoja arviointiin tutkimus tuottaa uutta laadullista tietoa uuden julkisjohtamisen toimeenpanosta sosiaali- ja terveyspalveluissa. Arviointitekniikoilla on perinpohjaisia ja kauaskantoisia seurauksia ammattikäytännöille. Näin ollen arviointitekniikat ovat paljon muutakin kuin teknisiä välineitä, joiden avulla seurataan ennalta määrättyjen tavoitteiden toteutumista ja tallennetaan työn sisältöjä. Työntekijöiden vaihteleva suhtautuminen arviointiin osoittaa sen, että arvioinnin toteutuminen käytännössä ei niinkään riipu arvioinnin virallisista tavoitteista, vaan arvioinnin kohteena olevien yksittäisten ammattilaisten valinnoista. This doctoral thesis presents qualitative research on practitioners’ responses to new public management (NPM) forms of governance in mental health. NPM has led to the creation of complex audit systems that form an essential part of professional practice in social and health care. In the context of Finnish mental health services, the research investigates four local audit instruments that practitioners deal with in their routine work: three electronic health records (one patient record and two administrative records), and an outsourcing contract between a municipality and a service provider (Service Purchasing Agreement). This research aims to explore the ways in which practitioners adapt their practice according to these instruments, and the relation between the changes brought by audit and mental health professionals. The research is the result of five separate and empirical case studies, all corresponding to a common research problem of how audit reshapes mental health practice and, consequently, how practitioners respond to it. The studies were conducted in three mental health sites situated in specialised outpatient care, supported housing and child psychiatry. The data were collected through practitioners’ semi-structured interviews (N=23) and team meetings (N=21). The practitioners studied represent various occupational groups: social workers, psychologists, doctors, psychiatrists, psychiatric nurses, practical nurses, substance abuse workers and administrative personnel. Furthermore, administrative documents (N=24) related to auditing procedures were collected from the sites. Initial data analysis was performed through descriptive coding, in which references to auditing were identified. This was followed by interpretive coding in which the codes were further narrowed and interpreted in the conceptual framework provided by the tradition of analytics of government. Within the frame of this tradition, audit instruments were identified as audit techniques due to their ability to employ various governing techniques which mediate the tents of new public management into everyday practice. The findings of the research are twofold. Each original article shows how audit reinforces particular styles of mental health practice, and inhibits others. The articles function as case studies, illustrating in particular the micro-level impact of audit techniques on practice. Building on these effects, the summary section of this dissertation presents a synthesis of case studies by further studying practitioners’ responses to audit. The first response is adherence to audit, manifesting as code–led rationalisation of practice and deployment of effectiveness rhetoric in professional talk. The second response is resistance towards audit, which takes the form of subtle opposition and the substitution of audit by other means of recording. Finally, the third response to audit consists of a changing mixture of adherence and resistance. This response is displayed as a strategic use of audit techniques that attempts to consolidate audit problems and professional logic. Each response has a distinct function for practice and characterises the different reported experiences of audit: it is conceived by practitioners as either an iron cage, a discretionary space or a state of flux, respectively. By making visible the impact of and professional responses to audit techniques, the research contributes to qualitative knowledge on the consequences of the implementation of NPM in human services. Far from being only technical procedures with exclusively anticipated goals, local audit instruments affect the core of professional mental health practice in complex ways. By doing so, audit incites a wide range of distinct responses from practitioners. This means that the final realisation of audit in practice depends upon practitioners’ choices as they redefine NPM policies on their own terms, rather than the official aims of auditing.

Arvioinnilla ja valvonnalla on 2010-luvulla lukuisia kehittämishaasteita. Miten arvioida tuloksellisuutta ja tuottavuustavoitteita erilaisissa ympäristöissä? Mitä mahdollisuuksia on valvoa ja torjua harmaata taloutta tai arvioida kuntarakenneuudistusta? Tämän kirjan artikkeleissa asiantuntijat ja tutkijat analysoivat näitä teemoja ja käsittelevät myös finanssivalvonnan ja finanssipolitiikan sääntelyn ajankohtaiskysymyksiä. Teos on suunnattu alan ammattilaisille, opiskelijoille ja tutkijoille.

Tietojärjestelmien ja sovellusten evaluointimenetelmät ovat olleet tutkimuskohteena jo 1970 alkaen. Tutkijat ovat pyrkineet kehittämään erilaisia evaluointimenetelmiä päätöksenteon tueksi. Erityisesti tietojärjestelmien hankinnat ja niiden perusteluihin käytettävät menetelmät ovat olleet aikaisemmin tutkimuskohteina. Investointien arviointi ja takaisinmaksuaikojen laskeminen on muodostanut tärkeän tutkimuskohteen monissa tutkimuksissa. Nykyään erilaisten sovellusten hankkiminen voi tapahtua ns. valmissovelluksina. Julkishallinnolliset organisaatiot ovat kiinnostuneet hankkimaan valmissovelluksia. Opetusta tarjoavat yhteisöt kuten yliopistot ja ammattikorkeakoulut ovat lisänneet virtuaaliopintoja, jolloin esille on kohonnut tarve hankkia käyttöön soveltuva tai soveltuvia virtuaalisia oppimissovelluksia. Usein virtuaalisovellusten käyttö alkoi asiasta kiinnostuneiden opettajien toimesta. Koko organisaation näkökulmasta strategiset, taktiset ja operatiiviset tavoitteet jäivät taka-alalle. Tarve löytää evaluointimenetelmä, jossa voidaan ottaa huomioon erilaiset tavoitteet ja eri asianomaisryhmien tarpeet systemaattisesti on ollut tämän tutkimuksen tausta-ajatuksena. Ennen hankintapäätöstä tarvitaan ns. ex-ante evaluointimenetelmä, missä voidaan ottaa huomioon keskeisten vaikuttajaryhmien opiskelijoiden, opettajien, tietohallinnon ja johdon tavoitteet muodostavat tutkimuksen keskeisen tavoitteen asettelun. Evaluointimenetelmän kehittäminen perustuu valittuun opetusmenetelmään; yhteisöllinen ongelmalähtöinen opetusmenetelmä, johon perustuen on johdettu evaluointimenetelmän arviointkohteet ja kriteerit. Opiskelijoiden, opettajien, tietohallinnon ja johdon vaatimuksiin perustuvassa arviointimenetelmässä arviointikriteereiden arvojen laskenta perustuu analyyttiseen hierarkkiseen menetelmään (AHP). Tutkimusprosessissa käytetään hyväksi suunnittelutieteen tutkimusmetodia, josta on muokattu tähän tarkoitukseen soveltuva metodi. Kehitetty arviointimenetelmä on demonstroitu käyttämällä yhtä tapausta. Demonstraation avulla voidaan osoittaa, että kehitetty evaluointimenetelmä tuottaa käyttökelpoisia suosituksia päätöksenteon tueksi. Tieteellisenä tuotoksena tutkimusprosessissa on saatu kehitettyä evaluointimenetelmä virtuaalisia oppimissovelluksia varten. Menetelmä ottaa huomioon neljä asianosaisryhmää samanaikaisesti, eikä erillisinä prosesseina. The importance of evaluation methods has been recognized as research subjects since the 1970s. Researchers suggest evaluation methods to use, as a tool for producing valuable information to support decision-making and justifying information system investments within organizations. An evaluation situation is a unique phenomenon in an organization and depends on time. Evaluation processes are identified by ex-ante, ongoing and ex-post evaluation. Off-the-shelf packages are considered to a small and medium sized organization as a solution, when decision-makers are solving the needs of information systems. At formal learning organizations, in many cases, the use of virtual learning environments is based on teacher s actions, not systematic evaluation and decision-making in previous years. At the organizational level, decision-makers are slowly recognizing the need for strategic and tactical aspects, and the need for systematic evaluation before making a decision; which kind of virtual learning environment meets the strategic, tactical and operative requirements and satisfies properties of a learning model. This dissertation investigates an evaluation situation and evaluation process, and it identifies stakeholders roles in the evaluation process as an evaluator and a decision-maker. The purpose is to develop an evaluation method based on requirements of strategic, tactical and operative levels of organization. The evaluation criteria are also identified by using the collaborative problem based learning method. An ex-ante evaluation method for a virtual learning application is developed and demonstrated. The developed ex-ante evaluation method utilizes the analytic hierarchy process (AHP)-method as a calculation tool, which is used to demonstrate the evaluation method s usability. The purpose of demonstration is to show how the developed evaluation method can be used in ex-ante evaluation. The result of this thesis is an evaluation method for a virtual learning application, showing that an evaluation method can be used in the specified evaluation situation at a formal learning organization. The developed ex-ante evaluation method takes into account requirements of four stakeholder groups: students, teachers, ICT-staff, and executives, properties of learning method and derived features of a virtual learning application.

Pitkäaikaissairauksien hyvän hoidon ja terveydenhuollon resurssien tarkoituksenmukaisen käytön edellytyksenä on oikea-aikainen ja - sisältöinen tiedonkulku. Astma on yleinen pitkäaikaissairaus, jota hoidetaan sekä perusterveydenhuollossa että erikoissairaanhoidossa. Kansallisen astmaohjelman (1994-2004) tavoitteina oli aikaistaa astman toteamista ja siirtää päävastuu hoidosta perusterveydenhuoltoon. Perusterveydenhuollossa on valmiudet astmapotilaiden tutkimukseen ja hoitoon, mutta tietyissä tilanteissa potilas on lähetettävä erikoislääkärin arvioon. Lähetteen sisältämät potilastiedot ovat tärkeitä hoitovastuun hetkellisesti siirtyessä erikoissairaanhoitoon. Lähetetiedot myös kuvastavat perusterveydenhuollon toimintaa; potilaan oireiden arviointia ja kirjaamista sekä tehtyjä tutkimuksia. Väitöstyön tavoitteena oli arvioida astman hoitoa ja siihen liittyvää tiedonkulkua kansallisen astmaohjelman aikana. Tutkimusmenetelmänä käytettiin potilaskertomuksen arviointia kohteena erityisesti lähetteet. Tutkimusaineiston muodostivat ne Hyvinkään sairaalan, Lappeenrannan ja Seinäjoen keskussairaaloiden keuhkoyksiköiden vuoden 2001 ajanvarauslähetteet, joissa lähettämisen syynä oli astmaepäily tai astma, sekä lähetteen liitteenä olleet keuhkojen toimintakokeiden tulokset. Seinäjoen keskussairaalasta vertailuaineistoksi otettiin vastaavat lähetteet astmaohjelman alusta, vuodelta 1994. Myös uusien astmapotilaiden taudinkuvaa ja erikoissairaanhoidon käyntejä verrattiin vuosien 1994 ja 2001 välillä. Väitöstyössä laadittiin yhtenäiset astmalähetteiden yleiset ja sairauskohtaiset sisältökriteerit, asetettiin laatuvaatimukset hyvälle astmalähetteelle ja arvioitiin astmalähetteiden laatu. Kolmesta sairaalan noin 1300 tutkimukseen valitun lähetteen laatu oli yleisten kriteerien suhteen hyvä. Astmakriteerien suhteen laatu oli huono vajaassa puolessa lähetteistä, viidesosa lähetteistä oli hyviä. Tiedot potilaan tupakoinnista ja lääkehoidosta puuttuivat yli puolesta lähetteistä, myös muita sisältöpuutteita todettiin. Keuhkojen toimintakokeiden (spirometria tai kotipuhallusseuranta)graafisten tulosten liittäminen lähetteeseen oli edellytys hyvälle lähetteelle, tämä toteutui vain vajaassa puolessa lähetteistä. Spirometria on ensisijainen tutkimus keuhko-oireiselle potilaalle, mutta teknisesti vaativa sekä potilaalle että tutkimushenkilökunnalle. Väitöstutkimuksen osatyönä arvioitiin visuaalisesti lähes 500 perusterveydenhuollon spirometriatutkimusta, näistä jopa neljä viidestä oli laadultaan hyviä. Vertailututkimuksessa todettiin, että lähetteiden laatu oli selvästi parantunut kansallisen astmaohjelman aikana. Lähetteiden laatu parani etenkin keuhkojen toimintakokeiden aktiivisemman käytön ansiosta. Vuonna 2001 erikoissairaanhoidossa todetun uuden astmapotilaan sairaus vaikutti lievemmältä, mutta heistä useampi oli ylipainoinen ja monisairas kuin vuoden 1994 astmapotilaat. Astmapotilaiden käynnit erikoissairaanhoidossa vähenivät vuosien 1994 ja 2001 välillä. Astmalähetteiden perusteella arvioituna aikuisen astmapotilaan hoito tehostui kansallisen astmaohjelman aikana. Astma tulisi todeta perusterveydenhuollossa, mutta taudinmääritys on haastavaa, jos sairaus on vähäoireinen. Erikoislääkärin asiantuntemusta voidaan ongelmatilanteissa parhaiten hyödyntää, jos käytössä on keskeiset esitiedot ja laadultaan luotettavat keuhkojen toimintakokeiden tulokset. Good informational continuity is essential to health care with limited resources. Asthma is a prime example of a chronic disease for which all health care professionals should work according to a common strategy, providing consistent care. Asthma can be managed in primary care settings, but specialist consultation is needed in cases of an unclear diagnosis or unstable asthma. Optimal communication between physicians is necessary for specialists if they are to plan for further investigations and set a time frame with respect to urgency. The Finnish National Asthma Programme (1994?2004) was published to enhance the early diagnosis of asthma and to re-organize the responsibility for its care. Referral letters offer a practical tool for measuring performance at the interface between primary and secondary care. The aim of this thesis was to evaluate asthma management at the interface between primary and secondary care during the asthma programme. Medical record audits were used for this purpose. Quality criteria were developed for referral letters by a consensus-seeking expert panel on the basis of evidence from the literature and from the results of a national questionnaire review. The quality criteria for the spirometry curves were based on international guidelines. The main sources of data were adults? non-acute asthma-related referral letters and copies of primary care spirometry report sheets, which were prospectively collected from the referral letters sent to the respiratory departments of three study hospitals during 2001. Referral letters sent to one of the study hospitals in 1994 were also retrospectively collected so that the results of two years with a 7-year interval could be compared. Clinical profiles of the new asthma patients and the use of secondary care resources were also compared between the two years (1994 and 2001). A high national consensus was reached about the content of an asthma-related referral letter between primary and secondary care physicians: 7 administrative and 14 asthma-specific criteria were selected. The expert panel defined the gradings of the referral letter quality. The referral letters (n=1289) from the three hospitals were of good quality against the administrative criteria in 96% of the cases in 2001. Asthma-specific quality was poor for 45% of the letters and good for 21%. The most frequently missing items were smoking (58%), medication (59%), peak flow follow-up results (53%), and spirometry with the results of a bronchodilation test (69%). A comparison between the quality of the referral letters in 1994 (n=624) and that of the letters in 2001 (n=452) was made in one study hospital. The proportion of poor letters decreased (63% versus 44%), while that of good letters increased (7% versus 22%). The visually assessed quality of the primary care spirometry curves (n=489) from 2001 was found to be good for 79% of the letters. Clinical data on respiratory medication and patient co-operation were frequently missing from the spirometry report sheets. The profile of the new asthma patients seems to indicate that those with milder asthma with more co-morbidities were referred in 2001 than 7 years earlier. Overall number of visits in secondary care was smaller in 2001 Quality criteria to assess asthma-related referral letters were set on the basis of a high consensus between primary and secondary care physicians. The proportion of poor letters against the asthma-specific criteria was higher than expected, but the quality improved during the first 7 years of the National Asthma Programme. The quality of the primary care spirometry data was good. Secondary care resources were used more efficiently. As reflected by the referral letters, primary care professionals took a more active role in asthma management during the National Asthma Programme.

Miten yliopistojen kokonaisarviointeja hyödynnetään? Kaikissa suomalaisissa yliopistoissa tehtiin kokonaisarviointi vuosina 1993 - 2000. Tutkimuksessani etsin vastausta kysymykseen, miten näitä arviointeja on yliopistoissa hyödynnetty. Tarkastelemalla kahta erilaista yliopistoa pyrin saamaan esille erilaisia tapoja hyödyntää kokonaisarviointia. Lähestyn asiaa viiden täsmentävän kysymyksen kautta: kuka, mitä, miten, missä ja miksi on käyttänyt arviointia. Vastaukset perustuvat 40 haastatteluun. Haastatellut ovat rehtoreita, dekaaneja, yliopistojen ja opetusministeriön virkamiehiä sekä ulkopuolisten arviointiryhmien jäseniä. Tutkimus osoittaa, että sen kohteena olleet yliopistot käyttivät arviointia eri tavoin. Pelkistetysti sanottuna toisessa painotettiin näkyvyyden parantamista, toisessa oppimista. Arviointia käytettiin myös yliopistojen kehittämiseen, jota niiltä erityisesti odotettiin, ja kehittämistoimien legitimointiin. Molemmissa yliopistoissa korkea (akateeminen) asema yhdistettynä arviointiprosessiin osallistumiseen tarjosi parhaat mahdollisuudet käyttää arviointia monipuolisesti. Riippumatta organisatorisesta asemasta arviointiprosessiin osallistuminen edisti sekä yksilöllistä että organisatorista oppimista. Arvioinnin hyödyntämisen kannalta keskeisiä tekijöitä kummassakin yliopistossa olivat aktiiviset, sitoutuneet yksilöt, vuorovaikutus (keskustelu) ja yliopiston muutoskyky. How are University Evaluations used? All Finnish universities had an institutional evaluation between 1993 and 2000. The research question is how these evaluations have been used. This question is considered from the perspectives of two Finnish universities. The aim is to recognise different types of using institutional evaluation. The question is considered through five sub-questions, namely who, what, how, where, and why used the evaluation. Answers to these questions are based on 40 interviews with rectors, deans, university and ministry officers, and members of the peer review teams. The study indicates that the two universities used the evaluation differently. To put it briefly, the one used it in the first place for improving the university s visibility, and the other one for organisational learning. Evaluation was also used for improvement and for legitimising purposes. In both universities high (academic) position offered the best possibilities for using the evaluation in different ways. Further, irrespective of organisational position, participation in the evaluation process offered a possibility for both individual and organisational learning. From the point of view of utilisation the key factors in both universities were active, committed individuals, interaction, and the university's capacity for change.

Väitöskirjatutkimuksen aiheena on lastensuojelun tuloksellisuuden arviointi organisaatiossa, jonka tulisi olla erityisesti selvillä työnsä vaikutuksista lasten ja perheiden elämään, mutta tietoa tarvitaan myös lastensuojelun kustannuksista, palveluprosessien toimivuudesta, henkilöstövoimavaran kehityksestä sekä yhteiskunnallisesta vaikuttavuudesta. Organisaatioiden tilivelvollisuus asiakkailleen on korostunut, sillä lastensuojelussa tehtävät ratkaisut voivat vaikuttaa vaikeassa elämäntilanteessa apua ja tukea etsivän lapsen ja perheen koko elämään ja tulevaisuuteen. Lastensuojelun asiakasmäärien jo vuosia jatkunut kasvu ja tätä myötä myös kustannusten kasvu sekä ongelmat henkilöstön pysyvyydessä, ovat olleet aktivoimassa keskustelua lastensuojelun tuloksellisuuden arvioinnin kehittämisestä. Tuloksellisuuden arvioinnin tutkimusta on lastensuojelusta vähän. Tutkimus sisältääkin laajan kuvauksen lastensuojelusta ja sen arvioinnin kehityksestä sekä saatavilla olevan tiedon perusteella lastensuojelun tuloksellisuudesta. Tutkimusaineisto koostui kolmen kunta- ja kolmen lastensuojelun palveluja tuottavan järjestöorganisaation asiakirja- ja haastatteluaineistoista. Tutkimuksessa määritetään, mitkä ovat tuloksellisuuden keskeisimmät tekijät lastensuojelussa ja organisaation arviointiprosessissa. Organisaatioiden tuloksellisuuden arviointia luonnehditaan tutkimuksessa sosiaalisen vaiston mukaiseksi toimintatavaksi, joka ollee merkityksellinen myös muilla hyvinvointipalvelualoilla, joissa kokemustiedon vuorovaikutteinen ja osallistava arviointi on merkityksellistä. Sosiaalinen vaisto on organisaation jäsenten yhteisöllistä kyvykkyyttä luotsata omaa ja yhteistä toimintaa, elettävässä ajassa ja organisaation muistissa olevan kokemustiedon pohjalta käytävien tulkintakeskustelujen avulla. Tutkimuksessa nousi esille viisi lastensuojelun tuloksellisuuden kannalta kriittistä menestystekijäryhmää, joissa kussakin on 3-4 keskeistä tekijää, joihin arvioinnin tulisi organisaatiossa kohdistua. Nämä tekijät ovat merkityksellisiä yhtä hyvin kunta- kuin järjestöorganisaatioissakin tehtävässä lastensuojelutyössä. Menestystekijäryhmistä kolme on perusedellytyksiä ylipäätään sille, että lastensuojelussa voitaisiin onnistua ­ olla tuloksellisia. Nämä ovat: 1) vankka asiakaslähtöinen organisaatio, 2) osaaminen vastaa lastensuojelun ajankohtaisia vaatimuksia, ja 3) toimintaprosessit edistävät asiakkaan voimavaraistumista. Ja kaksi vaikuttavuuden kriittistä menestystekijäryhmää ovat: 4) nimenomaan asiakas kokee elämänlaatunsa kohentuneen ja 5) lapsen ja nuoren kasvun riskiolosuhteet vähenevät, ja näin lastensuojelun pitkän aikavälin toiminta on kustannusvaikuttavaa. Kuntien on 1.1.2008 voimaantulevan uuden lastensuojelulain mukaan laadittava kunnanvaltuuston hyväksyttäväksi kunnan tai kuntien yhteinen suunnitelma lasten ja nuorten hyvinvoinnin edistämiseksi ja lastensuojelun järjestämiseksi ja kehittämiseksi. Suunnitelma on kunnan työväline laaja-alaisen lasten suojelun ohjaamisessa, johtamisessa ja kehittämisessä. Tutkimuksen liitteeksi on koottu luettelo niistä seurantatiedoista, joita on hyödyllistä koota kunnan suunnitelman laatimisessa ja tuloksellisuuden arvioinnissa. Lastensuojelun tuloksellisuuden arvioinnin kehittäminen on hyvin ajankohtaista kunnissa ja kunta- ja palvelurakenneuudistuksen mukaisilla kuntien yhteistoiminta-alueilla. Effectiveness ­ what it is, how to measure and assess it, and the importance of effectiveness assessment for leading and managing organisations ­ has been a constant discussion topic within administrative sciences for about twenty years. The implementation of the indicators of BSC effectiveness assessment has aroused discussion in several organisations as well. Within child welfare this topic has mainly been explored from a totally different perspective than within administrative sciences. The discussion has been more concerned e.g. with how the ability of parents to take care of their children is assessed in client work than with how child welfare organisations monitor and evaluate their own work. Organisations performing child welfare tasks should, however, be particularly aware of the impact their work has on the lives of children and families. The client accountability of these organisations has become more emphasised, as child welfare decisions may influence the entire life and future of children and families seeking final help and support in a difficult situation in life. Information is needed for the assessment of child welfare effectiveness. As the production of effects promoting the welfare of children strongly depends on how well child, youth, family and other services are performed, a broad knowledge base for assessments is required. The number of child welfare clients has continued to grow for years. This growth, the resulting cost increase and problems with maintaining personnel have provoked discussion about the development of effectiveness assessment within child welfare. The goal of this study was to gain information on the effectiveness assessment of public activities by looking at one municipal sector of specialised services, i.e. child welfare. As there is only limited research on effectiveness assessment within child welfare, the study sheds light on the effectiveness of child welfare and on its assessment. The aim of the study was to find out what effectiveness is in child welfare work, and how it is assessed. The research questions were: Which factors influence effectiveness in child welfare work? How is effectiveness and particularly impact ­ a significant part of effectiveness ­ monitored and assessed? Which information is used for the assessment? Which role does assessment play in the guidance, management and development work of child welfare organisations? Answers to these questions were looked for by studying in detail the effectiveness assessment practice of six child welfare organisations and by using as material the opinions of people working with or managing child welfare about factors contributing to child welfare effectiveness. This material was based on documents from a city, a local authority, a joint municipal authority, and from three organisations providing child welfare services, on thematic interviews with the management of the organisations, and on multidisciplinary focus group interviews. The material was analysed in stages with the aid of qualitative methods, and the goal was to gain an understanding of the research objects. Each participating organisation received two reports on the situation within the organisation. The research report is based on these twelve reports. It has to be pointed out that the organisations were not compared in terms of effectiveness, and the effectiveness of these organisations is in no way described ­ this would have required different research material. Also, the effectiveness of child welfare work was not studied. During the research process it became obvious that the task at hand required a detailed general description of child welfare as well as of what is known of child welfare and its effectiveness, and of the assessment development trends within child welfare. The foundation and development of effectiveness assessment was also examined, as they influence the development of effectiveness assessment within child welfare too. Results: In all participating organisations assessment mainly consisted of effective discussions in different forums for dialogue, and of shared interpretation based especially on experience information. This culture of discussion was a clear strength of the child welfare organisations. This kind of guidance and management in connection with effectiveness assessment was labelled social instinct . Social instinct is the community competence of the organisation members to pilot personal and common activities with the aid of interpretation discussions conducted on the basis of experience information existing here and now and in the organisational memory. Child welfare organisations thus accomplished particularly well the element of communicativeness, as laid down in the effectiveness assessment recommendation of 2000. This element emphasises the importance of participation and dialogue in the effectiveness assessment process. Effectiveness assessment based on social instinct is probably important in other sectors too, and not only within child welfare. The participating organisations were not very effective in using documented assessment information on success in individual cases already provided by practical client processes. This information found in client reports is restricted to individual clients and their contacts. No systematic impact follow-up existed within child welfare work, and the organisations did not set client effect goals. All organisations had initiated development processes, which in future will make it easier to assess effectiveness with the support of extensive information produced from different perspectives. According to the results, the following points should be highlighted in the assessment of child welfare effectiveness: 1) effective interaction between different parties, 2) the possibility to participate, 3) procedure and continuity ­ a feeling that all are in the same boat trying to attain the goals agreed upon, 4) the assessment of success (i.e. effectiveness) as part of basic activities, 5) the relation between effectiveness assessment and the fundamental task of child welfare, 6) the important role of polyphony and experience information in the knowledge base, 7) organisational values and ethical responsibility towards clients, 8) the collection of feedback information particularly for individual effects assessment, and 9) the benefits of total success assessment for the development of child and youth welfare work. Child welfare could be seen as a window through which it is possible to study welfare, its failings and the total efficiency of the system of services intended for children and families. Good child welfare results depend on stable organisational values, a strong awareness of the fundamental tasks, and on supportive management enabling participation in development and guaranteeing that the personnel may organise the work in accordance with the needs of individual clients. In client work the quality of interaction and the continuity of personal relationships are the key success factors. It is important that the personnel possess professional competence as well as an ability to cooperate, to commit oneself to a particular case, and, e.g. in social work, to work with children as clients. Other important issues are the continuity of service and support processes as well as care and service methods based on the best available information ­ including experience information ­ and tailored to the needs of the clients. A major factor influencing success is the goal-oriented care and service plan drawn up together with the client, and its shared analytical assessment. These factors related to good child welfare results are relevant not only to the work of the participating organisations, but also to child welfare work in general. In several regards, these key factors are generally applicable in all sectors concerned with problems related to people s lives. The study identified five groups of critical success factors influencing child welfare effectiveness. Each group consists of 3­4 factors. Three groups contain prerequisites for success in child welfare ­ for its effectiveness. As it is not possible to squeeze water from a stone, adequate prerequisites simply have to be created for child welfare work. The three critical success factors related to prerequisites are 1) a stable client-oriented organisation, 2) competence corresponding to current demands within child welfare, and 3) processes empowering clients. The two critical success factors related to effectiveness are 4) that clients experience an improvement in their quality of life, and 5) that the conditions in which children and young people grow up become less risky. This would guarantee cost-effectiveness in long-term child welfare activities. Thus assessments should focus on these factors. Section 12 of the new Child Welfare Act entering into force on 1 January 2008 obliges local authorities to draw up a plan for the promotion of the welfare of children and young people, and for the organisation and development of child welfare. The local council approves this plan, which has to be taken into account when drawing up the budget and financial plan of the local authority. The plan also has to contain information on its implementation and follow-up, and be revised at least every four years. The plan is a new instrument for the guidance, management and development of child welfare work in local authorities. On the basis of child welfare effectiveness and of the critical factors related to its assessment as defined in this study, examples of follow-up information that should be gathered when drawing up the municipal child welfare plan above, and when assessing effectiveness have been given in Appendix 6. It also contains a simple example of an impact goal for child welfare and of its measurement. Hopefully the results of this study will support the development of the effectiveness assessment of child welfare in local authorities.

Tutkimuksessa tarkastellaan palvelun laadun arviointia moniportaisessa julkisessa organisaatiossa. Laatutyöhön kuuluu keskeisenä osana laadun arviointi. Ongelmallista julkisten organisaatioiden tuottamien palvelujen arvioinnissa on se, että lainsäädäntö jättää usein viranomaisten harkinnan varaan sen, millaisina palvelut tosiasiallisesti tuotetaan eivätkä kunnalliset päätöksentekijätkään välttämättä aseta palvelujen laadulle kovin tarkkoja tavoitteita. Jos em. tahot asettavat palvelun laatua koskevia tavoitteita, ne asetetaan yleensä palvelun lopputulokselle eikä palvelun tuotantoprosessin välivaiheille. Moniportaisissa organisaatioissa ja organisaatiohierarkian eri tasoilla ylempien organisaatiotasojen osuus palvelujen tuottamisessa jää usein arvioinnissa mm. tavoitteiden puutteellisuuden vuoksi vähemmälle huomiolle kuin asiakasrajapinnassa toimivien organisaatiotasojen. Asiaan vaikuttaa myös tulosjohtamiseen liittyvä käytäntö, jossa ylempi organisaatiotaso arvioi alempaansa eikä päinvastoin. Tulosjohtaminen on ankkuroitunut Suomen julkiseen hallintoon aiemmin ja vahvemmalla otteella kuin laatujohtaminen. Selkeiden laatua koskevien tavoitteiden puute hankaloittaa arvioimista, erityisesti tavoiteperusteista arviointia, jossa toimintaa verrataan asetettuihin tavoitteisiin. Tavoitteiden puutteellisuus asettaa paineita arvioida toimintaa eri intressitahojen näkemykset huomioon ottavan monitahoarvioinnin avulla. Palvelun laadun intressitahoja julkisessa hallinnossa ovat palvelujen käyttäjien lisäksi mm. poliittiset päätöksentekijät ja kansalaiset, palvelua tuottavan organisaation johto sekä palvelua tuottava henkilöstö ja moniportaisissa organisaatioissa vielä organisaation eri tasot. Eri intressitahojen näkökulmat ja vaateet palvelun laadulle määräytyvät niiden suhteesta palveluun samoin kuin niiden asema ja tehtävät arvioinnissa ja arviointitiedon hyväksikäytössä. Moniportaisissa organisaatioissa keskeisin intressitaho ylemmän organisaatiotason tuottamalle palvelulle on alempi organisaatiotaso. Alemman organisaatiotason näkökulmasta katsottuna ei ole riittävää arvioida moniportaisissa organisaatioissa ylemmän organisaatiotason toimintaa esim. laatupalkintokriteereiden avulla, vaan ylemmän organisaatiotason toimintaa on tarpeen arvioida palvelukohtaisesti. Tämä puolestaan edellyttää sitä, että palvelukohtaisesti määritellään ylemmän ja alemman organisaatiotason työosuus (osapalvelu) moniportaisen organisaation palveluketjussa. Tutkimuksessa päädyttiin myös näkemykseen, jonka mukaan palvelut on varsinkin ylemmän organisaatiotason toiminnan suhteen syytä suunnitella moniportaisissa organisaatioissa etukäteen eri intressitahojen vaateita yhteen sovittaen. Tutkimuksen tuloksena syntyi arviointikehikko moniportaisten julkisten organisaatioiden tuottamien palvelujen laadun arviointiin. Arviointikehikossa otetaan kantaa siihen, miten arvioinnin eri vaiheissa olisi tarkoituksenmukaista edetä ja millaisia näkökohtia eri vaiheissa on tarpeen ottaa huomioon. EVALUATION OF THE QUALITY OF SERVICES IN A PUBLIC MULTI-LEVEL ORGANIZATION The task of the study was crystallized in the following questions: 1. In what way is it justifiable in public organizations to evaluate the activi-ties of upper organizational levels in producing high quality services? 2. Accordingly, in what way is it justifiable to evaluate the guidance and support directed to the school assistants work and carried out by the ad-ministrative level in the Education Department of the City of Helsinki.? The study showed that the way in which it is justifiable to evaluate the qual-ity of services in public organizations is determined by the special features of public administration. These features have an effect on the definitions of the ser-vice and quality in public administration. The definition is especially influenced by the community orientation of public organizations, the lack and the vagueness of the goals which guide the quality of services, and many interest groups of services. In this study the quality of the service produced by a public organization has the following definition: the quality of the service and the process with help of which the users of the service receive the service must satisfy the integrated de-mands of the users of the service and its various interest groups in all the features of quality. In public administration, interest groups for the quality of services include not only the users of the services but also political decision makers, the leaders and the personnel of the organization producing the services ­ and in a multilevel organization, the different levels of the organization. The quality demands made by these groups, their opportunities to evaluate the service and their interests in utilizing the evaluation data at least partly differ from each other. In a multi-level organization the lower level, often the so called performing level of the organization, is one of the interest groups in relation to how the up-per level takes care of its own tasks in the service chain. The culture of manage-ment by results has rooted in the public organizations earlier than quality culture. Management by results assumes that the upper organizational levels evaluate the lower levels and not the other way around. Quality culture, however, places the direction of the evaluation upside down, bottom-up and not top-down. In service chain thinking there is a need for the lower level to give feedback to the upper organizational level about how it has for its own part supported the work of the lower level in producing value added to the ultimate users of the services. From the point of view of the lower organizational level the emphasis in evaluation should be on the quality of those parts of the services that are pro-duced by the upper organizational level. Evaluation should take place by evaluat-ing one service at a time. The main interest of the lower level is in evaluating whether or not the upper level supports the lower level well enough in producing individual services. In order to be able to define what is good enough in each case it is necessary to specify the responsibilities of both the upper and lower organizational levels service by service in the service chain. Multiple constituency evaluation or stakeholder-based evaluation is an approach to evaluation in which activities are evaluated from the points of views of many different interest groups. The choice of the approach is determined by the purpose of the evaluation. Purposes of evaluation can be for instance evaluation for development work or evaluation for accountability. Multiple constituency evaluation is suitable for situations where there is a lack of goals for the quality of public services or the goals are vague. The case example of the study showed the lack and vagueness of goals in the guidance and support directed to the school assistants work and carried out by the administrative level of the Hel-sinki City Education Department. Multiple constituency evaluation is suitable for evaluations for both accountability and for development. However, if there were clear goals defined for the quality of the services the natural choice of the ap-proach in the purpose of evaluation for accountability would be the goal-attainment evaluation.

Neljän kehittämisvuoden ajanjaksolle rajattu osallistava toimintatutkimus kuvaa opettajien ja hallinnon välisenä yhteistyönä toteutettua koulutuksen paikallisen arvioinnin kehittämisprosessia. Kaksivaiheisen kehittämisprosessin suunnitteluvaiheessa kehitettiin arviointimalli ja toteutuksessa tarvittavat aineistot. Toteutusvaiheessa koulut arvioivat toimintaansa kahtena peräkkäisenä lukuvuonna. Laadulliseen tutkimusotteeseen on yhdistetty opettajien käsityksiä kartoittava pienimuotoinen kvantitatiivinen mittaus, joka havainnollistaa opettajien paikallisen arvioinnin onnistumis- ja kehittämisalueita. Arvioinnin kehittämisen keskeinen menetelmä oli vuorovaikutteinen koulutuksen eri osapuolten välinen demokraattinen keskustelu. Tutkimuksen teoriakehys on monitieteinen ja se rakentuu ohjauksen, arvioinnin ja johtamisen näkökulmia painottaen kuitenkin niin, että tutkimusote ja metodologinen teoriakehys korostavat yhdessä oppimisen ja vuorovaikutteisen arvioinnin tärkeyttä osana koulutuksen kehittämistä ja johtamista. Tutkimus kuvaa arvioinnin kehittämisprosessin moniäänisyyttä sekä koulutuksen tuloksellisuuden arvioinnin toteuttamisen haasteellisuutta. Tutkimus tuo tietoa opettajien arviointia koskevista käsityksistä sekä paikallisen tason arvioinnin kehittämisestä. Tulokset osoittavat, että Oulun opetustoimeen saatiin tutkimustehtävän mukaisesti kehitettyä kaikille kouluille yhteinen arviointikehys, jonka mukainen arviointi ohjasi koulujen toimintaa ja päätöksentekoa haluttuun, yhteisesti eri osapuolten määrittelemän ja arvottaman vision suuntaan. Tutkimuksen tulosten mukaan opettajien ja hallinnon yhteistyönä vuorovaikutteisessa keskustelussa muodostettu näkemys koulutuksen tulevaisuuden tavoitteista ja keskeisistä kehittämisalueista on merkittävä koulun toimintaa ohjaava voima, joka mahdollisimman hyvin kunnallisen päätöksentekojärjestelmän aikatauluihin ja rakenteisiin sulautettuna tulee hyödynnetyksi myös päätöksenteossa. Prosessin syvällisen kuvauksen ja analysoinnin avulla on mahdollisuus oppia, mitä on koulutuksen paikallisen arvioinnin kehittämisprosessi suuressa kaupungissa sekä ymmärtää paikallisen arvioinnin kehittämisprosessin pullonkauloja opetus- ja kasvatusalalla. Tutkimus antoi viitteitä siitä, että suuressa kaupungissa toteutettu koulutuksen paikallisen arvioinnin kehittäminen on kompleksinen, moni-ilmeinen ja ristiriitainen prosessi. Oppilaiden mukaan ottaminen ja kansalaiskeskustelun aktivointi koulutuksen paikallisen arvioinnin kehittämisessä avaisivat uuden tutkimusalueen. Myös opettajienkoulutuksiin sisältyvän arviointikoulutuksen määrän ja laadun tutkiminen sekä päättäjien paikallista koulutuksen arviointia koskevien käsitysten analysointi olisivat ajankohtaisia jatkotutkimusaiheita. The process of developing local evaluation in the educational division of the City of Oulu in 1997 - 2001 was studied. The research was motivated by the amendment of the law enforced in 1999, which obliges those responsible for the organisation and maintenance education to evaluate the efficiency of their activities in line with the spirit of information-based practices and the principles of accountability applicable to public services. The study aimed to produce a local evaluation model that would generate evaluatory data and could be used in decision-making in the educational division, to initiate evaluation consistent with the model and to evaluate the process of development and implementation. Teachers' views of this evaluation were analysed, and the evolution, successful aspects and failures of the evaluatory process were described. The study can be labelled as participatory action research primarily compatible with the qualitative research paradigm, which operates at the interface of the constructive evaluation research and emancipatory action research. The evaluation done in the course of the research project approached programme assessment, which aims to improve the existing practices and educational policies and to produce evaluatory data that can be utilised in decision-making. The study is a report of an attempt to apply a fourth-generation evaluatory model to the development of evaluation in the public sector. In line with the priciple of democratic progress, the development process involved all primary and junior secondary schools and the senior secondary schools that provided daytime education managed by the educational division of the City of Oulu, i.e. a total of 54 schools. A special challenge was posed to the development process by the economic stabilisation programme laucnhed in the City of Oulu in 1998 and the renewal of the system of urban management. There was also marked turnover of the key persons who participated in the development of evaluation. At the planning stage of the two-stage development process, an evaluatory model was outlined and the data needed for its implementation were collected. At the implementation stage, the schools evaluated their operation in terms of their ability to support life control and the requirements of pupil welfare services during two successive academic years. The research data consisted of group interviews, documentary and discussion memoranda, questionnaire surveys and a research diary. Qualitative data-based content analysis was used, and pricipal component analysis was applied to the questionnaire data. According to the results, an evaluatory framework shared by all schools was developed for the educational division of the City of Oulu, which had been the aim of the study. In the course of the process, evaluation was developed co-operatively by administrators and teachers. The evaluatory model developed in the course of the process enabled both formal and actual hearing of teachers and principals at all levels. Evaluation accordant with the evaluatory model produced in the course of the process oriented activities and decision-making towards the desired, jointly defined vision. It is important to involve teachers and principals in school development projects in order to make the plans implementable documents that are significant for the members of the organisation. To sum up, the development of local evaluation of education in a fairly big city is a complex, variable and contradictory process.

Anne-Mari Järvelinin väitöskirja käsittelee suhteen laadun arviointiprosessia yritysten välisissä suhteissa. Väitöskirja liikkuu uudella tutkimusalueella keskittyen tarkastelemaan sitä, miten koko yritysten välisen suhteen arviointiprosessi tapahtuu. Tutkimus pohjautuu käsiteanalyysiin, jota kirkastamaan on käytetty case-tutkimusta. Suhteen laadun arviointi on monimutkainen prosessi, johon osallistuu useita henkilöitä. Vaikka arviointi pohjimmiltaan on yksilön suorittamaa, vaikuttavat toisten mielipiteet, organisaation ja suhteen toimintamallit, aikaisemmat kokemukset, yhteiset arvioinnit ja lukuisat muut tekijät, siihen millaiseksi yksilön laadun kokee. Väitöskirjassa tarkasteltiin sekä yksittäisten tapahtumien, episodien, ja koko suhteen arviointia että sitä miten nämä kaksi arviointia linkittyvät toisiinsa. Yksittäisen tapahtuman vaikutus koko suhteen laatukokemukseen vaihtelee episodin luonteen mukaan; rutiininomaiset, toisiaan muistuttavat tapahtumat ikään kuin kasaantuvat muodostaen yhtenäisen kuvan suhteesta; kun taas poikkeavat tapahtumat voivat pyyhkäistä suhteen laatukuvan yli muuttaen sen poikkeavan tapahtuman mukaiseksi. Suhteen laatukuva voidaan nähdä myös eräänlaisena solukkona, jossa tietyn tyyppisiin episodeihin liittyvät arvioinnit muodostavat yhden solun. Eri solujen keskinäiset suhteet ja merkitys saattavat vaihdella. Case -tutkimusessa laatustandardeihin perustuvat arvioinnit muodostivat suhteen laatukuvan pohjasolukon, jota ilman koko suhdetta ei olisi olemassa, mutta toisaalta tämän pohjasolukon päälle rakentuneesta solukosta tärkeimäksi nousi taloudellisiin seikkoihin liittyvän arvioinnin solu. Väitöskirjatutkimuksen erääksi keskeiseksi tulokseksi nousivat erilaiset korjaavat prosessit, joiden tarkoituksena on palauttaa tilanne ennalleen huonon laatukokemuksen jälkeen, ja niiden merkitys. Usein nämä korjaavat prosessit saatetaan suorittaa negatiivisessa "toisen syyttelyn" -ilmapiirissä, tärkeää kuitenkin olisi, syyttelyn sijasta, korjata tilanne mahdollisimman pian ja miettiä sitä, miten estetään vastaavien tilanteiden syntyminen tulevaisuudessa. Yritysten välisissä suhteissa toisen osapuolten käsitysten ymmärtäminen, ja usein myös "ennalta arvaaminen" on suhteen toimivuuden kannalta monesti tärkeää. Tämän ymmärryksen lisäämiseksi yrityksissä voitaisiin entistä enemmän pureutua niihin tapoihin ja prosesseihin, joita toinen osapuoli käyttää arvioidessaan suhdetta. Erityisen tärkeää olisi ymmärtää toisen osapuolen arvioinnissa käyttämiä arviointistandardeja, ja pyrkiä myös omalta osaltaan vaikuttamaan näiden standardien syntymiseen, koska nämä standardit vaikuttavat usein ratkaisevasti siihen millaiseksi laatu kulloinkin arvioijan mielessä muodostuu. This doctoral dissertation seeks answer to the question "in what is the relationship quality evaluated in business relationships?". The starting points for the study can be found from the studies done in the IMP-group and in service management literature. The study sees relationship quality evaluation as two stage process starting from episode quality evaluation and ending up with relationship quality evaluation. The study concentrates on conceptual analysis with empirical case-study serving as insturmental case study. Three different frameworks are presented; preliminary framework built on the basis of the theoretical discussion, modified framework built on the basis of both empirical case study and theoretical discussion, and refined framework which serves as basis for further research. The central results of the study relate to the cognitive evaluation processes, comparison standards and the way from episode quality evaluations to the relationship quality evaluations. The most often used cognitive evaluation processes followed the lines of disconfimation paradigm, i.e. comparison between experiences and comparison standards. Other processes, mainly adjusting processes that modify the perceptions gained as a result disconfirmation, were also found to have a central role. The comparison standards used in the evaluation determined to quite large extent the result of the evaluation. The official guidance of the comparison standards also seemed to be decisive from the point of view of the results of the evaluation. In other words, if you want to guide or at least direct the evaluations to some direction, you have to guide the comparison standards to that direction. The way from episode quality evaluations to relationship quality perception happens mainly trough cumulation. Episode perceptions that are alike cumulate and form a relationship quality percpetion. The other way is that the extraordinary perceptions sweep over the relationship quality perception, and change it. The relationship quality perception was seen as consisting of cells; cells which are formed on the basis different types of episode quality perceptions. The relative importance of each cell is different, and they also have different roles as a part of relationship quality perception. For example, the cell formed on the basis of episode quality evaluations related to quality standards was seen as foundation for the relationship quality perception and for the whole relationship. As the research in the area of relationship quality is still limited, this study hopefully serves as a door opener for study related to the relationship quality evaluation.