Search

In international achievement studies, a common test is typically used which is translated into the languages of the participating countries. For the test to be valid, all the translations and different-language test versions need to be equally difficult to read and answer. An underestimated and underdiscussed threat to this validity is unwanted literal translation. This paper discusses the problem of unwanted literal translation in international achievement studies. It defines what is meant by unwanted literal translation and explains why it is a threat to the validity of international achievement studies and why it is so difficult to avoid. It also discusses problems there have been when translating these tests which may have promoted unwanted literal translation and provides suggestions on how to improve the translation practices so as to ensure that the translations are in as natural and idiomatic language as possible.

Kansainväliset arviointitutkimukset edellyttävät laajaa käännöstyötä, koska kaikki koemateriaalit on käännettävä kunkin osallistujamaan kielille. Kaikkien erikielisten koeversioiden on lisäksi oltava keskenään vertailukelpoisia, jotta tutkimustulokset olisivat valideja. Arviointitutkimuksissa onkin kehitetty nimenomaisia käännösprosesseja ja -käytänteitä varmistamaan koeversioiden vertailukelpoisuus ja tutkimustulosten validius. Tässä tutkimuksessa tarkasteltiin kääntäjien kokemuksia näistä prosesseista ja käytänteistä ja niissä ilmenneistä ongelmista. Tavoitteena oli kehittää kansainvälisten arviointitutkimusten käännösprosesseja ja -käytänteitä ja lisätä näin näiden tutkimusten tulosten validiutta. Tutkimus suoritettiin toimintatutkimuksena. Aineisto kerättiin keskusteluina viiden suomalaiskääntäjän kanssa, jotka käänsivät PISA (Programme for International Student Assessment) 2009 -lukukokeen materiaalit suomen kielelle. Keskustelut analysoitiin sisällönanalyysin avulla. Analyysien tulokset osoittivat, että vaikka kansainvälisten arviointitutkimusten käännösprosessit ja -käytänteet ovat vuosien kuluessa kehittyneet, niissä on edelleen ongelmia, jotka saattavat vaarantaa tutkimustulosten validiuden. Ongelmia ovat aiheuttaneet muun muassa alkuperäinen koeversio, epäpätevät kääntäjät, käännöstavoitteen epämääräisyys sekä epäsopivat käännösohjeet, kahden erikielisen alkuperäisversion käyttö, käännösten puutteellinen tarkistus ja verifiointi sekä ajan puute. Tulosten pohjalta esitetään ehdotuksia kansainvälisten arviointitutkimusten käännösprosessien ja -käytänteiden kehittämiseksi.

The success of Finnish students in PISA has been a great joy but at the same time a somewhat puzzling experience to all those responsible for and making decisions about education in Finland. At a single stroke, PISA has transformed our conceptions of the quality of the work done at our comprehensive school and of the foundations it has laid for Finland's future education and development of knowledge. Thanks to PISA, Finnish schools and school practices have suddenly been brought into the focus of international attention. Why are Finnish students performing so well? What is the secret behind the Finnish success? In this publication, we as the researchers responsible for the implementation of PISA in Finland, try to open up some perspectives on the possible reasons underlying the high performance of Finnish students in PISA. There is, in fact, no one single explanation for the result. Rather, the successful performance of Finnish students seems to be attributable to a web of interrelated factors having to do with comprehensive pedagogy, students' own interests and leisure activities, the structure of the education system, teacher education, school practices and, in the end, Finnish culture. Perspectives on this web of explanations will be opened up not only by analysing the results of PISA but also by considering some characteristics of the Finnish education system and our cultural heritage which, both at and outside school, can be thought to have contributed to Finland's successful performance.

Tutkimuksessa tarkasteltiin ongelmia, joita kansainvälisissä lukukokeissa on käännettäessä lukukoetekstejä osallistujamaiden kielille ja pyrittäessä samalla pitämään tekstien vaikeustaso muuttumattomana – sillä elleivät koetekstit ole vaikeustasoltaan ekvivalentteja, vertailukelpoisia, ei lukukoekaan ole validi. Tieto ongelmista on tarpeen, koska se auttaa tekemään käännöksistä laadukkaampia ja vertailukelpoisempia, mikä vuorostaan johtaa luotettavampiin, pätevämpiin ja tasa-arvoisempiin lukukokeisiin. Tutkimuksen aineistona käytettiin kolmea PISA 2000 -lukukokeeseen sisältynyttä englanninkielistä lähtötekstiä ja niiden suomennosta. Tekstit edustivat eri tekstityyppejä: yksi oli ekspositorinen asiateksti, yksi kaunokirjallinen novelli ja kolmas “ei-jatkuva” taulukko. Tutkimusmenetelmänä oli vertaileva lingvistinen tekstianalyysi, jossa englanninkielisiä lähtötekstejä ja niiden suomennoksia analysoitiin ja verrattiin keskenään kielen eri tasoilla ja osa-alueilla. Tarkoituksena oli etsiä, analysoida ja arvioida teksteistä kielellisiä elementtejä, joissa englannin- ja suomenkielisten tekstien vaikeustaso näytti poikkeavan toisistaan. Vaikeustason arviointi pohjautui kognitiivisiin lukuteorioihin. Analyysi oli pääosin laadullista, mutta siihen sisältyi myös kvantitatiivisia vertailuja. Tutkimuksessa löytyi karkeasti jaoteltuna kuudenlaisia ongelmia: kielten välisiin kieliopillisiin eroihin liittyviä ongelmia, kielten kirjoitusjärjestelmien välisiin eroihin liittyviä ongelmia, kielten välisiin merkitysrakenteiden eroihin liittyviä ongelmia, kulttuurien välisiin eroihin liittyviä ongelmia, kääntäjien valintoihin ja strategioihin liittyviä ongelmia ja tekstinkäsittelyyn ja editointiin liittyviä ongelmia. Ongelmat erosivat huomattavasti eri tekstityyppien välillä. Absoluuttisesti laskettuna ongelmia oli eniten kaunokirjallisessa tekstissä. Mutta kun ongelmien määrä suhteutettiin tekstien pituuteen, ongelmallisin oli taulukkoteksti. Vähiten ongelmia oli kummallakin tavoin laskettuna ekspositorisessa tekstissä. Myös ongelmien laatu erosi tekstityypeittäin. Ekspositorisessa tekstissä ongelmia aiheuttivat tekstin lääketieteellinen ja anatominen sanasto, sanastosta johtuva rekisteri- ja tyyliero englannin- ja suomenkielisessä tekstissä, erot sanapituudessa sekä liian sanatarkka kääntäminen. Kaunokirjallisessa tekstissä ongelmat liittyivät sanojen monimerkityksisyyteen, metaforiin, persoonapronominien käytön erilaisuuteen englannin ja suomen kielessä, suomenkielisen tekstin tyylilliseen köyhtymiseen, siihen että tekstin sisältö oli vähemmän tuttu suomalaiskulttuurissa, tekstin kiinnostavuuden vähenemiseen sekä kääntäjien taipumukseen selkiyttää suomenkielistä tekstiä. Taulukkotekstissä ongelmia aiheuttivat erityisesti tekstin tiiviys ja suomenkielisen tekstin temaattinen ja tekstuaalinen epäjohdonmukaisuus ja siitä johtuvat kömpelyydet ja epäidiomaatisuus. Teksteistä löytyneiden ongelmien vuoksi yhdenkään tekstin englannin- ja suomenkielinen versio eivät olleet vaikeustasoltaan täysin ekvivalentteja keskenään. Enimmäkseen erot olivat kuitenkin varsin pieniä ja kompensoituivat, kun tekstejä tarkasteltiin kokonaisuuksina. Todelliset vaikeuserot englannin- ja suomenkielisten tekstien välillä näyttivätkin suhteellisen merkityksettömiltä. Tulokset viittaavat siihen, että kansainvälisissä lukukokeissa saavutetaan tuskin koskaan aivan täydellistä vertailukelpoisuutta kaikkien erikielisten tekstien välillä. Huomattavan suuri vertailukelpoisuus näyttää kuitenkin mahdolliselta. Jotta tähän päästäisiin, olisi jo koetekstejä valittaessa kiinnitettävä huomio niiden käännettävyyteen ja vältettävä tekstejä, joissa on runsaasti ongelmallisia rakenteita, sanastoa ja sisältöjä. Tekstejä käännettäessä kääntäjien työtä helpottaisi se, jos heillä olisi apunaan kaksi erikielistä lähtötekstiä. Kääntäjien tulisi lisäksi varoa sekä liian sanatarkkaa kääntämistä että tekstien liiallista selkiyttämistä. Adaptaatiot ja kompensaatiot voisivat samoin parantaa tekstien vertailukelpoisuutta. Lopuksi tekstejä tarkistettaessa ja niiden vertailukelpoisuutta arvioitaessa pelkät tilastolliset analyysit eivät riitä, vaan tekstejä on verrattava myös kielellisesti ja tekstianalyyttisesti. Apua saattaisi olla lisäksi takaisinkäännöksistä ja siitä, että tekstejä luetettaisiin ulkopuolisilla. Kaikkiaan käännöstyössä on syytä käyttää vain päteviä kääntäjiä ja tekstinkäsittelijöitä ja huolehtia siitä, että heillä on riittävästi aikaa paneutua työhönsä.