Search

We consider the problem of estimating the first k coeffcients in a regression equation with k + 1 variables.For this problem with known variance of innovations, the neutral Laplace weighted-average least-squares estimator was introduced in Magnus (2002).We investigate properties of this estimator in the case where the unknown variance is estimated by least squares.We find that the optimality properties of the Laplace estimator only change marginally.Therefore we recommend the neutral Laplace estimator to be used in practice.

Die Autorin stellt einige Forschungsansätze aus dem U.S. Census Bureau vor, die sich auf den Pretest von Umfragen und die Evaluation der eingesetzten Erhebungsinstrumente beziehen. Von den Mitarbeitern der "Statistical Research Division" (SRD) wurde im Jahr 1998 insbesondere vorgeschlagen, einen unabhängigen demographischen Haushaltssurvey einzurichten, der ausschließlich Forschungszwecken dienen sollte. Die Autorin berichtet von Erfahrungen mit diesem Umfrageprojekt aus den Jahren 1999 und 2000, das als "Questionnaire Design Experimental Research Survey" (QDERS) bezeichnet wird. Sie stellt die besonderen methodischen Leistungen des Projekts heraus und gibt einen Überblick über vorliegende Veröffentlichungen und Tagungsberichte. (ICI)

Für den Pretest oder die Evaluation einer Befragung existieren zwei hauptsächliche Methoden: Auf der einen Seite können Probleme durch die Beobachtung der Interaktion zwischen Interviewer und Antwortendem während des Befragungsprozesses entdeckt werden. Auf der anderen Seite kann versucht werden, den kognitiven Prozess beim Antwortenden zu rekonstruieren, um nähere Informationen über das Antwortverhalten zu gewinnen. Beide Methoden haben jeweils spezifische Vor- und Nachteile und decken bestimmte Problemstellungen der Datenanalyse auf. Es sind jedoch nach Meinung des Autors genauere Beobachtungen im Rahmen von Pretests notwendig, die vorrangig kognitive oder Tiefeninterview- Techniken anwenden. Er zeigt in seinem Beitrag, dass der Einsatz von modernen Aufzeichnungstechniken in Kombination mit der Nutzung geeigneter Software entscheidend zur Qualität und vereinfachten Analyse von Pretests beitragen kann, die auf kognitiven Interviews und Beobachtungsdaten beruhen. (ICI)

'Der vorliegende Beitrag stellt ein am Sozialwissenschaftlichen Umfragezentrum der Universität Duisburg-Essen entwickeltes computerunterstütztes, auf dem Prinzip des Behavior-Coding basierendes Pretestverfahren für CATI-Instrumente unter Feldbedingungen vor. Feldpretests (auch: Beobachtungs- oder Standardpretests) für CATI-Instrumente erfordern die Evaluation von CATI-Fragebögen im Rahmen einer computerunterstützten telefonischen Pretesterhebung. Die Registrierung der während der Pretestinterviews auftretenden Probleme mit einzelnen Fragen kann traditionell von den Pretestinterviewern entweder retrospektiv nach der Beendigung des telefonischen Pretests durch Ausfüllen eines speziellen Beobachtungsinstruments oder durch Paper- und Pencil-Notierung der Probleme während einer Frage-Antwort-Episode vollzogen werden. Weder von der retrospektiven Methode noch von der Methode des gleichzeitigen schriftlichen Eintrags sind, insbesondere bei schwierigen Erhebungsinstrumenten reliable Ergebnisse zu erwarten. Im zuletzt genannten Fall muss davon ausgegangen werden, dass der Interviewer in der Regel so sehr auf das eigentliche Interview und die computerunterstützte Eingabe der Antworten konzentriert ist, dass er mit der zusätzlichen Aufgabe, Probleme schriftlich festzuhalten, überfordert wäre. Das hier vorgestellte Verfahren versucht, diese Defizite zu umgehen und zugleich die Vorteile computerunterstützter Telefonumfragen für Pretests zu nutzen. Ein Vorteil besteht etwa in der Möglichkeit, größere, nach dem Zufallsverfahren von Gabler und Häder (1997) gezogene Preteststichproben zu verwenden, um anspruchsvollere statistische Verfahren schon in der Pretestphase einzusetzen. Ein weiterer Vorteil liegt in der raschen Verfügbarkeit eines Pretest-Datensatzes. Das hier beschriebene CAPTIQ-Verfahren (CAPTIQ: Computer Assisted Pretesing of Telephone Interview Questionnaires) erlaubt die sofortige computerunterstützte Codierung der Problemarten und liefert einen Datensatz, auf dessen Grundlage die Pretestergebnisse in ihrer longitudinalen Qualität sichtbar gemacht werden können. Dies geschieht mit Hilfe einer grafischen Darstellung, die als IPG (Interview Process Graph) bezeichnet wird. Ähnlich wie in einem Elektrokardiogramm lassen sich Probleme mit Anwortskalen, Antworttendenzen, Lernprozesse, etc, insbesondere bei längeren Itembatterien identifizieren.' (Autorenreferat) 'Observational pretesting or standard pretesting of CATI-questionnaires is not unproblematic because the recording of observed respondent behavior has either to be carried out during the interview itself or after completion of the interview, prepared by filling out observational forms. Recording during the interview often places a heavy additional burden on the interviewer above and beyond conducting the interview properly. Recording after the interview presents a challenge to reliability. In this paper we present a method for Computer Assisted Pretesting of Telephone Interview Questionnaires (CAPTIQ) which allows respondents' behavior to be coded during the interview without burdening the interviewer too much. The interviewers are able to code without interrupting the flow of the interview itself. The pretest data for each question and each respondent collected by CAPTIQ may be seen as longitudinal data which can be represented by a graph called IPG (Interview Process Graph). The IPG, rather like an electrocardiogram, reveals any problem zones occurring during the interview. As a result, problems concerning response scales, information collected on the learning processes initialized by respondents while processing item batteries. Comprehension difficulties related to question wording or other factors also manifest themselves in oscillations of the IPG. The paper describes the CAPTIQ-Method and presents an illustration of the IPG by evaluating a CATI-Questionnaire used for a nationwide survey about health and media use.' (author's abstract)

Die Autorin beschreibt die wesentlichen Kritikpunkte von finnischen Sozialwissenschaftlern an der kognitiven Theorie und insbesondere ihrer Testung in der Forschungspraxis. Sie fasst die vorliegenden Kommentare zur kognitiven Befragungsmethode überblicksartig zusammen und ordnet sie in den Kontext und die Diskussionsbeiträge zum vergangenen QUEST-Workshop ein. Sie stellt ferner anhand einiger Beispiele die Testverfahren und das Forschungsdesign der "Finland's Social Statistics" vor und zeigt, inwiefern die verwandten Methoden für verschiedene Nutzergruppen in Europa von Interesse sein können. (ICI)

Der Beitrag gibt einen Überblick über die Nutzung der "Statistics New Zealand" (SNZ) für Haushalts-, Unternehmens- und Wirtschaftsbefragungen. Es werden die unterschiedlichen Pretest-Methoden beschrieben, welche zur Bewertung der Fragen und Fragebögen eingesetzt werden, z.B. Begriffstest, kognitiver Test, Nutzbarkeitstest, Übersetzungstest und Felderprobung. Anhand von Beispielen wird gezeigt, wie diese Methoden in der Forschungspraxis zusammenwirken und einander ergänzen. (ICI)

Der Autor diskutiert die Ziele und Inhalte von kognitiven Pretests in der Umfrageforschung und weist darauf hin, dass die Stärke von Pretests zuweilen überschätzt wird, ihre Potentiale hingegen oftmals unausgeschöpft bleiben. Angesichts der Tatsache, dass es keine allgemeinen Richtlinien für einen "guten" Pretest, keine Systematisierung der Forschungspraxis und keinen Konsens über methodische Erwartungen gibt, zeigt der Autor einige notwendige Forschungsperspektiven für die Zukunft auf. Diese sollten neben einer stärkeren Berücksichtigung der zeitlichen und soziologischen Dimension folgende Ziele umfassen: (1) Bewertung der Effektivität von Pretest-Methoden, (2) Entwicklung von empirisch begründeten Richtlinien für das Befragungsdesign und (3) Anpassung der Pretest-Methoden an neue Erhebungsformen, wie z.B. Web- und Unternehmensbefragungen. (ICI)

Die Autoren betrachten im Rahmen eines Experiments über alternative kognitive Befragungsmethoden die Ergebnisse von Expertenberichten, um die Reichweite von Resultaten abzuschätzen, die durch drei unterschiedliche Interviewergruppen erzielt worden sind. Datengrundlage bilden die Ergebnisse einer CATI-gestützten Haushaltsbefragung in den USA zum Umweltverhalten, insbesondere zur Abfallbeseitigung und zum Recycling. Die Autoren diskutieren die Gründe für die unterschiedlichen Bewertungen der Experten und zeigen forschungspraktische Konsequenzen für Umfragen und Pretests auf. (ICI)

In practice, bootstrap tests must use a finite number of bootstrap samples. This means that the outcome of the test will depend on the sequence of random numbers used to generate the bootstrap samples, and it necessarily results in some loss of power. We examine the extent of this power loss and propose a simple pretest procedure for choosing the number of bootstrap samples so as to minimize experimental randomness. Simulation experiments suggest that this procedure will work very well in practice.

En el presente art´ıculo se recogen los resultados de una investigaci´on llevada a cabo sobre el comportamiento de pretest de heterocedasticidad. Con este fin se ha dise˜nado un experimento Monte Carlo, introduciendo como proceso generador de datos un modelo con tres supuestos sobre la estructura de la varianza del error y con distintos niveles de heterocedasticidad para cada uno de ellos. Asimismo, se analiza la potencia de los diferentes contrastes de heterocedasticidad bajo los distintos supuestos de estructura heteroced´astica. Adem´as, se estudia la consecuencia de utilizar un estimador por M´ınimos Cuadrados Generalizados Factibles cuya matriz ˆ­ no se corresponde con la matriz ­ del proceso generador de datos, mediante una funci´on de riesgo de los estimadores pretest. Se concluye que es m´as importante el procedimiento de estimaci´on empleado que el contraste aplicado para detectar la heterocedasticidad

'In diesem Beitrag wird nach einem kurzen Überblick über unterschiedliche Formen des Pretests gezeigt, wie kognitive Pretestverfahren in der Praxis eingesetzt werden können. Dazu werden Beispiele aus dem kognitiven Pretest zur Vorbereitung des ALLBUS 1998 herangezogen, bei dem primär mit Probing-Fragen gearbeitet wurde. Anhand der Beispiele wird demonstriert, daß diese Verfahren tatsächlich aufschlußreiche Hinweise auf das Frageverständnis erbringen können. Gleichzeitig wird deutlich, daß die Anwendung der Verfahren nicht ganz frei von Problemen ist und daß noch Bedarf an methodologischer Forschung zur Konstruktion von Probing-Fragen besteht.' (Autorenreferat) 'A brief overview of different forms of pretests is presented, followed by demonstrations of how cognitive pretests can be applied in practice using examples from the German General Social Survey (ALLBUS) 1998 cognitive pretest. Probe questions were a prominent feature of this pretest. Examples are used to demonstrate how these techniques can provide valuable information on how respondents understand survey questions. Furthermore, problems associated with using these techniques are considered. It becomes obvious that further research on the construction of probe questions is needed.' (author's abstract)

'Der Bericht gibt einen Überblick über die Planung und Durchführung sozialwissenschaftlicher Befragungen und die Konstruktion von Fragebogen. Darüber hinaus werden unterschiedliche Formen von Pretestverfahren beschrieben, die bei der Entwicklung eines Fragebogens zum Einsatz kommen können.' (Autorenreferat)

The purpose of this study was to evaluate an approved problem solving module as a model for use in the general mathematics curriculum, and assess its effectiveness in bringing about literacy in and a better attitude toward mathematics. Included in the module were topics on fundamental operations, fractions, decimals and percents, and problem solving. Specifically, the module focused on concerns of the National Assessment of Educational Progress (NAEF), that is the inability of students and young adults to use numbers skillfully enough to meet the demands of a modern society. The sample used in this study consisted of eight intact classes- -four control and four experimental groups. The groups were composed of students enrolled in ninth grade general mathematics from Logan City School District, Cache County School District, and Box Elder County School District. The three districts are comprised of urban, semi-rural, and rural developments in northern Utah. The total of 210 students included 131 males and 79 females. There were 117 students in the experimental groups and 93 students in the control groups. The diagrammatic problem solving module (composed of 20 lessons) was distributed among the teachers of the experimental groups for their perusal of content, lesson plans, and approach. When the teachers finished previewing the module, sessions were scheduled to accommodate each of their questions and concerns, and to cement the philosophy of the unit. Also, sessions were held with the control group teachers to delineate the kinds of experiences that would enhance equitable comparisons. To facilitate the use of the Solomon Four-Group Design, a least squares analysis of variance (ANOVA) technique with unequal numbers of subjects per treatment was used to analyze the null hypotheses at the .05 level of significance. The ANOVA was used for both the Algebra Readiness Test and the Mathematics Attitude Scale. On the basis of the findings of the five null hypotheses that were replicated in five different fashions, in regard to treatment effects, the following conclusions seem warranted. 1. There was a significantly more favorable attitude toward mathematics among students who were taught using the diagrammatic method. 2. There was a significantly more favorable performance among students on fundamental operations who were taught using the diagrammatic method. 3. There was a significantly more favorable performance among students on fractions who were taught using the diagrammatic method. 4. There was no difference in the performance among students on decimals and percents who were taught using the diagrammatic method and students who were taught using the traditional method. 5. There was a significantly favorable difference in the performance of students on problem solving who were taught using the diagrammatic method. 6. Sex differences were highly significant on one of the five replications, favoring the females. Inasmuch as the number of males far exceeded the number of females, a conclusion was not reached on sex differences. 7. Students who took both pretests and posttests, using the attitude scale, scored significantly higher than those who took only the posttest. Therefore it was concluded that pretesting served to raise scores on the attitude scale. 8. Students who took both pretests and posttests, using the readiness battery, did not perform significantly better than students who only took the posttest. Therefore, it was concluded that pretesting did not serve to enhance scores on the readiness battery.

Estudios indican que el uso de un pretest tradicional como Levene, Bartlett, etc... para probar homocedasticidad antes de realizar una prueba de comparación de dos medias conlleva a afectaciones importantes en la probabilidad global de cometer un error de tipo I, por lo que hacerlo no es recomendable. En el presente trabajo a través del uso de simulaciones se establece una adecuada zona de inferencia para la prueba de equivalencia de dispersión para distribuciones Gaussianas, y se demuestra que esta prueba aplicada como un pretest supera el problema de afectación descrito, por lo que recomendamos este enfoque de equivalencia en lugar del tradicional para contrastar el supuesto de igualdad de varianzas previo a probar igualdad de medias para dos muestras normales independientes.

GESIS Survey Guidelines