Aktuelles

Andreas Frey als Experte für Forschungsmethoden berufen

Andreas Frey wurde als Experte für Forschungsmethoden in den Beirat des Forschungsprojekts „Förderung sozialer und emotionaler Kompetenzen in der beruflichen Bildung: Eine Studie zu Medizinischen Fachangestellten in der Ausbildung“ am Bundesinstitut für Berufsbildung (Bonn) berufen.

17. Dezember 2019


Video-on-Demand Workshop "Hochschulklausuren besser machen"

Ab jetzt wird der Workshop zum KAT-HS-Konzept über die Seite https://kat-hs.uni-frankfurt.de als Video-on-Demand kostenlos zur Verfügung gestellt.

Der Workshop mit dem Titel „Hochschulklausuren besser machen: Einführung in die Erstellung, Administration und Auswertung kompetenzorientierter Klausuren am Computer“ fand am 08. Oktober 2019 statt und wurde per Video aufgezeichnet. Wir haben die Videos geschnitten, bearbeitet und ergänzt um einen kompakten und lehrreichen Online-Workshop zur Konstruktion fairer Klausuren zu konzipieren.

Im Video-Workshop wird ein umfassender Überblick zu direkt umsetzbaren Verfahren zur Erstellung, Nutzung und Auswertung hochwertiger kompetenzorientierter elektronischer Klausuren gegeben.

Behandelt werden:

  •     die Konkretisierung von Lernzielen,
  •     die Überführung der Lernziele in Kompetenzanforderungen,
  •     die Entwicklung von Klausuraufgaben,
  •     das Setzen von Notenstufen und Bestehensgrenzen,
  •     die Auswertung von Klausuren,
  •     die Identifikation problematischer Klausuraufgaben,
  •     das Konstanthalten des Bewertungsmaßstabes über mehrere Klausuranwendung,
  •     die Rückmeldung von Klausurergebnissen und
  •     das computerbasierte Klausursystem KAT-HS und dessen Konfiguration.

Der Video-Workshop wurde von Patrick Naumann, Andreas Frey, Christian Spoden und Aron Fink erstellt. Registrierte Nutzer der Website https://kat-hs.uni-frankfurt.de können die Videos im Download-Bereich dieser Seite kostenlos ansehen.

 16. Dezember 2019


Weihnachts-Come-Together 2019

Unser diesjähriges Weihnachts-Come-Together 2019 haben wir im Escape Room im “Cooky’s” verbracht. Beim Spiel „Labor“ konnten wir uns in zwei Gruppen aufgeteilt an der Lösung eines vertrackten Problems versuchen, dabei gab es ein glattes Unentschieden. Den zweiten Teil des Abends genossen wir mit Äppler und regionalen Spezialitäten im traditionellen Äpplerrestaurant „Fichtekränzi“ in Sachsenhausen.

Wir hatten einen tollen Abend miteinander, mit dem wir die Weihnachtszeit einläuten konnten. Die gesamte Abteilung wünscht an dieser Stelle allen, die auf unserer Seite hereinschneien, wunderbare Weihnachtsfeiertage und ein glückliches und erfolgreiches Neues Jahr! (A.S.)

10. Dezember 2019


Workshop „Hochschulklausuren besser machen“ an der Goethe-Universität in Frankfurt

Am 8. Oktober 2019 fand der Workshop mit dem Titel „Hochschulklausuren besser machen: Einführung in die Erstellung, Administration und Auswertung kompetenzorientierter Klausuren am Computer“ am Interdisziplinären Kolleg Hochschuldidaktik (IKH) der Universität Frankfurt statt. Im Workshop wurde ein umfassender Überblick zu direkt umsetzbaren Verfahren zur Erstellung, Nutzung und Auswertung hochwertiger kompetenzorientierter elektronischer Klausuren gegeben.

Der Workshop vermittelte alle Schritte, die für eine wissenschaftlich abgesicherte Messung von Kompetenzständen mittels Klausuren nötig sind: u. a. die Konkretisierung von Lernzielen, die Überführung der Lernziele in Kompetenzanforderungen, die Entwicklung von Klausuraufgaben, das Setzen von Notenstufen und Bestehensgrenzen, die Auswertung von Klausuren, die Identifikation problematischer Klausuraufgaben, das Konstanthalten des Bewertungsmaßstabes über mehrere Klausuranwendung sowie die Rückmeldung von Klausurergebnissen. Zudem wurde ein Einblick in das computerbasierte Klausursystem KAT-HS und dessen Konfiguration gegeben. Die Teilnehmenden hatten die Möglichkeit, Schritte des KAT-HS-Konzepts beispielhaft für eine Klausur aus dem eigenen Tätigkeitsbereich praktisch durchzuführen.

Der Workshop wurde von Patrick Naumann und Andreas Frey mit Unterstützung von Christian Spoden, Aron Fink und Irina Kuzmina durchgeführt. Registrierte Nutzer der Website https://kat-hs.uni-frankfurt.de/ haben die Möglichkeit, Materialien, wie beispielsweise die Präsentationsfolien zum Workshop, herunterzuladen.

08. Oktober 2019


Beiträge auf der Tagung der FGME der Deutschen Gesellschaft für Psychologie (DGPs) in Kiel

Am 18. September 2019 fand das Symposium „Anwendungen der Item-Response-Theorie (IRT)“ im Rahmen der 14. Tagung der Fachgruppe Methoden & Evaluation (FGME 2019) der Deutschen Gesellschaft für Psychologie (DGPs) in Kiel statt. Bei dem Symposium wurden Einblicke in die Anwendungen der IRT in verschiedenen diagnostischen Anwendungskontexten gegeben. Patrick Naumann präsentierte die Ergebnisse einer Simulationsstudie mit dem Titel „Itemparameter-Drift in kleinen Stichproben“, bei der die Leistungsfähigkeiten dreier Methoden zur Detektion von Itemparameter-Drift bei Nutzung der kontinuierlichen Kalibrierungsstrategie (KKS) gegenübergestellt wurden. Im Beitrag „Berücksichtigung von Itempositionseffekten beim computerisierten adaptiven Testen (CAT) mit der kontinuierlichen Kalibrierungsstrategie“ berichtete Prof. Dr. Andreas Frey umfassende Ergebnisse zur Leistungsfähigkeit der KKS unter Berücksichtigung von Itempositionseffekten. Dr. Christian Spoden hielt einen Vortrag mit dem Titel „Adaptive und partiell-adaptive Messung individueller Veränderung“, in welchem er über die Anwendung von CAT bei Veränderungsmessungen von Lernverläufen berichtete. Weitere Informationen zur FGME finden Sie hier.

18. September 2019


Beiträge der Arbeitseinheit auf der EARLI Konferenz in Aachen

Vom 12. bis zum 16. August 2019 fand die Konferenz der European Association for Research on Learning and Instruction (EARLI) in Aachen statt. Im Mittelpunkt der Konferenz zum Thema „Thinking Tomorrow's Education: Learning from the past, in the present and for the future“ standen Ergebnisse und Ideen zur neuesten Forschung in den Bereichen Lernen und Instruktionen. Aron Fink hielt einen Vortrag mit dem Titel „Testing an explanatory model for the intention to use adaptive and non-adaptive e-exams by the university teaching staff“. In diesem Beitrag ging es um die Einflussfaktoren, welche die Intention zur Nutzung (adaptiver) E-Klausuren von Hochschullehrenden beeinflussen. Im Beitrag „Reducing sample size requirements in large-scale assessments for improving test design flexibility“ präsentierte Dr. Christoph König einen Ansatz zur Erhöhung der Flexibilität internationaler large-scale-assessments durch eine fixed item parameter calibration. Bei diesem Ansatz werden die Parameter von bereits kalibrierten Items auf die bereits vorhandenen Schätzungen fixiert und nur die neuen Itemparameter werden geschätzt.

16. August 2019


Beitrag auf dem Meeting der European Mathematical Psychology Group (EMPG)

Vom 5. bis zum 7. August 2019 fand das jährliche Meeting der European Mathematical Psychology Group (EMPG) in Heidelberg statt. Dr. Christoph König hielt einen Vortrag mit dem Titel „Alternatives to the Inverse Wishart distribution in Bayesian hierarchical IRT models“. Anhand einer durchgeführten Simulationsstudie wurde die Inverse Wishart Verteilung (einer häufig genutzten Prior-Verteilung für Kovarianzmatrizen in Bayesianischen hierarchischen IRT-Modellen) mit drei alternativen Spezifikationen hinsichtlich Parameter Recovery (Bias und RMSE) im hierarchischen 2PL-IRT-Modell verglichen.

08. August 2019


Nicola Hericks neue Mitarbeiterin an der Arbeitseinheit

Die Arbeitseinheit Pädagogische Psychologie mit Schwerpunkt Beratung, Diagnostik und Evaluation heißt heute Nicola Hericks als neue Mitarbeiterin willkommen!

01. Juli 2019


Präsentation zu Item Positionseffekten bei der kontinuierlichen Kalibrierungsstrategie auf der IACAT-Konferenz

Vom 10. bis 13. Juni 2019 fand die Konferenz der International Association for Computerized Adaptive Testing (IACAT) in Minneapolis statt. Unter dem Titel „Consideration of Item Position Effects in CAT with the Continuous Calibration Strategy” präsentierte Andreas Frey dort Ergebnisse zu Item Positionseffekten bei der kontinuierlichen Kalibrierungsstrategie, welche er gemeinsam mit Aron Fink und Christian Spoden untersuchte. Die kontinuierliche Kalibrierungsstrategie (Fink et al., 2018) ermöglicht die Verwendung von computerisierten adaptiven Tests auch in kleinen Stichproben. Auf der IACAT-Konferenz wurden Ergebnisse einer Monte-Carlo Simulationsstudie präsentiert, bei der die Tauglichkeit der kontinuierlichen Kalibrierungsstrategie bei Vorliegen von Item Positionseffekten untersucht wurde.

Weitere Informationen zur IACAT-Konferenz finden Sie unter http://iacat.org/.

14. Juni 2019


Paper zu Equating-Methoden bei der kontinuierlichen Kalibrierung von Itempools in computerisierten adaptiven Tests veröffentlicht

Sebastian Born, Aron Fink, Christian Spoden und Andreas Frey haben einen Artikel zu Equating-Methoden bei der kontinuierlichen Kalibrierungsstrategie in der Fachzeitschrift „Frontiers in Psychology“ veröffentlicht. Darin untersuchten sie unterschiedliche Methoden zur Skalentransformation bei Nutzung der kontinuierlichen Kalibrierungsstrategie (Fink et al., 2018) in computerisierten adaptiven Tests in Bezug auf die Schätzgenauigkeit der Itemparameter (Mean/Mean, Mean/Sigma, Haebara und Stocking-Lord). Die Characteristic-Curve-Methoden, insb. Stocking-Lord, stellten sich dabei als geeignete Methoden zur Skalentransformation bei der kontinuierlichen Itempool-Kalibrierun in computerisierten adaptiven Tests heraus. Der Artikel kann über den Link in der doi angesehen werden.

Born, S., Fink, A., Spoden, C., & Frey, A. (2019). Evaluating Different Equating Setups in the Continuous Item Pool Calibration for Computerized Adaptive Testing. Frontiers in Psychology, 10, 1277. doi: 10.3389/fpsyg.2019.01277.

06. Juni 2019


DFG-Projekt zum Aufbau internationaler Kooperationen bewilligt

Die Deutsche Forschungsgemeinschaft fördert im Rahmen ihres Programms zum Aufbau internationaler Kooperationen das Projekt „Online-Kalibrierung von Item-Antwortzeit-Modellen“. Im Rahmen des Projekts werden Prof. Dr. Alison Cheng und Prof. Dr. Cheng Liu von der University of Notre Dame (USA) im Juni und Juli 2019 im Rahmen einen Gastaufenthaltes an der Professur Pädagogische Psychologie mit Schwerpunkt Beratung, Diagnostik und Evaluation sein. Wir freuen uns schon!

13. Mai 2019


Patrick Naumann neuer Mitarbeiter an der Arbeitseinheit

Die Arbeitseinheit Pädagogische Psychologie mit Schwerpunkt Beratung, Diagnostik und Evaluation heißt heute Patrick Naumann als neuen Mitarbeiter willkommen!

02. April 2019


Kolloquium „Methoden der empirischen Bildungsforschung“

Vom 10.3.-15.3.2019 wurde erneut das jährliche Kolloquium „Methoden der empirischen Bildungsforschung“ in Hirschegg, Österreich veranstaltet. Im Rahmen des Kolloquiums wurden Beiträge zu aktuellen methodischen Entwicklungen von 14 Expertinnen und Experten diskutiert. Seitens der Arbeitseinheit wurden Vorträge von Andreas Frey, Christoph König und Aron Fink gehalten. Wir schauen erneut auf eine sehr anregende Zeit imKleinwalsertal zurück!

26. März 2019


Arbeitseinheit auf der GEBF 2019 vertreten

Die Arbeitseinheit Pädagogische Psychologie mit Schwerpunkt Beratung, Diagnostik und Evaluation war mit drei Beiträgen auf der diesjährigen Tagung der Gesellschaft für empirische Bildungsforschung (GEBF) in Köln vertreten. Andreas Frey hielt einen Vortrag über die Nutzung computerisierten adaptiven Testens bei wiederkehrenden Hochschulklausuren. Shirin Esmaeili-Bijarsari hielt einen Vortrag über die Akzeptanz kriteriumsorientierter computerisierter adaptiver Hochschulklausuren seitens Studierender, und Aron Fink hielt einen Vortrag zu Einflussfaktoren auf die Intention zur Nutzung (adaptiver) E-Klausuren seitens Hochschullehrender.

28. Februar 2019


Paper zur Berücksichtigung von multiplen Item-Kontexteffekten in computerbasierten, multidimensionalen Tests erschienen

Kürzlich erschien ein Paper zur Berücksichtigung von Item-Kontexteffekten in computerbasierten, multidimensionalen Tests in der Fachzeitschrift Frontiers in Psychology. Norman Rose, Gabriel Nagy, Benjamin Nagengast, Andreas Frey und Michael Becker präsentieren darin eine Parametrisierung des multidimensionalen Rasch-Modells auf Basis des generalisierten linearen Modells, das es erlaubt, multiple Item-Kontexteffekte zu berücksichtigen. Die Autoren illustrieren den Nutzen dieses Zugangs anhand von Daten aus seiner Kalibrierungsstudie eines multidimensionalen, computerisierten Tests zur Erfassung von Kompetenzen in Mathematik, Naturwissenschaften und Lesen. Das Paper ist auf der Homepage des Journals unter https://doi.org/10.3389/fpsyg.2019.00248 zum Download verfügbar.

25. Februar 2019


Andreas Frey in Beirat von KERMIT-Online berufen

Andreas Frey wurde in den Beirat des Projekts KERMIT-Online der Freien und Hansestadt Hamburg sowie der Freien Hansestadt Bremen aufgenommen.

20. Februar 2019


Andreas Frey mit einem Beitrag im neuen Handbuch Schulpädagogik vertreten

Das neue Handbuch Schulpädagogik, herausgegeben von Marius Harring, Carsten Rohlfs und Michaela Gläser-Zikuda, enthält ein Kapitel zur Kompetenzdiagnostik, das Andreas Frey zusammen mit Johannes Hartig verfasst hat. Die Autoren gehen darin auf die Grundfragen der Kompetenzdiagnostik ein und illustrieren den typischen Verlauf einer Testplanung und –anwendung. Das Handbuch Schulpädagogik ist unter http://www.utb-shop.de/handbuch-schulpadagogik-9518.html käuflich zu erwerben.

5. Dezember 2018


Paper zu einer neuen, auf Reaktionszeiten basierenden Methode zum Kodieren fehlender Antworten in computerbasierten Tests erschienen

Kürzlich erschien ein Paper zur Illustration einer neuen, auf Reaktionszeiten basierenden Methode zum Kodieren von fehlenden Antworten in computerbasierten Tests in der Fachzeitschrift Behaviormetrika. Andreas Frey, Christian Spoden, Frank Goldhammer und S. Franziska C. Wenzel entwickeln eine neue Methode, die auf Rubin’s Theorie fehlender Werte basiert und in das IRT-Framework eingebettet ist. Die Autoren illustrieren diese neue Methode anhand empirischer Daten aus einem computerbasierten Test zu Fähigkeiten im Bereich der Informations- und Kommunikationstechnik. Das Paper ist auf der Homepage des Journals unter https://rdcu.be/bczWd zum Download verfügbar.

20. November 2018


Der zweite Teil des Special Topic „Advances in Educational Measurement“ in Psychological Test and Assessment Modeling erschienen

Der zweite Teil des von Andreas Frey, Christoph König und Christian Spoden herausgegebenen Special Topics „Advances in Educational Measurement” in der Zeitschrift Psychological Test and Assessment Modeling ist soeben erschienen. Die Experten der drei Beiträge dieses zweiten Teils des Special Topics beschäftigen sich mit unterschiedlichen Möglichkeiten, die statistische Modellierung von Messprozessen in erziehungswissenschaftlichen und psychologischen Kontexten flexibler und personalisierter zu gestalten, um den Bereich des Educational Measurement für aktuelle und zukünftige Herausforderungen zu rüsten. Das Special Topic ist unter https://tinyurl.com/y7m77jk9 verfügbar. Der im Juni erschienene erste Teil des Special Topics finden Sie unter https://tinyurl.com/ychg9p3y verfügbar.

18. Oktober 2018


Andreas Frey mit Positionsreferat auf dem 51. DGPs-Kongress

Auf dem diesjährigen 51. Kongress der Deutschen Gesellschaft für Psychologie in Frankfurt am Main war Andreas Frey mit einem Positionsreferat zum Thema „Hochschulklausuren im 21. Jahrhundert“ vertreten.

02. Oktober 2018


Paper zur Entwicklung von computergestützten adaptiven Tests im Journal of Computerized Adaptive Testing erschienen

Kürzlich erschien ein Paper zur Entwicklung von computergestützten adaptiven Tests im Journal of Computerized Adaptive Testing. Christian Spoden, Andreas Frey und Raphael Bernhard zeigen, dass die Entwicklung solcher Tests, die weithin als zeit- und ressourcenintensiv angesehen wird, auch in relativ kurzer Zeit machbar ist. Die Autoren illustrieren dies an der Entwicklung eines adaptiven Tests zur Messung von Kompetenzen in Lesen, Mathematik und Naturwissenschaft, die im Rahmen eines nationalen Projekts stattgefunden hat. Das Paper ist auf der Homepage des Journals unter http://iacat.org/jcat/index.php/jcat/article/view/70 zum Download verfügbar.

02. Oktober 2018


Andreas Frey zum Professor berufen

Andreas Frey wurde heute offiziell zum Professor der Professur für Pädagogische Psychologie mit Schwerpunkt Beratung, Diagnostik und Evaluation berufen. Er wird seinen Dienst an der Goethe-Universität Frankfurt am 1. September 2018 antreten.