Hol' Dir diese Lernkarten, lerne & bestehe Prüfungen. Kostenlos! Auch auf iPhone/Android!

Repräsentativität der Eichstichprobe zu erreichen, ist stets ein kritischer Punkt der Testentwicklung. Auch besonders große Stichproben sind keine Garantie für Repräsentativität.

Jedoch: Ausreichend große und repräsentative Stichproben zu erhalten, ist heute sowohl stimmungsmäßig als auch rechtlich, in Schulen wie in Betrieben, erschwert oder gar - infolge reduzierter Forschungsmittel für Eichungen - unmöglich.

Besonders kritisch steht es oft um die Aktualität der Eichtabellen, da die gemessenen Eigenschaften häufig einen steten Wandel durchmachen (Beispiel IQ: stieg innerhalb von 20 Jahren um bis zu 25 Punkte).
Die Initiative der DIN33430 berücksichtigte dies und legte eine verbindliche Reglementierung fest, die Angemessenheit der Normwerte (besser: Eichtabellen) ist spätestens alle 8 Jahre zu prüfen.

Repräsentativität in anderen Ländern
Inwiefern sind die verwendeten Eichstichproben aus dem einen Staat für andere deutschsprachige Länder repräsentativ?
Hierfür gibt es jedoch nur wenig Studien.

Gelegentlich ist die Wahl der Referenzpopulation strittig.
Beispiel verkehrspsychologische Begutachtung: 2 mögliche Populationen: aller Personen mit motorisierten Kraftfahrzeugen oder Stichprobe von Klienten verkehrspsychologischer Untersuchungsstellen (verkehrsauffällige Fahrer, Alkoholauffällige, Prüfungsversager und Berufsfahrer)
Die Erhebung einer Zufallsstichprobe ist bei Erwachsenen meist schwieriger als bei Schulkindern. Häufig ist diese jedoch sehr aufwändig, d.h. genügt auch eine sog. "Klumpenerhebung" (es werden nur einzelne Schulen und deren Schulkinder betrachtet).
Wichtig ist hier nur, dass die Klumpen zufällig gewählt werden, am besten nach regional festgelegten Quoten = Quotenstichprobe.

Häufiges Problem: "Freiwillige" für die Eichung eines Tests

Ein häufig vernachlässigtes, aber grundsätzliches Problem stellt die Verwendung von "Freiwilligen" bei der Eichung eines Tests dar - eigentlich besteht dieses Problem auch bei der Validierung und Reliabilitätsbestimmung.
Damit ist die Freiwilligkeit der Personen gemeint, die für eine bestimmte Studie rekrutiert bzw. akquiriert wurden, für die die entsprechende psychologische Untersuchung gar nicht indiziert ist und für die folglich auch mit dem jeweiligen Testergebnis keine verbindlichen Konsequenzen verbunden sind.

Beim Rekrutieren hätte es unter Umständen für die Betroffenen die Möglichkeit gegeben, die Teilnahme zu verweigern, beim Akquierieren kam es gar zu einer Selbstnominierung der Tpn, mit oder ohne Honorierung für die Untersuchungsteilnahme.

Spätestens seit Karner (2002) ist jedoch bekannt, dass Volunteers ein gänzlich anderes Testverhalten  zeigen können als Tpn, die tatsächlich der Referenzpopulation entstammen. So gesehen müsste für entsprechende Studien die Stichprobe auch insofern repräsentativ sein, als sie explizit nicht aus Volunteers besteht.

Angezeigt ist beim Gebrauch von Volunteers stehts eine sog. "Non-Responder-Analyse". Die Idee besteht bei einer Non-Responder-Analyse darin, verschiedene Untergruppen von Respondern zu untersuchen und zu vergleichen, und zwar solche, die sich im Grad der Freiwilligkeit bzw. in der "Schnelligkeit" der Selbstnominierung unterscheiden.
Besteht zwischen diesen Gruppen kein signifikanter Unterschied in den Testwerten, lässt das hoffen, dass auch Non-Responder nicht abweichen; ein Beweis wäre dies allerdings nicht.