Why blind tests are reliable

[Costas Coyias]

Όχι δεν πρόκειται να κάνω καμιά ανάλυση, προς απόδειξη των αυτονοήτων. Απλώς, είναι ώρες – ώρες που αισθάνομαι (άξιος απόγονος κάποιων πραγματικά σημαντικών ανθρώπων. Κατά τα λοιπά, τα Yamaha NS1000 δεν ήταν και τόσο αποκαλυπτικά... Αααααατττςςςςςςς... :happy_9:

 

[g.kar]

Φανατικός Coca-Coλάκιας, που μισούσε εννοείται την Pepsi, όταν του έγινε blind test, δεν κατάφερε να μας αποδείξει ότι ήταν ικανός να καταλάβει τις διαφορές στην γεύση μεταξύ των δύο αναψυκτικών.

Κάτι αντίστοιχο μπορεί να συμβαίνει και με την ακρόαση δύο διαφορετικών ηχητικών συσκευών. Μετά από δυο-τρεις απανωτές αλλαγές η ανθρώπινη αντίληψη, κάποιοι υποστηρίζουν, μπορεί να μειώνεται δραματικά. Είναι θέμα ψυχοακουστικής και όχι τόσο ακουστικής.
Πρέπει να το ψάξουμε κι άλλο το θέμα. Δεν είναι τόσο απλά τα πράγματα, ούτε οι ηχητικές διαφορες είναι άσπρο-μαύρο, ειναι μικρές οι διαφορες που γίνονται αντιληπτες μόνο μετά από πολλές ώρες ακρόασης. Ορισμένοι χρειάζονται μέρες για να συνηθίσουν ένα νέο άκουσμα και μόνο τότε μπορούν να το αξιολογήσουν.
Καλές οι πλάκες, δε λέω, αλλά κάποτε πρέπει να βάλουμε κάτω όλα τα στοιχεία που έχουμε και να το δούμε ποιο σφαιρικά το θέμα της ανθρώπινης ακουστικής αντίληψης.

 

[Costas Coyias]

The Listening-Test Lie

Regular readers of this publication know how to refute the various lies invoked by the high-end cultists in opposition to double-blind listening tests at matched levels (ABX testing), but a brief overview is in order here. The ABX methodology requires device A and device B to be level matched within ±0.1 dB, after which you can listen to fully identified A and fully identified B for as long as you like. If you then think they sound different, you are asked to identify X, which may be either A or B (as determined by a double blind randomization process). You are allowed to make an A/X or B/X comparison at any time, as many times as you like, to decide whether X=A or X=B.

Since sheer guessing will yield the correct answer 50% of the time, a minimum of 12 trials is needed for statistical validity (16 is better, 20 better yet). There is no better way to determine scientifically whether you are just claiming to hear a difference or can actually hear one. The tweako cultists will tell you that ABX tests are completely invalid. Everybody knows that a Krell sounds better than a Pioneer, so if they are indistinguishable from each other in an ABX test, then the ABX mthod is all wet - that’s their logic. Everybody knows that Joe is taller than Mike, so if they both measure exactly 5 feet 11 1/4 inches, then there is something wrong with the Stanley tape measure, right? The standard tweako objections to ABX tests are too much pressure (as in “let’s see how well you really hear”), too little time (as in “get on with it, we need to do 16 trials”), too many devices inserted in the signal path (viz., relays, switches, attenuators, etc.), and of course assorted psychobabble on the subject of aural perception.

None of that amounts to anything more than a red herring, of one flavor or another, to divert attention from the basics of controlled testing. The truth is that you can perform an ABX test all by yourself without any pressure from other participants, that you can take as much time as wish, (how about 16 trials over 16 weeks?), and that you can verify the transparency of the inserted control devices with a straight-wire bypass. The objections are totally bogus and hypocritical. Here’s how you smoke out a lying, weaseling, obfuscating anti-ABX hypocrite. Ask him if he believes in any kind of A/B testing at all. He will probably say yes. Then ask him what special insights he gains by (1) not matching levels and (2) peeking at the nameplates. Watch him squirm and fume.

Peter Aczel, Editor
The Audio Critic, issue 26
Fall 2000

(Οι εμφάσεις δικές μου).