Blind vs. Sighted listening tests - loudspeaker experiment

[Κώστας Φ.]

Ευχαριστώ τον καλό φίλο για το heads-up. :126:

Ένα σύντομο άρθρο που αξίζει να διαβάσετε.
Πριν μπούμε στο θέμα, λίγα λόγια για τον Sean Olive που διατηρεί τη συγκεκριμένη σελίδα:

Sean is Director of Acoustic Research for Harman International, a major manufacturer of audio products for consumer, professional and automotive spaces. He directs the Corporate R&D group, and oversees the subjective evaluation of new audio products including Harman's OEM automotive audio systems.

Prior to 1993, he was a research scientist at the National Research Council of Canada where his research focused on the perception and measurement of loudspeakers, listening rooms, and microphones. Sean received a Bachelors in Music from the University of Toronto, and his Masters and Ph.D. degrees in Sound Recording from McGill University in Montreal.

He has written over 25 research papers on the perception and measurement of audio for which he was awarded the Audio Engineering Society (AES) Fellowship Award in 1996, and two Publication Awards (1990 and 1995). Sean is the current Vice President for the AES Western US-Canada region.

Κι αφού ξεκαθαρίσαμε ποιός γράφει το κείμενο με το οποίο θα ασχοληθούμε, ας πάμε και στο "ζουμί"..

An important question is whether sighted audio product evaluations produce honest and reliable judgments of how the product truly sounds.

This question was tested in 1994, shortly after I joined Harman International as Manager of Subjective Evaluation

...

A total of 40 Harman employees participated in these tests, giving preference ratings to four loudspeakers that covered a wide range of size and price. The test was conducted under both sighted and blind conditions using four different music selections.

Διαβάστε την πολύ ενδιαφέρουσα συνέχεια εδώ: The Dishonesty of Sighted Listening Tests

 

[Tidal__]

Oύτε blind ούτε sighted, αυτά είναι για μικρά παιδιά!

Τεστάρεις κάτι (ενισχυτή, πηγή, καλώδιο κλπ) βάζοντας το στο σύστημά σου για μία εβδομάδα και μετά κάνεις την αλλαγή να δεις. Τα blind και τα sighted εκτός αν υπάρχουν δραματικές διαφορές είναι συγκρίσεις παιδικής χαράς όπως έλεγε και ο φίλος Βασίλης.

 

[costas EAR]

Απάντηση: Blind vs. Sighted listening tests - loudspeaker experiment

εξαιρετικό!

Μπράβο Κωστή!

 

[Gebreselassie]

The Dishonesty!
Μ' αρέσει ο τρόπος που το θέτει. Μεγάλη αλήθεια.

...

 

[frozenface]

Τεστάρεις κάτι (ενισχυτή, πηγή, καλώδιο κλπ) βάζοντας το στο σύστημά σου για μία εβδομάδα

Αγάλι, αγάλι γίνεται η αγουρίδα μέλι...

 

[petkef]

the audio industry remains stuck in the dark ages :112:

 

[Costas Coyias]

Απάντηση: Re: Blind vs. Sighted listening tests - loudspeaker experiment

the audio industry remains stuck in the dark ages :112:

Yes. Like it or not.

Εδώ, πέρισι, στην προσπάθειά της να εισβάλει στο -ημιμαθές- audiophile κοινό, η Linn μας έβαλε σώνει και καλά να πιστέψουμε πως με τις μικροδιαφορές στην ταχύτητα περιστροφής του CD (λέγε με jitter), αλλάζει και το pitch της ηχογράφησης, λες και ακούγαμε αναλογική ταινία ή φωνογραφικό δίσκο, συγκρίνοντας σε φανερό A/B test το ίδιο πρόγραμμα από CD και σκληρό δίσκο. Κι όταν ήγειρα αντιρρήσεις, με κοιτούσαν σαν να είμαι αρειανός. (Κι ο Κωσταυτιάς κρατιόταν να μη σκάσει στα γέλια). Αμ δεν είναι έτσι. Αλλιώς αλλάζει το pitch στα ψηφιακά.

 

[themiloc]

Είναι πράγματι μία σοβαρή προσπάθεια όλο αυτό το paper του Oliver.
Έχω όμως τους ίδιους ενδοιασμούς με έναν κύριο πιο κάτω:

"There is no reference/ anker in a preference test.
Who knows how the chosen material is supposed to sound exactly? Listeners who have heard it too many times think it should sound like as they heard it with their so far preferred loudspeaker. Listeners who hear the material the first time don't know at all. The least preferred loudspeaker in the test might just have revealed faithfully how distorted and bad the mix was.

 

[costas EAR]

Απάντηση: Re: Blind vs. Sighted listening tests - loudspeaker experiment

Είναι πράγματι μία σοβαρή προσπάθεια όλο αυτό το paper του Oliver.
Έχω όμως τους ίδιους ενδοιασμούς με έναν κύριο πιο κάτω:

"There is no reference/ anker in a preference test.
Who knows how the chosen material is supposed to sound exactly? Listeners who have heard it too many times think it should sound like as they heard it with their so far preferred loudspeaker. Listeners who hear the material the first time don't know at all. The least preferred loudspeaker in the test might just have revealed faithfully how distorted and bad the mix was.

:444:

Ναι μεν υπάρχουν αντικειμενικές "αρετές" που μπορείς να αναζητήσεις από ένα άκουσμα, αλλά από ένα σημείο (low-fi) και πάνω (πόσο μάλλον σε μικροδιαφορές εκπληκτικών συνολικά μηχανών πχ πηγών) ο υποκειμενισμός κυριαρχεί είτε συνειδητά είτε ασυνείδητα, σαφώς συνδεδεμένος με τα "ακούσματα" του καθενός αλλά και ταυτόχρονα υπό το δεδομένο της πλήρης άγνοιας όλων ως προς το αντικειμενικό της ηχογράφησης (κι όχι της πραγματικότητας)...

θα μπορούσε κάποιος να ισχυριστεί πως μπορεί να γίνει σύγκριση με ακουστικά υψηλών προδιαγραφών, αλλά και αυτό δε στέκει τελικά, όλα τα σενάρια "μπάζουν"....

 

[costas EAR]

Απάντηση: Re: Blind vs. Sighted listening tests - loudspeaker experiment

Yes. Like it or not.

Εδώ, πέρισι, στην προσπάθειά της να εισβάλει στο -ημιμαθές- audiophile κοινό, η Linn μας έβαλε σώνει και καλά να πιστέψουμε πως με τις μικροδιαφορές στην ταχύτητα περιστροφής του CD (λέγε με jitter), αλλάζει και το pitch της ηχογράφησης, λες και ακούγαμε αναλογική ταινία ή φωνογραφικό δίσκο, συγκρίνοντας σε φανερό A/B test το ίδιο πρόγραμμα από CD και σκληρό δίσκο. Κι όταν ήγειρα αντιρρήσεις, με κοιτούσαν σαν να είμαι αρειανός. (Κι ο Κωσταυτιάς κρατιόταν να μη σκάσει στα γέλια). Αμ δεν είναι έτσι. Αλλιώς αλλάζει το pitch στα ψηφιακά.

Σωστά. Στην προσπάθειά μου δε να το θέσω "λεπτά" με κάποιες αντιρρήσεις που εξέφρασα κι εγώ του στυλ "μα ότι διαβάζεται από το CD το ίδιο ακριβώς παίζεται και από το σκληρό", λάμβανα συνεχώς την απάντηση ότι από το σκληρό γίνεται σε δεύτερο χρόνο κι όχι τη στιγμή της ανάγνωσης από τον ασημένιο δίσκο, σα να λέμε ότι το ντακ είναι κολλημένο στο λέιζερ που διαβάζει το CD, ούτε μπάφερ δεν υπάρχουν, ούτε ρολόγια, τίποτα... τες πα...όντως έπαιζε καλύτερα από το σκληρό, αλλά η αιτία ήταν τα καλύτερα ντακ κι όχι άλλα "αιθέρια" αίτια...

Και στο συγκεκριμένο τεστ όταν τους ρώτησα αν το CD-player και το ethernet-dac φοράνε τα ίδια ντακ και τα ίδια op-amps η απάντηση ήταν αρνητική. Και πως θα μπορούσαν να είναι τα ίδια, όταν το ένα μπορεί μέχρι 16/44 και το άλλο μέχρι 24/192. Άλλοι κόσμοι... Οπότε ουσιαστικά συγκρίναμε 2 διαφορετικά ντακ. Να σου πω και κάτι τελικά? Μπράβο που παίζαν τόσο όμοια! Σημαίνει ότι τα προσέχουν πολύ τα μηχανάκια τους, και τα προσέχουν το ίδιο πολύ, ώστε να βγάζουν σχεδόν ίδιο ήχο...

Επίσης το ακριβότερο ethernet-dac φοράει άλλα αναλογικά στάδια εξόδου και άλλες τροφοδοσίες, ε, λες να ακούγεται το ίδιο? ή μήπως κι εκεί θα παίζει ρόλο ο σκληρός κι όχι τα ντακ?

Το μεγάλο θετικό αυτής της συνεύρεσης ήταν η απόδειξη (σε πολλούς) ότι ο σκληρός έχει θέση στο Hi-End. Και μπράβο στη Linn γι'αυτό!

 

[costas EAR]

Απάντηση: Blind vs. Sighted listening tests - loudspeaker experiment

Τελικά πιστεύω ότι η αξία της τυφλής ακρόασης είναι μέγιστη ΜΟΝΟ όταν δεν ανιχνεύονται από το ακροαστικό κοινό ηχητικές διαφορές. Που σημαίνει ή ότι οι προσκεκλημένοι έχουν πρόβλημα ακοής ή ότι τα προς σύγκριση "δοκίμια" είναι ίδιας ποιότητας. Και τα δύο συμπεράσματα ειναι μεγάλης αξίας...

Άπαξ και υπάρχουν ανιχνεύσιμες διαφορές (με συντριπτικό ποσοστό επιτυχίας στο ακροαστικό κοινό), το συμπέρασμα μπορεί να είναι ΜΟΝΟ αυτό, οτι δηλαδή υπάρχουν διαφορές ανάμεσα στα "δοκίμια". Το ποιό από τα δύο παίζει καλύτερα, αποδεικνύεται ΜΟΝΟ με μετρήσεις, με τεχνικά κριτήρια δηλαδή.

ΙΜΗΟ... και συγνώμη αν διαφωνώ μαζί σας....

 

[Κώστας Φ.]

Είναι πράγματι μία σοβαρή προσπάθεια όλο αυτό το paper του Oliver.
Έχω όμως τους ίδιους ενδοιασμούς με έναν κύριο πιο κάτω:

"There is no reference/ anker in a preference test.
Who knows how the chosen material is supposed to sound exactly? Listeners who have heard it too many times think it should sound like as they heard it with their so far preferred loudspeaker. Listeners who hear the material the first time don't know at all. The least preferred loudspeaker in the test might just have revealed faithfully how distorted and bad the mix was.

Σωστή η παρατήρηση - αν μας ενδιέφερε να αγοράσουμε κάποιο από τα ηχεία που χρησιμοποιήθηκαν στη δοκιμή. Ο σκοπός τους δεν ήταν αυτός όμως.
Το test δεν έγινε για να αποφασίσουν πoιά ηχεία είναι καλύτερα, αλλά για να δουν (και να δείξουν) πόσο επηρεάζεται η κρίση των ακροατών από το τι βλέπουν μπροστά τους.

Έχετε κάνει κανένα τεστάκι με τον Trends? Να κρύψετε έναν πίσω από ακριβό, μουράτο ενισχυτή και δίπλα να βάλετε έναν Trends στα φανερά πχ. και να βάλετε τον ακροατή να επιλέξει μεταξύ των δύο (και καλά) ενισχυτών; :144:

Αυτό που επιστημονικά αποδεικνύεται σε πολλά πολλά ανάλογα test είναι δύσκολο να χωρέσει στο μυαλουδάκι του audiophile για πολλούς και διάφορους λόγους.
Το βλέπετε και μόνος τόσο από τις αντιδράσεις σε αυτό, σε ανάλογης θεματολογίας thread αλλά φαντάζομαι και καθημερινά στη δουλειά σας.
Καλώς ή κακώς, το πρώτο βήμα για να διορθώσεις το οτιδήποτε είναι να αποδεχτείς ότι υπάρχει πρόβλημα.

Υπάρχει και η απάντηση στο comment που συζητάμε πάντως, από τον ίδιο τον Olive.
Το αρχικό comment:

There are several reasons why the audio community is hesitant about blind preference tests. You may have heard them already:

1) Context is very important for perception and judgment. This may lead to biases in a sighted test. However, in a blind test, removing the context, reduces your ability to judge altogether. Differences that you clearly heard before diminish. That sighted tests are wrong doesn't mean blind tests are right. This is a brain problem.

2) There is no reference/ anker in a preference test. Who knows how the chosen material is supposed to sound exactly? Listeners who have heard it too many times think it should sound like as they heard it with their so far preferred loudspeaker. Listeners who hear the material the first time don't know at all. The least preferred loudspeaker in the test might just have revealed faithfully how distorted and bad the mix was.

3) In short-term preference tests, timbral attributes are usually dominant. Small differences in loudness or low-Q resonances influence your judgment most, whereas in a long-term "relationship" with the product other attributes such as low-level transparency (distortion), dynamic range (the ability to reproduce transients), stereo imaging, become more important for relaxed listening to music than timbre. You can easily adjust your preferred level, and get accustomed to low-Q resonances.

...και η απάντηση:

1) I agree that context is a factor when judging the quality of audio, wine, food,etc. Wine reviewers argue that they would rate a French Bordeaux from a well-established producer differently in a sighted test knowing its track record of how it historically ages over time. Still, I think a combination of blind and sighted tests can best deal with that. Many consumers aren't interested in aging their wine and want to know how it tastes today.

Your 2nd and 3rd points are not specifically related to blind tests but apply to all listening tests in general.
2) There is nothing to prevent an experimenter from putting anchors in preference tests to help anchor and calibrate the scale. Anchors are recommended in ITU-R MUSHRA standard. Training listeners leads to more consistent use and interpretation of the scale, and familiarizes them with the program material. It's true that listeners never truly know how the recording should sound unless they were in the recording control room at the time when it was mixed and mastered. That doesn't seem to be much of an obstactle for trained listeners, who can listen to several different programs, and separate the distortions in the programs (which are constant among speakers) from those in the speakers. Clearly careful selection of neutral sounding recordings helps out here. We tend to use recordings made by recording engineers with a track record of making excellent recordings - like George Massenburg.

3) I am not aware of any studies that support the claims you make. In fact, in some cases, I would argue the opposite: Over long term, listening to a speaker inisolation, I suspect people, up to certain point, adapt to problems loudspeakers that are clearly audible and more objectionable in comparative blind tests. Also, there is nothing to prevent people from doing extended double-blind tests to see if your speculations are true or not. If people are not reporting distortion/spatial differences in listening tests over short periods of time, then the test probably hasn't been designed to focus listeners' attention on these differences. This can be addressed by training listeners to be sensitive to these differences and designing tests that require listeners to rate the test objects on spatial and distortion scales. Distortion is often not a factor for larger loudspeakers until the playback levels get rather high.

 

[petkef]

Re: Απάντηση: Blind vs. Sighted listening tests - loudspeaker experiment

[/HTML]Το ποιό από τα δύο παίζει καλύτερα, αποδεικνύεται ΜΟΝΟ με μετρήσεις, με τεχνικά κριτήρια δηλαδή.

Εγω παντως συμφωνω απολυτως.

 

[themiloc]

Καμμία αντίρηση οτι η δουλειά αυτή είναι σωστή καθώς και τα συμπερασματά της. Είναι δε παραδεδεγμένο οτι μία τυφλή δοκιμή είναι σαφώς πιο έγκυρη. Επειδή όμως οι δοκιμές γίνονται για να αξιολογούμε απόλυτα ή συγκριτικά συσκευές, τότε το πιο σημαντικό στοιχείο της δοκιμής είναι να απαλείψουμε τον παράγοντα "υποκειμενισμός" ώστε να βγούν κατά το δυνατόν αντικειμενικότερα συμπεράσματα.
Κι αυτό γίνεται-όπως έχω ξαναπεί- φροντίζοντας στην τυφλή δοκιμή να διαθέτουμε ακροατές με εμπειρία και εξοικείωση με τα χαρακτηριστικά του χώρου της ακρόασης.

 

[Timbre]

Απάντηση: Blind vs. Sighted listening tests - loudspeaker experiment

Εγώ έχω δει πράγματα γραμμένα που από μόνα τους κάτι μου λένε, όπως...:

"The test was conducted under both sighted and blind conditions using four different music selections."

ΩΩχχχ !
Διαφορετικά είδη μουσικής ;;;;;
Γιατί άραγιες :138:

"The psychological biases in the sighted tests were sufficiently strong that listeners were largely unresponsive to real changes in sound quality caused by acoustical interactions between the loudspeaker, its position in the room, and the program material"

Μάλλον αυτός ο άνθρωπος πρέπει να έρθει να ψωνίσει από την Ελλάδα ηχεία. Ξέρω κάποιους που υποστηρίζουν ότι το καλό Hi-End ηχείο παίζει το ίδιο καλά τα πάντα.
Να του στείλω κανα μεηλ....:108:

 

[themiloc]

Re: Απάντηση: Blind vs. Sighted listening tests - loudspeaker experiment

Τελικά πιστεύω ότι η αξία της τυφλής ακρόασης είναι μέγιστη ΜΟΝΟ όταν δεν ανιχνεύονται από το ακροαστικό κοινό ηχητικές διαφορές. Που σημαίνει ή ότι οι προσκεκλημένοι έχουν πρόβλημα ακοής ή ότι τα προς σύγκριση "δοκίμια" είναι ίδιας ποιότητας. Και τα δύο συμπεράσματα ειναι μεγάλης αξίας...

Άπαξ και υπάρχουν ανιχνεύσιμες διαφορές (με συντριπτικό ποσοστό επιτυχίας στο ακροαστικό κοινό), το συμπέρασμα μπορεί να είναι ΜΟΝΟ αυτό, οτι δηλαδή υπάρχουν διαφορές ανάμεσα στα "δοκίμια". Το ποιό από τα δύο παίζει καλύτερα, αποδεικνύεται ΜΟΝΟ με μετρήσεις, με τεχνικά κριτήρια δηλαδή.

ΙΜΗΟ... και συγνώμη αν διαφωνώ μαζί σας....

Δεν έχω καταλάβει Κώστα γιατί η τυφλή δοκιμή έχει αξία μόνον όταν δεν ανιχνεύονται διαφορες. Φυσικά και θα υπάρχουν διαφορές που θα ανιχνεύονται από έμπειρα ανθρώπινα αυτιά και όχι από μετρήσεις. Η ομοιγένεια και οι χροιές ενός ηχείου π.χ συχνα δεν δικαιολογούνται από τις μετρήσεις.
δικαιολογούνται από

 

[themiloc]

Re: Απάντηση: Blind vs. Sighted listening tests - loudspeaker experiment

Ξέρω κάποιους που υποστηρίζουν ότι το καλό Hi-End ηχείο παίζει το ίδιο καλά τα πάντα.

Τα ηχεία παίζουν καλά σε αυτό το πρόγραμμα που ήταν σηματικό για τον σχεδιαστή τους να παίζουν καλά.
Υπάρχουν φυσικά και ουδέτερα ηχεία που μπορεί να μην τα παίζουν όλα καλά για όλους, τα παίζουν όμως όλα σωστά.
Και όταν λέω σωστά εννοώ πιστά. Αυτά τα έχει όποιος τα χρειάζεται
και οι σχεδιαστές τους αδιαφορούν αν αρέσουν και σε πόσους.

 

[costas EAR]

Απάντηση: Re: Απάντηση: Blind vs. Sighted listening tests - loudspeaker experiment

Υπάρχουν φυσικά και ουδέτερα ηχεία που μπορεί να μην τα παίζουν όλα καλά για όλους, τα παίζουν όμως όλα σωστά.
Και όταν λέω σωστά εννοώ πιστά. Αυτά τα έχει όποιος τα χρειάζεται
και οι σχεδιαστές τους αδιαφορούν αν αρέσουν και σε πόσους.

α, γειά σου!

επειδή ακριβώς το αντικειμενικά καλύτερο (δηλαδή το σωστότερο, αυτό που προσφέρει περισσότερο πιστή αναπαραγωγή) δεν σχεδιάζεται για να "αρέσει", θα βρεθούν πολλοί που θα πουν ότι απλά δε τους αρέσει.

Άρα, πάμε εύκολα στο συμπέρασμα ότι:
το αντικειμενικά καλύτερο, το σωστότερο και αυτό που προσφέρει περισσότερο πιστή αναπαραγωγή, δεν υποχρεούται να αρέσει σε όλους και τελικά δεν αρέσει σε ΠΑΡΑ πολλούς.

Ίσως γιατί δεν βγάζει "χροιές", με την κακή έννοια. :141:

Άρα, πάμε εύκολα και στο επόμενο συμπέρασμα:

Στην τυφλή δοκιμή όταν ανιχνεύονται διαφορές δε μπορεί να υπάρχει ασφαλές συμπέρασμα για το ποιο δοκίμιο προσφέρει υψηλότερης πιστότητας αναπαραγωγή.

Μπορεί να υπάρχει συμπέρασμα ως το ποιο δοκίμιο "αρέσει" περισσότερο.

Το τι "αρέσει" όμως δεν έχει σχέση με το ποιο είναι το σωστότερο.

Άρα με την ακρόαση δε μπορεί να υπάρχει συμπέρασμα ως προς το ποιο είναι το σωστότερο. Διότι, όπως είπα πριν, το αντικειμενικά καλύτερο, το σωστότερο και αυτό που προσφέρει περισσότερο πιστή αναπαραγωγή, δεν υποχρεούται να αρέσει σε όλους και τελικά δεν αρέσει σε ΠΑΡΑ πολλούς και δε σχεδιάζεται με γνώμονα "να αρέσει".

Άρα με την ακρόαση μπορεί να υπάρχει ΜΟΝΟ συμπέρασμα ως προς το ότι τα δοκίμια έχουν ή δεν έχουν ακουστές διαφορές.

Με τεχνικά κριτήρια όμως, μπορεί να υπάρχει συμπέρασμα ως προς το ποιο είναι το σωστότερο.

Άρα μπορείς να αποδείξεις ότι δοκίμια με σημαντικά διαφορετικές τεχνικές προδιαγραφές και μετρήσεις, δεν έχουν ακουστή διαφορά.

Επίσης μπορείς να αποδείξεις ότι δοκίμια με μεγάλη μεταξύ τους διαφορά τιμής (βλέπε Hi-End) δεν έχουν ακουστές διαφορές.

Ή μπορείς πάλι να αποδείξεις ότι από δοκίμια με μεγάλη μεταξύ τους διαφορά τιμής (βλέπε Hi-End) "αρέσουν" τα φτηνότερα.

Για να αποδείξεις όμως ότι τα φτηνότερα (αυτά που "αρέσουν") είναι και σωστότερα, χρειάζεσαι μετρήσεις, τεχνική δηλαδή επιβεβαίωση.

Απλοί λογικοί συνειρμοί. Πιο απλά δε γίνεται να το πω για να γίνει κατανοητό...

Και για τις θεωρίες περι "χροιών" ένα έχω να πω: ασπάζομαι πλήρως τον ορισμό του ντόχερτυ που δόθηκε για να απαντήσει με τον δικό του χαρισματικό τρόπο στο ερώτημα "τι είναι οι χροιές" : "της ψ@λής μου ο χαβάς."

 

[Timbre]

Απάντηση: Re: Απάντηση: Blind vs. Sighted listening tests - loudspeaker experiment

......

Και για τις θεωρίες περι "χροιών" ένα έχω να πω: ασπάζομαι πλήρως τον ορισμό του ντόχερτυ που δόθηκε για να απαντήσει με τον δικό του χαρισματικό τρόπο στο ερώτημα "τι είναι οι χροιές" : "της ψ@λής μου ο χαβάς."

Πες του ότι κάνει λάθος :137:
Όποιος ασχολείται με τον ήχο και δεν ξέρει τι είναι οι χροιες (και πως επηρεάζουν) μάλλον ακούει από line-in και όχι από τα αυτιά του.

 

[Κώστας Φ.]

Σωστόστ @ CostasEAR