(en alweer) blind testen

[s0000884]

En wat is dat dan voor test?

Net zo lang doorgaan met cijfers geven totdat er een correllatie gevonden is. Als er geen correllatie wordt gevonden, is er geen hoorbaar verschil. Net zoals breem zegt; wordt de verschillen kleiner (in dit geval orde grootte 0.001%) dan moet je het aantal samples gewoon opvoeren.

[s0000884]

Er zijn legio postings geweest waarin het omgekeerde ook werd omderbouwd.

Dan ben ik erg (niet ironisch bedoeld) benieuwd naar de omstandigheden van de bindtests die dit onderbouwen.

[s0000884]

maar ik kan het (nog) niet. als je (weer terug naar het voorbeeld van de tv) de test methode die je beschrijft zou uitvoeren op die tv, dan zal die test toch ook uitwijzen dat beide tv's hetzelfde cijfer krijgen?

Heel goede posting dit. Inderdaad, beide tv's ZIJN dus ook gelijk. Als je net zo veel geniet als van de ander, dan is er geen reden om op grond van een andere responsie voor blauw een andere tv te kopen. Immers zou je thuis die 2 tv's nodig hebben om dat verschil te zien en dus doe je in de winkel een test die niet representatief is.

En de verschillen tussen de tv's merk je niet, dus bespaar je geld en heb je dezelfde "beleving".

Kijk hier is dus de kern van het verhaal. Stel dat er nu een videofiel (tegenhanger van audiofiel) hierop zou reageren dan zou ie zeggen: IK beleef wel een beter beeld, en dat komt omdat de ene tv beter blauw geeft dan de ander! (en dat is dus de verkeerde conclusie, want zoals boven beschreven is het niet dat blauw dat ervoor zorgt dat die videofiel meer van het beeld geniet). 2 zaken worden met elkaar verbonden die niet met elkaar te verbinden zijn.

Zoals ik al schreef, bij muziekweergave is dat anders

En dat is dus niet zo. Beide situaties zijn exact gelijk.

[Manus]

En wat is dat dan voor test?

Net zo lang doorgaan met cijfers geven totdat er een correllatie gevonden is. Als er geen correllatie wordt gevonden, is er geen hoorbaar verschil. Net zoals breem zegt; wordt de verschillen kleiner (in dit geval orde grootte 0.001%) dan moet je het aantal samples gewoon opvoeren.

Nou....zo simpel is het toch echt niet

 

Je eerst maar eens even in de regels van de Statistiek verdiepen kan geen kwaad. Heb je het dan over volledige correlatie, of gedeeltelijke correlatie? Hoe groot is de onderzochte populatie? Wanneer is een onderzoek valide?Wat is de standaarddeviatie? Is het onderzoek met dezelfde omstandigheden en omgevingsvariabelen te herhalen?

[s0000884]

Je eerst maar eens even in de regels van de Statistiek verdiepen kan geen kwaad.

Nee, dat kan zeker geen kwaad.

[CableTalk]

Voor een tv maakt het niet zoveel uit, dat is zo'n beetje het enige component dat je nodig hebt om tv te kunnen kijken. En de verschillen tussen de tv's merk je niet, dus bespaar je geld en heb je dezelfde "beleving".

Nou, ik zie wel degelijk verschil tussen een bijvoorbeeld een Philips, Panasonic en Sony en ook nog wel verschillen tussen de diverse modellen van

[Manus]

Je eerst maar eens even in de regels van de Statistiek verdiepen kan geen kwaad.

Nee, dat kan zeker geen kwaad.

 

 

Nou niet lager gedraald dan, aan de slag s0000884!

[jeroenhog]

Zoals ik al schreef, bij muziekweergave is dat anders

En dat is dus niet zo. Beide situaties zijn exact gelijk.

wacht even, nu sla je iets over , de volledige alinia was als volgt:

 

Zoals ik al schreef, bij muziekweergave is dat anders, er zijn namelijk meerdere componenten die de weergave beinvloeden. Als je alle componenten kiest met een blinde test, dan zal het uiteindelijke resultaat, dus die van de gehele set, weleens significant minder kunnen zijn dan wanneer je de door mij beschreven test methode gebruikt?

 

Ter verduidelijking, stel dat een cd speler 1% beter presteerd dan de andere, de blinde test zal uitwijzen dat er geen verschil is, terecht imo. Dus de goedkopere, misschien de speler die slechter presteerd wordt gekozen.

 

Maar dit doe je ook voor de speakers, de interlinks, voorversterker, einversterker, etc etc.

 

Overal loop je (misschien) wel een paar procentjes "mis". Het is dan toch aannemelijk dat het uiteindelijke resultaat (dus de gehele set) nu wel hoorbaar slechter presteerd, zelfs met een blinde test????

[dekkersj]

En wat is dat dan voor test?

Net zo lang doorgaan met cijfers geven totdat er een correllatie gevonden is. Als er geen correllatie wordt gevonden, is er geen hoorbaar verschil. Net zoals breem zegt; wordt de verschillen kleiner (in dit geval orde grootte 0.001%) dan moet je het aantal samples gewoon opvoeren.

De domste fout die je kan maken is net zo lang doorgaan totdat je statistisch significante cijfers hebt. De mens is geen machine! Hij of zij kan verkouden worden of, veel aannemelijker, die test zo beu zijn na 23589 samples, dat hij of zij gewoon gaat gokken. Of bedenk maar 100den redenen waarom de factor tijd de grote boosdoener is.

 

Blind testen is niet zo eenvoudig in audio. Theoretisch kan het, maar in de praktijk zijn er te veel haken en ogen aan.

 

Groet,

Jacco

[s0000884]

De domste fout die je kan maken is net zo lang doorgaan totdat je statistisch significante cijfers hebt. De mens is geen machine! Hij of zij kan verkouden worden of, veel aannemelijker, die test zo beu zijn na 23589 samples, dat hij of zij gewoon gaat gokken. Of bedenk maar 100den redenen waarom de factor tijd de grote boosdoener is.

Tja, hier verschillen we dus denk ik fundamenteel van mening. Juist zie ik uit alle nadelen die jij noemt de kracht van de blinde test. Die toont gewoon aan dat wij met onze oren helemaal niet in staat zijn verschillen tussen CD spelers te horen. De test toont aan dat, als ik philips electronica stiekum inbouw in een accuphase bak bij iemand thuis, dat hij er geen weet van zal hebben. Toch toevallig dat die nadelen die jij noemt ineens niet opgaan als ik een CD speler met een (goedkope) cassettedeck ga vergelijken, niet?

[s0000884]

Als je de tijd zou nemen om op het forum eens flink te lezen, dan kom je heel wat voorbeelden tegen van cd-spelervergelijkingen met vergaande conclusies over de verschillen die er te beluisteren waren.

Je verwacht toch niet dat ik verschillen als 'de ene geeft veel diepere bas dan de ander' of 'de stemmen uit deze speler zijn veel schoner' serieus kan nemen als het enige mogelijke verschil tussen CD spelers een uiterst miniem faseverschil en een anders geshaped ruis-spectrum (onhoorbaar omdat het zowel boven de audioband als -100 dB is) ? Zo was ik ook bezig toen ik 16 was en nul verstand had van electronica. Met alle respect voor niet-technici.

[s0000884]

1%

Een CD speler die zoveel vervormt kan regelrecht de prullebak in.

[s0000884]

Als je alle componenten kiest met een blinde test, dan zal het uiteindelijke resultaat, dus die van de gehele set, weleens significant minder kunnen zijn dan wanneer je de door mij beschreven test methode gebruikt?

Denkfout. Smaak reken je niet mee. Dit kun je dus nooit op een blinde test projecteren. Als je minimale vervorming wenst (echte hifi-dus, geen high-end goeroe met 10-voudig overgedimensioneerde voedingen om vervolgens een platenspeler en een buizenbak 2% vervorming te laten toediengen) dan kies je gewoon voor iedere component die component die het minste vervormt.

[dekkersj]

De domste fout die je kan maken is net zo lang doorgaan totdat je statistisch significante cijfers hebt. De mens is geen machine! Hij of zij kan verkouden worden of, veel aannemelijker, die test zo beu zijn na 23589 samples, dat hij of zij gewoon gaat gokken. Of bedenk maar 100den redenen waarom de factor tijd de grote boosdoener is.

Tja, hier verschillen we dus denk ik fundamenteel van mening. Juist zie ik uit alle nadelen die jij noemt de kracht van de blinde test. Die toont gewoon aan dat wij met onze oren helemaal niet in staat zijn verschillen tussen CD spelers te horen. De test toont aan dat, als ik philips electronica stiekum inbouw in een accuphase bak bij iemand thuis, dat hij er geen weet van zal hebben. Toch toevallig dat die nadelen die jij noemt ineens niet opgaan als ik een CD speler met een (goedkope) cassettedeck ga vergelijken, niet?

Je rent veel te hard!

 

Ik ben mij heel goed bewust van de beperkingen van het gehoor. Dat we niet meer dan 0.3 dB in amplitude verschil kunnen horen, dat we boven de 20 kHz niets waarnemen en ga zo maar door.

 

Het enige probleem bij cd spelers is dat dat wel voor elkaar is. Maar er zijn nog meer zaken. Een piepende cq slecht ontworpen voeding en/of analoog uit circuit bijvoorbeeld. Als dat rommelt op -70 dBFS (equivalent) kun je roepen wat je wilt, maar die verschillen zijn dus hoorbaar. In andere woorden, cd spelers kunnen wel verschillend klinken.

 

Dan zijn nog de digitale filters die equiripple zijn ontworpen. Of halfband filters die zo ontworpen zijn. Wordt veel toegepast. Of resamplers met een ripple. Allemaal leuk en aardig, maar die geven een pre en post echo. Duurdere cd spelers zullen (hoop ik) veel betere ripple hebben dan een speler van 200 euri.

 

Misschien zijn er nog meer te bedenken (jitter geloof ik niet zo in).

 

BTW, er niets mis met Philips elektronica. Is gewoon gebakken strandzand, net als die andere IC boeren.

 

Groet,

Jacco

[jeroenhog]

Als je alle componenten kiest met een blinde test, dan zal het uiteindelijke resultaat, dus die van de gehele set, weleens significant minder kunnen zijn dan wanneer je de door mij beschreven test methode gebruikt?

Denkfout. Smaak reken je niet mee. Dit kun je dus nooit op een blinde test projecteren. Als je minimale vervorming wenst (echte hifi-dus, geen high-end goeroe met 10-voudig overgedimensioneerde voedingen om vervolgens een platenspeler en een buizenbak 2% vervorming te laten toediengen) dan kies je gewoon voor iedere component die component die het minste vervormt.

maar dat lukt je dus niet met een blinde test

 

Edit, te snel gepost:

 

Ik denk dat ik er wel uit ben, voor mij geen blinde testen, daar krijg ik nooit het naar mijn smaak beste totaal resultaat mee.

[cgm]

Verschillen tussen cd-spelers zijn toch veel te klein om je daar druk over te maken. We moeten ons in allerlei bochten wringen om iets te horen. Ik zeg niet dat ze hetzelfde klinken, maar ik vind het altijd bijzonder lastig om de verschillen te ontdekken.

[Manus]

Voorbeeld, stel nu dat je twee tv's wilt beoordelen op de weergave van de kleur blauw, hoe helderder de kleur blauw hoe beter, een van de tv's geeft de kleur blauw 5% helderder weer dan de andere. Als je de test op dezelfde manier zou afnemen zoals met de cd spelers is gedaan, dan is het aannemelijk dat de test uiteindelijk zal uitwijzen dat er geen verschillen tussen de tv's zijn.... (in dit voorbeeld zien de tv's er uiteraard identiek uit)

En dit is dus de fout die iedere keer gemaakt wordt over blind testen. Je moet je geheugen NIET gebruiken tijdens het testen. Je vergelijkt niet de klankbeelden, maar je totaaloordeel over de speler. DAT oordeel rechtvaardigt namelijk een hogere aanschafprijs. Je moet gewoon zo kort of lang als je wilt blind naar iedere speler luisteren en gewoon een cijfer toekennen aan de CD speler. Hoeveel genoot je van de muziek bij iedere CD speler? Herhaal deze proef een keer of 20 en ga die cijfers middelen. Komt een speler nu echt als beter uit de bus (dubbelblind), dan rechtvaardigt dat een hogere aanschafprijs. Doe de test op deze manier en iedere CD speler van 200 euro en duurder krijgt anno 2006 hetzelfde cijfer. En dit cijfer is prima te verklaren want iedere CD speler die z'n huiswerk doet, doet exact hetzelfde.

Jaja, 'Hoeveel genoot je van de muziek?' En: 'Denkfout. Smaak reken je niet mee'.

 

Lijkt me moeilijk, ergens van genieten zonder smaak.

[s0000884]

Je rent veel te hard!

 

Ik ben mij heel goed bewust van de beperkingen van het gehoor. Dat we niet meer dan 0.3 dB in amplitude verschil kunnen horen, dat we boven de 20 kHz niets waarnemen en ga zo maar door.

 

Het enige probleem bij cd spelers is dat dat wel voor elkaar is. Maar er zijn nog meer zaken. Een piepende cq slecht ontworpen voeding en/of analoog uit circuit bijvoorbeeld. Als dat rommelt op -70 dBFS (equivalent) kun je roepen wat je wilt, maar die verschillen zijn dus hoorbaar. In andere woorden, cd spelers kunnen wel verschillend klinken.

 

Dan zijn nog de digitale filters die equiripple zijn ontworpen. Of halfband filters die zo ontworpen zijn. Wordt veel toegepast. Of resamplers met een ripple. Allemaal leuk en aardig, maar die geven een pre en post echo. Duurdere cd spelers zullen (hoop ik) veel betere ripple hebben dan een speler van 200 euri.

 

Misschien zijn er nog meer te bedenken (jitter geloof ik niet zo in).

 

BTW, er niets mis met Philips elektronica. Is gewoon gebakken strandzand, net als die andere IC boeren.

 

Groet,

Jacco

Laat ik vooropstellen dat ik absoluut onderstreep dat er niets mis is met philips electronica (waar heb ik dat gesteld ). Sterker nog: een philips doet het net zo goed als een accuvaas, dat is wat ik stelde . Nog altijd ben ik blij met mijn philips 52 kg EM2 chassis beeldbuis.

 

Even serieus: Een slechte voeding in een CD speler, dan wel slechte print layout (die ruis/troep inkoppelt) is met gezond verstand te voorkomen en niet met 10000 euro meerprijs.

 

Pre en post echo / fasekarakteristiek / resampling / enzovoort zijn van geen enkele (aangetoonde) muzikale significantie. Voor een ieder die in een blinde test stelt dat het muzikaler is, vind ik wel een persoon die juist met extra slechte postringing o.i.d. de boel mooier vind (er zijn zelfs mensen die niet willen oversamplen). Er is gewoon geen mandaat voor. Het wordt wel als argument gebruikt om te zeggen: DUS er zijn verschillen tussen CD spelers DUS kopen die dure hap. Dat vind ik voorbarig; een viool gaat niet beter klinken van een minimaal sneller uitdempende post echo die ook een lagere Prms heeft

 

Ik blijf benieuwd of als ik nu zo'n minimum pre echo filter stiekum inbouw in een CD speler met van zichzelf een hele sterke pre echo, of de luisteraar dan ineens uit zichzelf zegt: de stemmen zijn nu veel voller!

[s0000884]

Lijkt me moeilijk, ergens van genieten zonder smaak.

Helemaal mee eens, en dat is juist waarom ik zo zit te zagen in deze thread. Je smaak zit niet te wachten op een vervormingsafname van 3 x niks. En dat toon je juist aan door cijfers aan CD spelers toe te kennen.

[Manus]

Lijkt me moeilijk, ergens van genieten zonder smaak.

Helemaal mee eens, en dat is juist waarom ik zo zit te zagen in deze thread. Je smaak zit niet te wachten op een vervormingsafname van 3 x niks. En dat toon je juist aan door cijfers aan CD spelers toe te kennen.

Maar hoe rijm je dat met je eigen opmerkingen eerder in dit topic dat smaak niet meetelt, en dat proefpersonen moeten aangeven hoeveel ze ergens van genieten. Dat lijkt mij toch in tegenspraak met elkaar.

[dekkersj]

[...]

Pre en post echo / fasekarakteristiek / resampling / enzovoort zijn van geen enkele (aangetoonde) muzikale significantie.

[...]

Daar is veel onderzoek naar gaande. En ook geweest: Dispersive models for A-to-D and D-to-A conversion systems, AES preprint 2097. Bijvoorbeeld.

 

Dus jij kunt je niet voorstellen dat als een ripple van plusmin 0.2 dB een pre echo maakt met amplitude op -40 dBFS, er geen mensen zijn die dat kunnen horen? Dat lijkt mij niet hard te maken te zijn. Ik hoef daar niet eens een luistertest voor te organiseren, dat hoor je. Basta.

 

Groet,

Jacco

[s0000884]

Lijkt me moeilijk, ergens van genieten zonder smaak.

Helemaal mee eens, en dat is juist waarom ik zo zit te zagen in deze thread. Je smaak zit niet te wachten op een vervormingsafname van 3 x niks. En dat toon je juist aan door cijfers aan CD spelers toe te kennen.

Maar hoe rijm je dat met je eigen opmerkingen eerder in dit topic dat smaak niet meetelt, en dat proefpersonen moeten aangeven hoeveel ze ergens van genieten. Dat lijkt mij toch in tegenspraak met elkaar.

Mijn eerdere opmerking over smaak ging in op je post inzake de gehele audioketen; daarin zitten sterke vervormingsbronnen als akoestiek en luidspreker. Hierin is natuurlijk smaak betrokken; hier zijn grote hoorbare verschillen. Tuurlijk kies je dan wat je smaak je ingeeft. Ik zei toen; stel dat je minimale vervorming wilt (wat niet altijd het geval is) dan kies je zonder smaak en zonder enige vorm van luisteren de beste componenten uit, en heb je per definitie de beste set, maar dat gebeurt nooit juist vanwege smaak. Daar kun je de luistermethode niet de schuld van geven; blind testen levert namelijk ook niet de minst vervormende set op. Let wel: dit gaat over grote waarneembare verschillen die duizenden keren groter zijn dan die tussen CD spelers.

[s0000884]

Dus jij kunt je niet voorstellen dat als een ripple van plusmin 0.2 dB een pre echo maakt met amplitude op -40 dBFS, er geen mensen zijn die dat kunnen horen? Dat lijkt mij niet hard te maken te zijn. Ik hoef daar niet eens een luistertest voor te organiseren, dat hoor je. Basta.

Basta. Als dat zo is, dan is dat zo. Dat staat echter los van het feit dat niet getest wordt of dit van invloed is op een (blind gegeven) totaaloordeel over een CD speler. Ben benieuwd of een dergelijk verschil overeind blijft als er niet-vergelijkend geluisterd wordt (zoals thuis, als er maar 1 CD speler staat). Met andere woorden: heb je de 'andere' CD speler nodig om het relatieve verschil te horen? Zo nee, klinkt het dan 'absoluut' beter over verschillende muzieksoorten? Rechtvaardigt dit verschil de moeite die erin wordt gestopt? De aanschafprijs daargelaten. Smaak al helemaal daargelaten.

[Manus]

Lijkt me moeilijk, ergens van genieten zonder smaak.

Helemaal mee eens, en dat is juist waarom ik zo zit te zagen in deze thread. Je smaak zit niet te wachten op een vervormingsafname van 3 x niks. En dat toon je juist aan door cijfers aan CD spelers toe te kennen.

Maar hoe rijm je dat met je eigen opmerkingen eerder in dit topic dat smaak niet meetelt, en dat proefpersonen moeten aangeven hoeveel ze ergens van genieten. Dat lijkt mij toch in tegenspraak met elkaar.

Mijn eerdere opmerking over smaak ging in op je post inzake de gehele audioketen; daarin zitten sterke vervormingsbronnen als akoestiek en luidspreker. Hierin is natuurlijk smaak betrokken; hier zijn grote hoorbare verschillen. Tuurlijk kies je dan wat je smaak je ingeeft. Ik zei toen; stel dat je minimale vervorming wilt (wat niet altijd het geval is) dan kies je zonder smaak en zonder enige vorm van luisteren de beste componenten uit, en heb je per definitie de beste set, maar dat gebeurt nooit juist vanwege smaak. Daar kun je de luistermethode niet de schuld van geven; blind testen levert namelijk ook niet de minst vervormende set op. Let wel: dit gaat over grote waarneembare verschillen die duizenden keren groter zijn dan die tussen CD spelers.

Ik kan mij niet herinneren iets gepost te hebben over de hele audioketen.

 

Maar goed, maakt niet uit. Ik begrijp je standpunten nu iets beter. Wat niet wil zeggen dat ik het er mee eens ben. Maar dat hoeft natuurlijk ook niet.

[dekkersj]

Dus jij kunt je niet voorstellen dat als een ripple van plusmin 0.2 dB een pre echo maakt met amplitude op -40 dBFS, er geen mensen zijn die dat kunnen horen? Dat lijkt mij niet hard te maken te zijn. Ik hoef daar niet eens een luistertest voor te organiseren, dat hoor je. Basta.

Basta. Als dat zo is, dan is dat zo. Dat staat echter los van het feit dat niet getest wordt of dit van invloed is op een (blind gegeven) totaaloordeel over een CD speler. Ben benieuwd of een dergelijk verschil overeind blijft als er niet-vergelijkend geluisterd wordt (zoals thuis, als er maar 1 CD speler staat). Met andere woorden: heb je de 'andere' CD speler nodig om het relatieve verschil te horen? Zo nee, klinkt het dan 'absoluut' beter over verschillende muzieksoorten? Rechtvaardigt dit verschil de moeite die erin wordt gestopt? De aanschafprijs daargelaten. Smaak al helemaal daargelaten.

Wat een geklets. Natuurgetrouwe reproductie, daar ga ik voor. Dat betekent voor mij simpelweg dat er geen echos mogen optreden. Zeker niet op -40 dBFS.

 

Groet,

Jacco