Po raz kolejny musiałem odpisać “zależy, może sprawdź?”…

Oczywiście nie ma sensu sprawdzać tego na komputerze, w domu, na zupełnie innych słuchawkach… w końcu parametrami testu [...]]]> Po raz kolejny spotkałem się z pytaniem o to, czy ktoś będzie słyszał różnicę między FLAC a MP3/AAC/WMA/OGG bo pliki FLAC są za duże żeby je trzymać na odtwarzaczu.

Po raz kolejny musiałem odpisać “zależy, może sprawdź?”…

Oczywiście nie ma sensu sprawdzać tego na komputerze, w domu, na zupełnie innych słuchawkach… w końcu parametrami testu ABX są nie tylko porównywane pliki, ale także warunki odsłuchu, sprzęt (źródło, wzmacniacz, słuchawki/głośniki) a nawet nastrój słuchacza.

Dlatego odpowiedź na pytanie “czy usłyszę w tramwaju różnicę” najlepiej uzyskać właśnie w tramwaju (chyba że ktoś nie uwierzy w stwierdzenie “skoro nie słyszę nawet na spokojnie w domu, to w tramwaju tym bardziej nie będzie różnicy”).

Typowy odtwarzacz nie pozwala na wygodne przeprowadzenie testu ABX przy pomocy dajmy na to wtyczki jak w foobarze2000. Ale to nie znaczy że nie da się takiego testu przeprowadzić wcale…

Test

Procedura jest prosta, choć może być męcząca w wykonaniu. Już wyjaśniam.

Po pierwsze potrzeba nam dwóch plików, przykładowo pliku FLAC i pliku MP3 (bo chcemy sprawdzić czy W OGÓLE słyszymy różnicę między plikami FLAC i MP3), albo dwóch plików MP3 o różnej kompresji (żeby sprawdzić czy możemy zaoszczędzić miejsca nie obniżając W ZAUWAŻALNY DLA NAS SPOSÓB jakości tego co słyszymy). Dobrze jest ustawić im nazwy plików czy nazwy utworów w tagach w stylu “FLAC” i “MP3″ czy “MP3 320 CBR” i “MP3 VBR” etc. tak żeby dało się taki plik szybko i jednoznacznie zidentyfikować patrząc na wyświetlacz odtwarzacza.

Następnie musimy usunąć wszystkie pliki z odtwarzacza (żeby nie przeszkadzały kiedy przełączamy się pomiędzy tymi, które są porównywane) i skopiować tylko te dwa, które porównujemy. Oczywiście jeśli odtwarzacz pozwala na używanie playlist czy jak w przypadku iPodów przełączanie poprzedni/następny działa tylko w zakresie danego albumu, wystarczy stworzyć album “Test ABX” i nie trzeba czyścić całego odtwarzacza.

Po skopiowaniu zakładamy słuchawki i kilka razy klikamy “następny utwór” żeby zacząć od przypadkowego pliku. Następnie słuchamy, przełączając się tylko przyciskiem “następny utwór”, starając się ustalić którego pliku aktualnie słuchamy i czy słyszymy różnicę w stosunku do tego drugiego.

Jeśli – po dowolnie długim czasie, takie jest założenie testu ABX, że nikt nikogo nie popędza – ustalimy że aktualny plik to któryś konkretny plik, patrzymy na wyświetlacz żeby sprawdzić czy faktycznie to ten, o którym myślimy.

Zapisujemy wynik (czy wskazaliśmy poprawnie, czy błędnie), “mieszamy” utwory klikając kilka razy “następny”, słuchamy, oceniamy, sprawdzamy, zapisujemy wynik i tak 20 razy.

Wynik

Następnie oceniamy czy słyszymy różnicę czy nie. Zakładając błąd rzędu 0.05 (standard w statystyce), aby uznać że faktycznie słyszymy różnicę, na 20 prób możemy się pomylić maksymalnie 3 razy.

I teraz należy wyjaśnić dwie sprawy:

Po pierwsze wynik testu w stylu “wskazałem poprawny plik w więcej niż 50% przypadkach” nie znaczy “raczej słyszę różnicę” tylko “nic nie słyszysz, zwyczajnie strzelasz”. Ma to miejsce na tej samej zasadzie co np. 100 rzutów monetą nie zawsze da 50 orłów i 50 reszek (mimo że statystyka tak mówi) tylko przykładowo 45 i 55. Więc nawet 15 sukcesów na 20 prób można zaliczyć (na bazie przyjętego progu błędu) do strzelania…

Po drugie jeśli ktoś faktycznie słyszy różnicę, to powinien wskazywać poprawny plik w 100% przypadków. Tak po prostu. Tak jak jesteśmy w stanie powiedzieć “to jest czerwone, to jest zielone” albo “to jest samochód a tamto słoń”. Do tego – skoro już właściwie wskazujemy jedno i drugie – to powinniśmy być również w stanie powiedzieć JAKA to różnica. A nie “rozpoznaję bo tak, bo widzę/słyszę różnicę ale nie umiem powiedzieć jaką” (tak jakby ktoś nie umiał powiedzieć że zielony i czerwony to dwa różne kolory, albo że samochód ma cztery koła a słoń cztery łapy)…

… czy słychać?

Jeśli uda się nam zaliczyć test ABX z wynikiem pozytywnym i powiemy sobie jaką różnicę usłyszeliśmy, to jesteśmy w stanie odpowiedzieć sobie na pytanie zadane na samym początku – czy różnica którą usłyszeliśmy jest dla nas istotna w czasie słuchania. Czy musieliśmy ją znaleźć na siłę i normalnie nie zwracamy na to uwagi, czy jest tak oczywista że aż przykro się słucha…

… bo jeśli oblejemy test ABX (więc nie jesteśmy w stanie wysłowić się na temat różnicy), to sprawa jest prosta – gdy komuś “wydaje się że słyszy różnicę i FLAC brzmi lepiej”, to faktycznie – co udowadnia test – to się TYLKO WYDAJE i jedyna różnica to “lepiej się czuję wiedząc, że słucham plików FLAC”…

A że ktoś inny “lepiej osłuchany” zapewni że różnica jest albo jej nie ma, nie ma żadnego znaczenia.

Więc zamiast znowu pytać, po prostu sprawdźcie. A jeśli obawiacie się że za 10 lat coś może się zmienić (i nagle zaczniecie słyszeć), to po prostu sprawdźcie ponownie za rok czy dwa… bo może się okazać że za 10 lat nie tyle zaczniecie słyszeć więcej z powodu “osłuchania”, co słuch stanie się mocniej stępiony z powodu wieku, zbyt głośnego słuchania czy braku należytej higieny słuchu (np. używanie brudnych pianek słuchawek dokanałowych).

I wielkiej kolekcji plików (tu wstaw dowolny format o ultra-wysokiej jakości) i tak nie będzie miał kto słuchać, i należycie docenić ich jakości…

ANOVA

To co opisałem wyżej to prosty teścik dający szybką odpowiedź na proste pytanie “… czy ja właściwie słyszę różnicę? O_o “.

Lecz, aby wyeliminować wszelkie wątpliwości, należało by użyć – podobnie jak to się robi w grupowych testach ABX – wielowymiarowej analizy ANOVA, która sprawdza:

• wpływ słuchacza na wynik testu (np. w teście bierze udział 10 słuchaczy i sprawdzamy który słyszy różnicę a który nie)
• wpływ utworu na wynik testu (sprawdzamy czy dany utwór/fragment pozwala na usłyszenie różnicy czy nie, przykładowo mamy 10 utworów)
• wpływ sprzętu na wynik testu (sprawdzamy czy dany zestaw ma wpływ na wynik testu; jeśli osobno testować źródło/wzmacniacz/słuchawki, a nie całość jako zestaw, to należy je rozpisać osobno jako dodatkowe wymiary testu)
• każda kombinacja powinna zostać powtórzona (sprawdzając jednorodność wyników, czy dany wynik był dziełem przypadku czy nie)
• … i tak dalej, można nawet sprawdzić czy na wynik testu ma wpływ najedzenie, nastrój, pogoda etc.

Wówczas przeprowadza się np. 10 powtórzeń każdej kombinacji słuchacz+utwór+sprzęt (w zależności od założeń testu), co w praktyce daje ogromną ilość danych. Następnie przeprowadza analizę ANOVA przy użyciu ustalonego modelu, która da odpowiedź (dla przyjętego progu błędu) czy i co faktycznie ma wpływ na wynik testu (np. słyszenie różnic).

Ale to już znacząco wykracza poza pytanie, od którego się zaczeło, w końcu nie chcemy strzelać z armaty do muchy :)

Z jednej strony dlaczego mamy być gorsi… a z drugiej, dowiedzmy się wreszcie czy i co faktycznie słyszymy.

Test zostanie przeprowadzony dla bitrate’u “około 64kbps” (dokładny opis i wyjaśnienie poniżej), ale zanim się obruszycie że “to skandal, jak tak można”, [...]]]> Kilka takich testów na świecie już istnieje, ale żaden nie był jeszcze przeprowadzony w Polsce.

Z jednej strony dlaczego mamy być gorsi… a z drugiej, dowiedzmy się wreszcie czy i co faktycznie słyszymy.

Test zostanie przeprowadzony dla bitrate’u “około 64kbps” (dokładny opis i wyjaśnienie poniżej), ale zanim się obruszycie że “to skandal, jak tak można”, najpierw spróbujcie go wykonać – w końcu musi być coś na rozgrzewkę zanim przejdziemy do wyższego bitrate’u czy większej ilości bądź różnych ustawień kodeków.

Podwójnie ślepy test

Podwójnie ślepy test polega na przesłuchaniu kilku par plików, gdzie w każdej parze znajduje się oryginał (wyjściowy plik WAVE) oraz plik skompresowany. Kolejność plików w parze jest losowa, podobnie jak kolejność skompresowanych plików w parach.

Aby udowodnić że słyszy się różnicę, wykonuje się test ABX. Polega on na wielokrotnym bezpośrednim porównaniu pliku oryginalnego i jednego z plików skompresowanych oraz ocenie statystycznej tegoż porównania.Po rozpoznaniu plików należy ocenić jakość pliku skompresowanego w skali od 1 do 5 (gdzie 5 to najwyższa ocena).

Po zakończeniu całości odsłuchu plik z wynikiem odsyła się do osoby koordynującej test i zwrotnie otrzymuje się właściwe wyniki. W momencie kiedy wyników zbierze się co najmniej 10 (od różnych osób, a w optymalnym przypadku jeszcze po dwa-trzy od każdej osoby… ale to już by było szaleństwo) można sie pokusić o ich opracowanie statystyczne (np. ANOVA).

Ślepy test w praktyce

Pisanie o teście ABX/HR praktycznie nic o nim nie mówi. Najlepiej przekonać się jak taki test wygląda w praktyce i samodzielnie go wykonać.

Testowana kompresja

Za podstawę tego testu przyjęto utwór: Marek Štryncl – [Brandenburg Concertos #08] Brandenburg Concerto No. 3 in G Major [5:27] pochodzący ze strony:

http://www.rozhlas.cz/d-dur/download_eng

W pierwszym teście bierze udział pięć plików, w tym jeden jest oryginałem, drugi jest oryginałem z filtrem dolnoprzepustowym, a trzy są faktycznie skompresowane stratnie.

Jako że idea jest taka, by przetestować bitrate 64kbps i jednocześnie algorytm VBR kodeków, więc do testów wybrano “najbliższe typowe ustawienie dające 64kbps” dla danego kodeka.

Pliki WAVE przygotowano w Audacity, kolejne pliki kompresowano przy pomocy kodeków wyszczególnionych poniżej przy pomocy foobara2000 0.8.3. Wszystkie pięć plików skonwertowano na końcu do formatu WAVE (plik MP3 wymagał upsamplingu do 44k gdyż LAME dla niskiego bitrate’u automatycznie przeprowadza downsampling) przy pomocy foobara2000 0.8.3.

1. WAVE (jako reference) – będący początkowymi dwiema sekundami oryginalnego pliku FLAC, wszystkie kolejne pliki to jego modyfikacje;
2. WAVE – lowpass na 16kHz (ten plik ma za zadanie wyłapać, kto faktycznie słucha zniekształceń a kto jedynie obciętych częstotliwości);
3. OGG Vorbis (Lancer(SSE3MT) [20061013] (based on aoTuV r1 [20051117])) – jakość Q0, realnie ma 62kbps;
4. Musepack (Beta 1.16) – jakość q2, realnie ma 70kbps;
5. MP3 (LAME 3.97 final) – jakość V 5, realnie ma 62kbps.

Na końcu wynikowym plikom WAVE nadano losowo wygenerowane, czteroznakowe nazwy.

Pierwszy plik zwany jest “oryginalny” (reference), pozostałe cztery to “pliki testowe” bądź “pliki testowane”.

Test ABC/HR

Aby przeprowadzić test należy pobrać plik z programem testującym oraz testowanymi plikami:

KHRoN’z ABX/HR test no.1 [2,3MB]

Do poprawnego działania tego programu wymagane jest Java Runtime dostępne na stronie java.com:

Java Runtime

Po pobraniu pliku z testem należy go rozpakować, folder KRXABX1 musi się znajdować bezpośrednio na dysku C: (ważne!), czyli c:/abxkrx1/.

Test uruchamiamy dwukrotnie klikając plik abchr.jar.

Następnie klikamy Open ABX/HR Config… i wskazujemy plik krxabx1.ecf znajdujący się w folderze KRXABX1.

Ukazuje się nam właściwe okno programu z testem.

Po pierwsze należy program skonfigurować, czyli poprawnie ustawić kartę dźwiękową. W tym celu wybieramy menu Options | Settings… a tam Playback.

Tu z listy wybieramy kartę dźwiękową. Może to być konkretny model (np. “SB Live!”), może to być ogólny opis urządzenia (jak u mnie w Windowsie Vista “Głośnik wewnętrzny/słuchawki”), a może to być po prostu “Podstawowy sterownik dźwięku”. Klikamy OK.
Wracamy do głównego okienka programu i właściwego testu.

Zasady testu

Dwie podstawowe zasady testu to:

1. Test powinien być przeprowadzony na spokojnie, bez pośpiechu.
2. Na sam test nie ma ograniczenia czasowego.

Oczywiście o tym, że nie wolno oszukiwać nie muszę nawet pisać.

Co do ograniczenia czasowego, to wstępnie umówmy się na dwa tygodnie – czyli do północy 23 lutego (żeby 24 lutego można było opracować i podać całościowe wyniki).

Przeprowadzenie testu

W głównym okienku programu widać 4 ponumerowane kolumny. W każdej z nich znajduje się:

• dwa suwaki służące do oceny jakości pliku – o czym dalej;
• dwa przyciski Play odtwarzające jeden z danej pary plików, gdzie jeden z nich to oryginalny plik WAVE, drugi to losowo przydzielony jeden z testowanych plików;
• przycisk Play Ref służący do odtworzenia oryginalnego pliku WAVE;
• przycisk Stop zatrzymujący odtwarzanie.

Zarówno kolejność kolumn jak i kolejność pary plików w danej kolumnie jest ustalana losowo przy każdym rozpoczęciu testu.

Test należy przeprowadzać “kolumnami”, skupiając się kolejno na każdej z nich.

Zacznijmy od pierwszej. Klikamy na przycisk Play Ref i słuchamy jak właściwie brzmi testowany plik. Następnie klikamy kolejno na oba przyciski Play.

Jeśli już w tym momencie wiemy, który plik jest który, to plik testowany (ten “nieoryginalny”) oceniamy w skali od 1 do 5 (umawiamy się że nie dajemy punktów cząstkowych) gdzie:

1. zniekształcenia wynikłe z kompresji są słyszalne i bardzo przeszkadzają w słuchaniu;
2. zniekształcenia wynikłe z kompresji są słyszalne i przeszkadzają w słuchaniu;
3. zniekształcenia wynikłe z kompresji są słyszalne ale minimalnie przeszkadzają w słuchaniu;
4. zniekształcenia wynikłe z kompresji są słyszalne ale nie przeszkadzają w słuchaniu;
5. nie słychać zniekształceń wynikłych z kompresji.

Aby pomóc sobie w odpowiedzeniu na pytanie “który plik jest który” można (a wręcz sugeruję żeby zawsze to robić – pozwala to na jednoznaczne stwierdzenie czy słyszymy różnicę czy nie) wykonać prosty test ABX służący bezpośredniemu porównaniu dwóch plików. W tym celu klikamy przycisk ABX znajdujący się u góry po prawej. Otworzy się wówczas dodatkowe okno służące do przeprowadzenia tegoż testu.

Wybieramy tu Sample A (pierwszy porównywany plik) oraz Sample B (drugi porównywany plik). Sugeruję wybrać jako A plik oryginalny (Original), a jako plik B kolejny plik testowany, np. skupiamy się na kolumnie 1 więc Sample 1

Training Mode pozwala na niezobowiązujące wypróbowanie testu ABX, Testing Mode to właściwy test. Uwaga: właściwy test można wykonać tylko raz, testów próbnych dowolną ilość (aż uznamy że jesteśmy w stanie podejść do właściwego testu).

Przycisk Play A służy do odtworzenia pliku A, przycisk Play B do odtworzenia pliku B. Play X odtwarza losowo plik A lub B. Naszym zadaniem jest stwierdzenie czy jest to plik A czy plik B, a następnie zaznaczenie lub X is A (X to A) lub X is B (X to B) i kliknięcie Next Trial.

Powtórzeń w danym teście ABX można wykonać dowolną ilość, ale nie mniej niż 5.

Poziom testu to 0.05 – jeśli “prawdopodobieństwo strzelania” podczas właściwego testu zejdzie poniżej tej wartości (co świadczy o tym że osoba przeprowadzająca test ABX faktycznie słyszy różnicę) to we właściwym okienku programu suwak odpowiadający w danej kolumnie “oryginałowi” zostanie zablokowany, pozostawiając nam do oceny plik skompresowany.

W tym momencie oceniamy dany plik wg. skali opisanej powyżej i przechodzimy do kolejnej kolumny.

A co jeśli nie udał się nam test ABX (czyli nie udowodniliśmy że słyszymy różnicę)? Cóż… musimy więc “strzelić” który plik jest który i ocenić ten, który wg. nas jest nie jest plikiem oryginalnym.

Odkładanie testu “na potem”

Ok, ale okazało się że nie mamy czasu żeby zrobić cały test w jednym podejściu. Co zrobić?

Wybrać menu File | Save ABX/HR Session… i zapisać sesję testową pod dowolną nazwą. Teraz można zamknąć program a przy kolejnym uruchomieniu wybrać Open ABX/HR Session… i kontynuować przerwany test.

Wyniki testu

Po zakończeniu testu (po wykonaniu testów ABX i ocenieniu wszystkich plików, w tym przypadku czterech) wybieramy menu File | Save Test Result… i zapisujemy wynik pod dowolną nazwą (np. ksywka_z_forum.erf).

Ten plik należy wysłać na adres: khron13(na)gmail(kropka)com a w tytule maila napisać “Test ABX/HR no.1” (ale faktycznie napiszcie, bo potem nie będę wiedział który mail to który).

W treści maila możecie mi napisać czy jesteście zainteresowani przyszłymi tego typu testami (nie będę o nich spamował, to ma być tylko informacja dla mnie czy ktoś będzie takimi testami zainteresowany w przyszłości) oraz na jakim sprzęcie został wykonany ten test (jaka karta dźwiękowa, jakie słuchawki bądź jakie głośniki, czy pomiędzy kartą dźwiękową a słuchawkami/głośnikami było coś więcej niż tylko kabel).

Wtedy tak szybko, jak tylko będę w stanie, odeślę indywidualne wyniki testu.

Po zakończeniu testu (24 lutego) opublikuję ogólne wyniki testu.

Nie będę publikował indywidualnych wyników (żeby nie doszło do czyjejś kompromitacji… żartuję ;) ) – jak chcecie, to pochwalicie się własnymi wynikami we własnym zakresie.

… więc co? Działajcie!