Pierwszy polski publiczny test ABX/HR

Kilka takich testów na świecie już istnieje, ale żaden nie był jeszcze przeprowadzony w Polsce.

Z jednej strony dlaczego mamy być gorsi… a z drugiej, dowiedzmy się wreszcie czy i co faktycznie słyszymy.

Test zostanie przeprowadzony dla bitrate’u “około 64kbps” (dokładny opis i wyjaśnienie poniżej), ale zanim się obruszycie że “to skandal, jak tak można”, najpierw spróbujcie go wykonać – w końcu musi być coś na rozgrzewkę zanim przejdziemy do wyższego bitrate’u czy większej ilości bądź różnych ustawień kodeków.

Podwójnie ślepy test

Podwójnie ślepy test polega na przesłuchaniu kilku par plików, gdzie w każdej parze znajduje się oryginał (wyjściowy plik WAVE) oraz plik skompresowany. Kolejność plików w parze jest losowa, podobnie jak kolejność skompresowanych plików w parach.

Aby udowodnić że słyszy się różnicę, wykonuje się test ABX. Polega on na wielokrotnym bezpośrednim porównaniu pliku oryginalnego i jednego z plików skompresowanych oraz ocenie statystycznej tegoż porównania.Po rozpoznaniu plików należy ocenić jakość pliku skompresowanego w skali od 1 do 5 (gdzie 5 to najwyższa ocena).

Po zakończeniu całości odsłuchu plik z wynikiem odsyła się do osoby koordynującej test i zwrotnie otrzymuje się właściwe wyniki. W momencie kiedy wyników zbierze się co najmniej 10 (od różnych osób, a w optymalnym przypadku jeszcze po dwa-trzy od każdej osoby… ale to już by było szaleństwo) można sie pokusić o ich opracowanie statystyczne (np. ANOVA).

Ślepy test w praktyce

Pisanie o teście ABX/HR praktycznie nic o nim nie mówi. Najlepiej przekonać się jak taki test wygląda w praktyce i samodzielnie go wykonać.

Testowana kompresja

Za podstawę tego testu przyjęto utwór: Marek Štryncl – [Brandenburg Concertos #08] Brandenburg Concerto No. 3 in G Major [5:27] pochodzący ze strony:

http://www.rozhlas.cz/d-dur/download_eng

W pierwszym teście bierze udział pięć plików, w tym jeden jest oryginałem, drugi jest oryginałem z filtrem dolnoprzepustowym, a trzy są faktycznie skompresowane stratnie.

Jako że idea jest taka, by przetestować bitrate 64kbps i jednocześnie algorytm VBR kodeków, więc do testów wybrano “najbliższe typowe ustawienie dające 64kbps” dla danego kodeka.

Pliki WAVE przygotowano w Audacity, kolejne pliki kompresowano przy pomocy kodeków wyszczególnionych poniżej przy pomocy foobara2000 0.8.3. Wszystkie pięć plików skonwertowano na końcu do formatu WAVE (plik MP3 wymagał upsamplingu do 44k gdyż LAME dla niskiego bitrate’u automatycznie przeprowadza downsampling) przy pomocy foobara2000 0.8.3.

1. WAVE (jako reference) – będący początkowymi dwiema sekundami oryginalnego pliku FLAC, wszystkie kolejne pliki to jego modyfikacje;
2. WAVE – lowpass na 16kHz (ten plik ma za zadanie wyłapać, kto faktycznie słucha zniekształceń a kto jedynie obciętych częstotliwości);
3. OGG Vorbis (Lancer(SSE3MT) [20061013] (based on aoTuV r1 [20051117])) – jakość Q0, realnie ma 62kbps;
4. Musepack (Beta 1.16) – jakość q2, realnie ma 70kbps;
5. MP3 (LAME 3.97 final) – jakość V 5, realnie ma 62kbps.

Na końcu wynikowym plikom WAVE nadano losowo wygenerowane, czteroznakowe nazwy.

Pierwszy plik zwany jest “oryginalny” (reference), pozostałe cztery to “pliki testowe” bądź “pliki testowane”.

Test ABC/HR

Aby przeprowadzić test należy pobrać plik z programem testującym oraz testowanymi plikami:

KHRoN’z ABX/HR test no.1 [2,3MB]

Do poprawnego działania tego programu wymagane jest Java Runtime dostępne na stronie java.com:

Java Runtime

Po pobraniu pliku z testem należy go rozpakować, folder KRXABX1 musi się znajdować bezpośrednio na dysku C: (ważne!), czyli c:/abxkrx1/.

Test uruchamiamy dwukrotnie klikając plik abchr.jar.

Następnie klikamy Open ABX/HR Config… i wskazujemy plik krxabx1.ecf znajdujący się w folderze KRXABX1.

Ukazuje się nam właściwe okno programu z testem.

Po pierwsze należy program skonfigurować, czyli poprawnie ustawić kartę dźwiękową. W tym celu wybieramy menu Options | Settings… a tam Playback.

Tu z listy wybieramy kartę dźwiękową. Może to być konkretny model (np. “SB Live!”), może to być ogólny opis urządzenia (jak u mnie w Windowsie Vista “Głośnik wewnętrzny/słuchawki”), a może to być po prostu “Podstawowy sterownik dźwięku”. Klikamy OK.
Wracamy do głównego okienka programu i właściwego testu.

Zasady testu

Dwie podstawowe zasady testu to:

1. Test powinien być przeprowadzony na spokojnie, bez pośpiechu.
2. Na sam test nie ma ograniczenia czasowego.

Oczywiście o tym, że nie wolno oszukiwać nie muszę nawet pisać.

Co do ograniczenia czasowego, to wstępnie umówmy się na dwa tygodnie – czyli do północy 23 lutego (żeby 24 lutego można było opracować i podać całościowe wyniki).

Przeprowadzenie testu

W głównym okienku programu widać 4 ponumerowane kolumny. W każdej z nich znajduje się:

• dwa suwaki służące do oceny jakości pliku – o czym dalej;
• dwa przyciski Play odtwarzające jeden z danej pary plików, gdzie jeden z nich to oryginalny plik WAVE, drugi to losowo przydzielony jeden z testowanych plików;
• przycisk Play Ref służący do odtworzenia oryginalnego pliku WAVE;
• przycisk Stop zatrzymujący odtwarzanie.

Zarówno kolejność kolumn jak i kolejność pary plików w danej kolumnie jest ustalana losowo przy każdym rozpoczęciu testu.

Test należy przeprowadzać “kolumnami”, skupiając się kolejno na każdej z nich.

Zacznijmy od pierwszej. Klikamy na przycisk Play Ref i słuchamy jak właściwie brzmi testowany plik. Następnie klikamy kolejno na oba przyciski Play.

Jeśli już w tym momencie wiemy, który plik jest który, to plik testowany (ten “nieoryginalny”) oceniamy w skali od 1 do 5 (umawiamy się że nie dajemy punktów cząstkowych) gdzie:

1. zniekształcenia wynikłe z kompresji są słyszalne i bardzo przeszkadzają w słuchaniu;
2. zniekształcenia wynikłe z kompresji są słyszalne i przeszkadzają w słuchaniu;
3. zniekształcenia wynikłe z kompresji są słyszalne ale minimalnie przeszkadzają w słuchaniu;
4. zniekształcenia wynikłe z kompresji są słyszalne ale nie przeszkadzają w słuchaniu;
5. nie słychać zniekształceń wynikłych z kompresji.

Aby pomóc sobie w odpowiedzeniu na pytanie “który plik jest który” można (a wręcz sugeruję żeby zawsze to robić – pozwala to na jednoznaczne stwierdzenie czy słyszymy różnicę czy nie) wykonać prosty test ABX służący bezpośredniemu porównaniu dwóch plików. W tym celu klikamy przycisk ABX znajdujący się u góry po prawej. Otworzy się wówczas dodatkowe okno służące do przeprowadzenia tegoż testu.

Wybieramy tu Sample A (pierwszy porównywany plik) oraz Sample B (drugi porównywany plik). Sugeruję wybrać jako A plik oryginalny (Original), a jako plik B kolejny plik testowany, np. skupiamy się na kolumnie 1 więc Sample 1

Training Mode pozwala na niezobowiązujące wypróbowanie testu ABX, Testing Mode to właściwy test. Uwaga: właściwy test można wykonać tylko raz, testów próbnych dowolną ilość (aż uznamy że jesteśmy w stanie podejść do właściwego testu).

Przycisk Play A służy do odtworzenia pliku A, przycisk Play B do odtworzenia pliku B. Play X odtwarza losowo plik A lub B. Naszym zadaniem jest stwierdzenie czy jest to plik A czy plik B, a następnie zaznaczenie lub X is A (X to A) lub X is B (X to B) i kliknięcie Next Trial.

Powtórzeń w danym teście ABX można wykonać dowolną ilość, ale nie mniej niż 5.

Poziom testu to 0.05 – jeśli “prawdopodobieństwo strzelania” podczas właściwego testu zejdzie poniżej tej wartości (co świadczy o tym że osoba przeprowadzająca test ABX faktycznie słyszy różnicę) to we właściwym okienku programu suwak odpowiadający w danej kolumnie “oryginałowi” zostanie zablokowany, pozostawiając nam do oceny plik skompresowany.

W tym momencie oceniamy dany plik wg. skali opisanej powyżej i przechodzimy do kolejnej kolumny.

A co jeśli nie udał się nam test ABX (czyli nie udowodniliśmy że słyszymy różnicę)? Cóż… musimy więc “strzelić” który plik jest który i ocenić ten, który wg. nas jest nie jest plikiem oryginalnym.

Odkładanie testu “na potem”

Ok, ale okazało się że nie mamy czasu żeby zrobić cały test w jednym podejściu. Co zrobić?

Wybrać menu File | Save ABX/HR Session… i zapisać sesję testową pod dowolną nazwą. Teraz można zamknąć program a przy kolejnym uruchomieniu wybrać Open ABX/HR Session… i kontynuować przerwany test.

Wyniki testu

Po zakończeniu testu (po wykonaniu testów ABX i ocenieniu wszystkich plików, w tym przypadku czterech) wybieramy menu File | Save Test Result… i zapisujemy wynik pod dowolną nazwą (np. ksywka_z_forum.erf).

Ten plik należy wysłać na adres: khron13(na)gmail(kropka)com a w tytule maila napisać “Test ABX/HR no.1” (ale faktycznie napiszcie, bo potem nie będę wiedział który mail to który).

W treści maila możecie mi napisać czy jesteście zainteresowani przyszłymi tego typu testami (nie będę o nich spamował, to ma być tylko informacja dla mnie czy ktoś będzie takimi testami zainteresowany w przyszłości) oraz na jakim sprzęcie został wykonany ten test (jaka karta dźwiękowa, jakie słuchawki bądź jakie głośniki, czy pomiędzy kartą dźwiękową a słuchawkami/głośnikami było coś więcej niż tylko kabel).

Wtedy tak szybko, jak tylko będę w stanie, odeślę indywidualne wyniki testu.

Po zakończeniu testu (24 lutego) opublikuję ogólne wyniki testu.

Nie będę publikował indywidualnych wyników (żeby nie doszło do czyjejś kompromitacji… żartuję ;) ) – jak chcecie, to pochwalicie się własnymi wynikami we własnym zakresie.

… więc co? Działajcie!