Kilka takich testów na świecie już istnieje, ale żaden nie był jeszcze przeprowadzony w Polsce.

Z jednej strony dlaczego mamy być gorsi… a z drugiej, dowiedzmy siÄ™ wreszcie czy i co faktycznie sÅ‚yszymy.

Test zostanie przeprowadzony dla bitrate’u “okoÅ‚o 64kbps” (dokÅ‚adny opis i wyjaÅ›nienie poniżej), ale zanim siÄ™ obruszycie że “to skandal, jak tak można”, najpierw spróbujcie go wykonać - w koÅ„cu musi być coÅ› na rozgrzewkÄ™ zanim przejdziemy do wyższego bitrate’u czy wiÄ™kszej iloÅ›ci bÄ…dź różnych ustawieÅ„ kodeków.

Podwójnie ślepy test

Podwójnie ślepy test polega na przesłuchaniu kilku par plików, gdzie w każdej parze znajduje się oryginał (wyjściowy plik WAVE) oraz plik skompresowany. Kolejność plików w parze jest losowa, podobnie jak kolejność skompresowanych plików w parach.

Aby udowodnić że słyszy się różnicę, wykonuje się test ABX. Polega on na wielokrotnym bezpośrednim porównaniu pliku oryginalnego i jednego z plików skompresowanych oraz ocenie statystycznej tegoż porównania.Po rozpoznaniu plików należy ocenić jakość pliku skompresowanego w skali od 1 do 5 (gdzie 5 to najwyższa ocena).

Po zakoÅ„czeniu caÅ‚oÅ›ci odsÅ‚uchu plik z wynikiem odsyÅ‚a siÄ™ do osoby koordynujÄ…cej test i zwrotnie otrzymuje siÄ™ wÅ‚aÅ›ciwe wyniki. W momencie kiedy wyników zbierze siÄ™ co najmniej 10 (od różnych osób, a w optymalnym przypadku jeszcze po dwa-trzy od każdej osoby… ale to już by byÅ‚o szaleÅ„stwo) można sie pokusić o ich opracowanie statystyczne (np. ANOVA).

Åšlepy test w praktyce

Pisanie o teście ABX/HR praktycznie nic o nim nie mówi. Najlepiej przekonać się jak taki test wygląda w praktyce i samodzielnie go wykonać.

Testowana kompresja

Za podstawę tego testu przyjęto utwór: Marek Štryncl - [Brandenburg Concertos #08] Brandenburg Concerto No. 3 in G Major [5:27] pochodzący ze strony:

http://www.rozhlas.cz/d-dur/download_eng

W pierwszym teście bierze udział pięć plików, w tym jeden jest oryginałem, drugi jest oryginałem z filtrem dolnoprzepustowym, a trzy są faktycznie skompresowane stratnie.

Jako że idea jest taka, by przetestować bitrate 64kbps i jednoczeÅ›nie algorytm VBR kodeków, wiÄ™c do testów wybrano “najbliższe typowe ustawienie dajÄ…ce 64kbps” dla danego kodeka.

Pliki WAVE przygotowano w Audacity, kolejne pliki kompresowano przy pomocy kodeków wyszczególnionych poniżej przy pomocy foobara2000 0.8.3. Wszystkie pięć plików skonwertowano na koÅ„cu do formatu WAVE (plik MP3 wymagaÅ‚ upsamplingu do 44k gdyż LAME dla niskiego bitrate’u automatycznie przeprowadza downsampling) przy pomocy foobara2000 0.8.3.

1. WAVE (jako reference) - będący początkowymi dwiema sekundami oryginalnego pliku FLAC, wszystkie kolejne pliki to jego modyfikacje;
2. WAVE - lowpass na 16kHz (ten plik ma za zadanie wyłapać, kto faktycznie słucha zniekształceń a kto jedynie obciętych częstotliwości);
3. OGG Vorbis (Lancer(SSE3MT) [20061013] (based on aoTuV r1 [20051117])) - jakość Q0, realnie ma 62kbps;
4. Musepack (Beta 1.16) - jakość q2, realnie ma 70kbps;
5. MP3 (LAME 3.97 final) - jakość V 5, realnie ma 62kbps.

Na końcu wynikowym plikom WAVE nadano losowo wygenerowane, czteroznakowe nazwy.

Pierwszy plik zwany jest “oryginalny” (reference), pozostaÅ‚e cztery to “pliki testowe” bÄ…dź “pliki testowane”.

Test ABC/HR

Aby przeprowadzić test należy pobrać plik z programem testującym oraz testowanymi plikami:

KHRoN’z ABX/HR test no.1 [2,3MB]

Do poprawnego działania tego programu wymagane jest Java Runtime dostępne na stronie java.com:

Java Runtime

Po pobraniu pliku z testem należy go rozpakować, folder KRXABX1 musi się znajdować bezpośrednio na dysku C: (ważne!), czyli c:/abxkrx1/.

Test uruchamiamy dwukrotnie klikajÄ…c plik abchr.jar.

NastÄ™pnie klikamy Open ABX/HR Config… i wskazujemy plik krxabx1.ecf znajdujÄ…cy siÄ™ w folderze KRXABX1.

Ukazuje się nam właściwe okno programu z testem.

Po pierwsze należy program skonfigurować, czyli poprawnie ustawić kartÄ™ dźwiÄ™kowÄ…. W tym celu wybieramy menu Options | Settings… a tam Playback.

Tu z listy wybieramy kartÄ™ dźwiÄ™kowÄ…. Może to być konkretny model (np. “SB Live!”), może to być ogólny opis urzÄ…dzenia (jak u mnie w Windowsie Vista “GÅ‚oÅ›nik wewnÄ™trzny/sÅ‚uchawki”), a może to być po prostu “Podstawowy sterownik dźwiÄ™ku”. Klikamy OK.
Wracamy do głównego okienka programu i właściwego testu.

Zasady testu

Dwie podstawowe zasady testu to:

1. Test powinien być przeprowadzony na spokojnie, bez pośpiechu.
2. Na sam test nie ma ograniczenia czasowego.

Oczywiście o tym, że nie wolno oszukiwać nie muszę nawet pisać.

Co do ograniczenia czasowego, to wstępnie umówmy się na dwa tygodnie - czyli do północy 23 lutego (żeby 24 lutego można było opracować i podać całościowe wyniki).

Przeprowadzenie testu

W głównym okienku programu widać 4 ponumerowane kolumny. W każdej z nich znajduje się:

• dwa suwaki sÅ‚użące do oceny jakoÅ›ci pliku - o czym dalej;
• dwa przyciski Play odtwarzajÄ…ce jeden z danej pary plików, gdzie jeden z nich to oryginalny plik WAVE, drugi to losowo przydzielony jeden z testowanych plików;
• przycisk Play Ref sÅ‚użący do odtworzenia oryginalnego pliku WAVE;
• przycisk Stop zatrzymujÄ…cy odtwarzanie.

Zarówno kolejność kolumn jak i kolejność pary plików w danej kolumnie jest ustalana losowo przy każdym rozpoczęciu testu.

Test należy przeprowadzać “kolumnami”, skupiajÄ…c siÄ™ kolejno na każdej z nich.

Zacznijmy od pierwszej. Klikamy na przycisk Play Ref i słuchamy jak właściwie brzmi testowany plik. Następnie klikamy kolejno na oba przyciski Play.

JeÅ›li już w tym momencie wiemy, który plik jest który, to plik testowany (ten “nieoryginalny”) oceniamy w skali od 1 do 5 (umawiamy siÄ™ że nie dajemy punktów czÄ…stkowych) gdzie:

1. zniekształcenia wynikłe z kompresji są słyszalne i bardzo przeszkadzają w słuchaniu;
2. zniekształcenia wynikłe z kompresji są słyszalne i przeszkadzają w słuchaniu;
3. zniekształcenia wynikłe z kompresji są słyszalne ale minimalnie przeszkadzają w słuchaniu;
4. zniekształcenia wynikłe z kompresji są słyszalne ale nie przeszkadzają w słuchaniu;
5. nie słychać zniekształceń wynikłych z kompresji.

Aby pomóc sobie w odpowiedzeniu na pytanie “który plik jest który” można (a wrÄ™cz sugerujÄ™ żeby zawsze to robić - pozwala to na jednoznaczne stwierdzenie czy sÅ‚yszymy różnicÄ™ czy nie) wykonać prosty test ABX sÅ‚użący bezpoÅ›redniemu porównaniu dwóch plików. W tym celu klikamy przycisk ABX znajdujÄ…cy siÄ™ u góry po prawej. Otworzy siÄ™ wówczas dodatkowe okno sÅ‚użące do przeprowadzenia tegoż testu.

Wybieramy tu Sample A (pierwszy porównywany plik) oraz Sample B (drugi porównywany plik). Sugeruję wybrać jako A plik oryginalny (Original), a jako plik B kolejny plik testowany, np. skupiamy się na kolumnie 1 więc Sample 1

Training Mode pozwala na niezobowiązujące wypróbowanie testu ABX, Testing Mode to właściwy test. Uwaga: właściwy test można wykonać tylko raz, testów próbnych dowolną ilość (aż uznamy że jesteśmy w stanie podejść do właściwego testu).

Przycisk Play A służy do odtworzenia pliku A, przycisk Play B do odtworzenia pliku B. Play X odtwarza losowo plik A lub B. Naszym zadaniem jest stwierdzenie czy jest to plik A czy plik B, a następnie zaznaczenie lub X is A (X to A) lub X is B (X to B) i kliknięcie Next Trial.

Powtórzeń w danym teście ABX można wykonać dowolną ilość, ale nie mniej niż 5.

Poziom testu to 0.05 - jeÅ›li “prawdopodobieÅ„stwo strzelania” podczas wÅ‚aÅ›ciwego testu zejdzie poniżej tej wartoÅ›ci (co Å›wiadczy o tym że osoba przeprowadzajÄ…ca test ABX faktycznie sÅ‚yszy różnicÄ™) to we wÅ‚aÅ›ciwym okienku programu suwak odpowiadajÄ…cy w danej kolumnie “oryginaÅ‚owi” zostanie zablokowany, pozostawiajÄ…c nam do oceny plik skompresowany.

W tym momencie oceniamy dany plik wg. skali opisanej powyżej i przechodzimy do kolejnej kolumny.

A co jeÅ›li nie udaÅ‚ siÄ™ nam test ABX (czyli nie udowodniliÅ›my że sÅ‚yszymy różnicÄ™)? Cóż… musimy wiÄ™c “strzelić” który plik jest który i ocenić ten, który wg. nas jest nie jest plikiem oryginalnym.

OdkÅ‚adanie testu “na potem”

Ok, ale okazało się że nie mamy czasu żeby zrobić cały test w jednym podejściu. Co zrobić?

Wybrać menu File | Save ABX/HR Session… i zapisać sesjÄ™ testowÄ… pod dowolnÄ… nazwÄ…. Teraz można zamknąć program a przy kolejnym uruchomieniu wybrać Open ABX/HR Session… i kontynuować przerwany test.

Wyniki testu

Po zakoÅ„czeniu testu (po wykonaniu testów ABX i ocenieniu wszystkich plików, w tym przypadku czterech) wybieramy menu File | Save Test Result… i zapisujemy wynik pod dowolnÄ… nazwÄ… (np. ksywka_z_forum.erf).

Ten plik należy wysÅ‚ać na adres: khron13(na)gmail(kropka)com a w tytule maila napisać “Test ABX/HR no.1” (ale faktycznie napiszcie, bo potem nie bÄ™dÄ™ wiedziaÅ‚ który mail to który).

W treści maila możecie mi napisać czy jesteście zainteresowani przyszłymi tego typu testami (nie będę o nich spamował, to ma być tylko informacja dla mnie czy ktoś będzie takimi testami zainteresowany w przyszłości) oraz na jakim sprzęcie został wykonany ten test (jaka karta dźwiękowa, jakie słuchawki bądź jakie głośniki, czy pomiędzy kartą dźwiękową a słuchawkami/głośnikami było coś więcej niż tylko kabel).

Wtedy tak szybko, jak tylko będę w stanie, odeślę indywidualne wyniki testu.

Po zakończeniu testu (24 lutego) opublikuję ogólne wyniki testu.

Nie bÄ™dÄ™ publikowaÅ‚ indywidualnych wyników (żeby nie doszÅ‚o do czyjejÅ› kompromitacji… żartujÄ™ ;) ) - jak chcecie, to pochwalicie siÄ™ wÅ‚asnymi wynikami we wÅ‚asnym zakresie.

… wiÄ™c co? DziaÅ‚ajcie!