Jesteś tutaj: Strona główna » Aktualności » Wyniki testów aplikacyjnych pomagają ocenić wydajności zamawianych komputerów

Dodano 2015-01-12

Wyślij Drukuj A A A

Wyniki testów aplikacyjnych pomagają ocenić wydajności zamawianych komputerów

W większości zamawianych zestawów komputerowych odpowiednią metodą oceny wydajności są wyniki testów aplikacyjnych. Muszą być one jednak odpowiednio dobrane. Sposób przeprowadzania tych testów oraz udostępniania ich wyników są zdecydowanie bardziej wydajne, a jednostka zamawiająca ma większą szansę na zakupu komputerów zgodnie z jej potrzebami.

Urząd Zamówień Publicznych wydał w 2010 roku rekomendacje w sprawie „Udzielania zamówień publicznych na dostawę zestawów komputerowych” (zaktualizowane w styczniu 2012 r.).

Jednym z zaleceń był zapis dotyczący określenia wymaganej wydajności komputera poprzez preferowanie odwoływania się do testów aplikacyjnych (punkt 3.4. ww. rekomendacji).

Z danych udostępnionych przez Polską Izbę Informatyki i Telekomunikacji wynika, że w coraz większej liczbie opisów przedmiotu zamówienia jest oczekiwany wynik osiągany w testach syntetycznych takich jak: PassMarkC, PC Mark 05, 3DMark06 i SiSoft Sandra.

W 2014 r. udział procentowy zamówień, w których przewidywano testy syntetyczne w łącznej liczbie zamówień na zestawy komputerowe ilustruje przedstawiona poniżej tabela2.

Postępowania na zakup zestawów komputerowych 
w 2014 r.

Całkowita liczba postępowań*

Liczba postępowań, 
w których przewidziano testy syntetyczne

Udział benchmarków syntetycznych

Styczeń

96

45

46,9%

Luty

116

66

56,9%

Marzec

152

69

45,4%

Kwiecień

205

102

49,8%

Maj

135

67

49,6%

Czerwiec

142

75

52,8%

Lipiec

209

112

53,6%

Sierpień

135

74

54,8%

Wrzesień

124

75

60,5%

Październik

161

134

83,2%

* Obejmuje wszystkie postępowania na zestawy komputerowe, łącznie z tymi, w których nie wykorzystywano testów do oceny wydajności

Przyczyną popularności stosowania testów syntetycznych są prawdopodobnie następujące ich cechy:

  1. łatwa dostępność wyników testów na stronach internetowych,
  2. bezpłatne wersje (najczęściej 30-dniowe),
  3. krótki czas przeprowadzenia testu – zazwyczaj około 10 minut.

Należy jednak wskazać na poniższe okoliczności, które dotyczą znakomitej większości testów syntetycznych:

  1. Testy syntetyczne przeważnie nie spełniają wymogu niezależności organizacji opracowującej dany zestaw testów,  gdyż  ich twórcami są firmy komercyjne;
  2. Metoda testowa jak i algorytm kalkulacji wyniku nie jest udokumentowany;
  3. Wyniki testów nie są powtarzalne;
  4. Wyniki testów udostępniane w internecie ustalane są na podstawie testów wysłanych przez  użytkowników indywidualnych;
  5. Nie jest znana metoda kalkulacji wyniku testu prezentowanego w internecie;
  6. Wyniki testów są silnie uzależnione od konfiguracji całego komputera (pamięć, karta graficzna, dysk, wersje oprogramowania, etc.).

Przy czym należy wskazać, że szczególnie istotna jest okoliczność wymieniona w pkt 5 i 6.

W przypadku większości testów syntetycznych publikowany na stronie internetowej wynik powstaje na podstawie nadesłanych przez użytkowników danych. Im mniejsza jest całkowita liczba przekazanych wyników testów danego procesora, tym łatwiej jest zmienić publikowany średni wynik przez przeprowadzenie testów na odpowiednio dobranej konfiguracji komputera, niekoniecznie tej, która dostarczana jest później w ramach zamówienia publicznego.

Łatwa możliwość zmiany publikowanych wyników testów dotyczy w szczególności nowych procesorów, lub procesorów z krótkich serii. Dobrą ilustrację problemu stanowi wyrok Krajowej Izby Odwoławczej (sygn. akt: KIO 1941/11).

Konsekwencją zastosowania testów syntetycznych może być zakup komputerów, nie odpowiadających wymaganiom zamawiającego. Publikowane na stronach internetowych wyniki testów syntetycznych mogą dotyczyć komputerów zbudowanych z zupełnie innych elementów, niż te użyte w dostarczanym zestawie, a jedynym elementem wspólnym może być typ zastosowanego procesora.

Zgodnie z informacją zawartą w „Rekomendacjach” (punkt 3.4), w znakomitej większości zamówień zestawów komputerowych właściwą metodą oceny wydajności są wyniki odpowiednio dobranych testów aplikacyjnych. Należy zaznaczyć, że metodyka przeprowadzania tych testów oraz sposób udostępniania wyników dają nieporównanie lepszą powtarzalność i stanowią doskonalszy sposób oceny wydajności. Zamawiający jest znacznie mniej narażony na ryzyko zakupu sprzętu, który pomimo formalnej zgodności z wymaganiami odbiega od faktycznych oczekiwań.

Podtrzymując powyższe wnioski, należy jednocześnie wskazać, że rozwój technologii w branży IT od czasu opublikowania ,,Rekomendacji’’, miał znaczący wpływ m.in. na aktualizację powołanych w ich treści wybranych testów aplikacyjnych oraz dodatkowo doprowadził do stworzenia nowych rozwiązań w tym zakresie.

Z tego powodu, zaleca się stosowanie obecnie dostępnych, wymienionych przykładowo w tabeli testów aplikacyjnych:

organizacja

nazwa testu powołanego 
w treści Rekomendacji Prezesa Urzędu Zamówień Publicznych na udzielanie zamówień publicznych na dostawę zestawów komputerowych

najnowsze wydanie testu

uwagi

BAPCO

SYSmark 2007 Preview Rating oraz testy składowe: E-Learning, Video Creation, Office Productivity, 3D Modeling

SYSmark® 2014 realizuje trzy modele użytkowania: Office Productivity, Media Creation, and Data/Financial Analysis

Test aplikacyjny przeznaczony do testowania wydajności komputerów przenośnych i stacjonarnych

BAPCO

Nieznany w chwili publikowania Rekomendacji

MobileMark 2014

Nowy test aplikacyjny przeznaczony do testowania żywotności baterii w komputerach przenośnych

BAPCO

Nieznany w chwili publikowania Rekomendacji

TabletMark

Nowy test aplikacyjny przeznaczony do testowania tabletów

PCWorld

WorldBench 6

WorldBench 7

Test aplikacyjny przeznaczony do testowania wydajności komputerów przenośnych i stacjonarnych

Z powyższych względów testy aplikacyjne powinny być stosowane przez zamawiających jako podstawowa metoda opisu oczekiwanej wydajności komputera.

Źródło:

Urząd Zamówień Publicznych

  • Portal Kadrowo-PłacowyPortal Kadrowo-Płacowy
  • Portal Finansowo - KsięgowyPortal Finansowo - Księgowy
  • Certyfikat Firmy Wiarygodnej FinansowoCertyfikat Firmy Wiarygodnej Finansowo
  • Portal dla placówek oświatowychPortal dla placówek oświatowych
  • AGB KancelariaAGB Kancelaria
  • Experto24.plExperto24.pl
  • Serwis InwestoraSerwis Inwestora
  • Portal dla specjalistów ds. BHPPortal dla specjalistów ds. BHP
  • Portal Twojej Spółki z o.o.Portal Twojej Spółki z o.o.
  • Portal dla firmy transportowejPortal dla firmy transportowej
  • Serwis Rachunkowści BudżetowejSerwis Rachunkowści Budżetowej

Aby zadać pytanie, musisz być zalogowany

  • 26 prawników i specjalistów Pzp czeka na Twoje pytania!
  • Udzielamy nawet kilkadziesiąt porad tygodniowo!
  • Na ponad 90% pytań odpowiadamy w 72h!
  • Stale powiększana baza ponad 100 dokumentów!
  • Możliwość pobierania na dysk i edytowania!
  • Wygoda i oszczędność czasu – nie musisz już sam przygotowywać dokumentów!
  • Stale powiększana baza prawie 2000 wyroków KIO i orzeczeń sądów!
  • Praktyczne komentarze do najważniejszych orzeczeń!
  • Korzystaj z orzeczeń i unikaj błędów popełnionych przez innych!
  • Aktualny słowników kodów CPV zawsze pod ręką
  • Możliwość śledzenia przetargów powiązanych z danym kodem!
  • Wygodne narzędzie ułatwiające przygotowywanie dokumentacji przetargowej!

Strona używa plików cookies.

Kliknij tutaj, żeby dowiedzieć się jaki jest cel używania cookies oraz jak zmienić ustawienia cookie w przeglądarce.
Korzystając ze strony użytkownik wyraża zgodę na używanie plików cookies, zgodnie z bieżącymi ustawieniami przeglądarki.