Оценка производительности цп классическое уравнение производительности процессора

Как оценить производительность процессора (ЦП), на какой частоте он работает при нагрузке (тестирование)

Здравствуйте.

Одна и та же модель ЦП в разных ПК и ноутбуках может работать с разной частотой (и обеспечивать разную производительность). Чтобы узнать реальную производительность и сравнить ее с другими ЦП (этой же модели и других) — необходимо прибегнуть к спец. тестам.

Собственно, ниже я приведу несколько вариантов таких тестов, которые могут быть полезны как для обычной оценки производительности, так и для диагностики системы в целом (например, чтобы протестировать систему охлаждения, оптимизировать настройки электропитания, и пр.).

Предупреждение : для объективных результатов перед любыми тестами закройте все ресурсоёмкие приложения (игры, редакторы, торренты и пр.).

Если вы знаете модель своего процессора и хотите сравнить его с другой конкретной моделью — рекомендую 👉 вот эту заметку. Благодаря спец. таблицам и рейтингам можно узнать на сколько процентов (%) один ЦП быстрее другого.

Для быстрой оценки (в баллах Windows) всех компонентов ПК в целом — рекомендую 👉 этот материал.

Способы узнать реальную производительность ЦП

Вариант 1: AIDA 64 + HWMonitor (узнаем температуру и реальную частоту)

И так, первый вариант подойдет для того, чтобы проверить на какой частоте работает процессор под нагрузкой (обещанный 👉 Турбо-буст далеко не всегда «доходит» до своих максимумов). При этом также проверяется вольтаж и температуры (все эти данные в купе могут помочь при диагностике и оптимизации).

Для подобного теста рекомендую две утилиты: AIDA 64 + HWMonitor (их можно 👉 загрузить тут). Запустить их нужно одновременно обе.

Далее в AIDA 64 перейти в меню «Сервис» и нажать по «Тест стабильности системы» .

Сервис — тест стабильности / AIDA 64

После, в той же AIDA 64 поставьте галочку напротив пункта «Stress CPU» и нажмите кнопку «Start» . Затем внимательно наблюдайте показания в HWMonitor — частоту (Clocks) и температуру (Temperatures).

Примечание : в моем случае (см. скрин ниже) удалось выяснить, что ЦП работал на частоте 1694 Mhz (хотя потенциально он мог держать больше 3000 Mhz). Как выяснилось, виной тому были настройки электропитания — после их сброса, ЦП стал «шустрее».

Стресс тест пошел — смотрим за температурой, частотой и вольтажом / Кликабельно

👉 Важно!

На производительность процессора (да и компьютера в целом) могут влиять настройки электропитания ! Проверьте, чтобы в настройках в Windows стояла макс. производительность и в настройках драйверов не было ограничений.

Вариант 2: CPU-Z (сравнение с другими ЦП)

CPU-Z ( ссылка на офиц. сайт) — совсем небольшая утилита для просмотра характеристик ЦП, ОЗУ, материнской платы, видеокарты и пр. Также в ее арсенале есть простой и достаточно эффективный тест ЦП, который поможет не только узнать реальную производительность вашего «камня», но и сравнить ее с другими моделями.

После загрузки утилиты, извлеките архив и запустите исполняемый файл. См. скрин ниже. 👇

Извлекаем и запускаем CPU-Z

Далее во вкладке «CPU» удостоверьтесь, что ваш ЦП определился утилитой, т.е. отображаются его модель, характеристики ( прим.: некоторые новые модели ЦП утилита «не знает» и может работать с ними некорректно).

После перейдите во вкладку «Bench» и нажмите по кнопке «Bench CPU» .

Bench CPU / старт теста

Когда тест будет завершен — в строке «This Processor» вы увидите значение своего ЦП (чтобы оценить его по отношению к наиболее новым ЦП на текущий момент — выберите один из эталонов в строке «Reference» ).

В моем случае, ЦП примерно в 2-2,5 раза медленнее, чем достаточно популярный Intel i7-770K.

Reference — сравниваем с популярными ЦП

Вариант 3: CineBench (еще одно сравнение)

CineBench ( ссылка на офиц. сайт) — добротный бенчмарк, позволяющий быстро и достаточно точно определить реальную производительность процессора и видеокарты. Для теста используются трехмерные сцены (картины), которые необходимо просчитать и «прорисовать».

Примечание: программа полностью на английском, в установке не нуждается.

После загрузки и запуска CineBench, для запуска теста нужно нажать одну единственную кнопку «Run» . 👇

CineBench — запустить проверку

Далее у вас начнет «рисоваться» картинка. Нужно просто подождать пока все черные области на полотне не будут заменены.

По завершению теста, в меню слева будет представлена табличка, в которой оранжевым цветом приведен ваш ЦП. В общем-то, всё достаточно наглядно. 👇

Результаты теста в CineBench

Вариант 4: просмотр загрузки ЦП в играх

Оценить загрузку ЦП можно непосредственно в одной отдельно взятой игре (прим.: просто часто задают вопросы вида: «Из-за чего тормозит игра, из-за ЦП или видеокарты?»).

Для этого нужна утилита FPS Monitor — она покажет не только FPS, но и температуры, загрузку ЦП (каждого ядра), ОЗУ, сети. Более подробно об этом в статье, ссылка на которую представлена ниже.

Диагностика. Как узнать из-за чего тормозит игра: из-за процессора, видеокарты или ОЗУ.

Скриншот с показаниями из игры WOW / FPS Monitor

Обратите внимание, что, когда на ЦП идет высокая нагрузка и он перестает справляться — вы заметите красные значения напротив определенных ядер.

Макс. нагрузка на ядро ЦП

В общем-то, благодаря этой утилите можно достаточно быстро оценить, справляется ли ЦП с игрой, и из-за него ли она притормаживает.

На сим у меня пока всё. Дополнения — приветствуются!

Блог компьютерщика

Все, чем занимаюсь на работе: компьютеры, автоматизация, контроллеры, программирование и т.д.

суббота, 13 февраля 2016 г.

Как узнать скорость работы (производительность) процессора

Во-первых определимся с терминами

Вместо «скорость работы процессора» правильней говорить «производительность процессора». Производительность означает кол-во операций, выполняемых процессором за единицу времени. Чем больше процессор выполняет операций за единицу времени, тем он «быстрее» и соответственно производительней. Чем меньше операций процессор выполняет за единицу времени, тем он менее производительный и соответственно более тормознутый.

Зачем нужно знать производительность процессора?

Производительность процессора нужно знать для оценки состояния компьютера и принятии решения о его модернизации.

Например, нам кажется, что комп работает медленно. Нужно принять решение: просто заменить процессор на материнской плате или купить новый системный блок целиком. Кроме того может оказаться, что процессор у нас отличный, тормозить из-за него комп не может, значит тормоза не из-за проца а по какой-то другой причине(перегрев, вздувшиеся конденсаторы, вирусы в системе и т.д.)

Есть правильные и неправильные способы определить производительность процессора

Самый распространенный и при этом неправильный способ- определять производительность процессора по тактовой частоте.
Единственный правильный способ- измерить производительность с помощью специальных тестов. При этом самому тестировать ничего не надо, все уже сделано другими товарищами и выложено в интернет, нужно просто знать где смотреть.

Почему неправильно определять производительность по частоте процессора?

Потому что частота процессора это только одна из характеристик процессора, при том сейчас уже не самая главная. Сравнивать процы только по тактовой частоте это как сравнивать самолеты только по длине крыльев.

Но когда-то, до начала 2000-х, действительно производительность прямо равнялась частоте процессора. Кто имел дело с компами того поколения знает, что Пентиум 300 МГц работал значительно быстрее Пентиума 166 МГЦ, а Пентиум 800 МГц работал еще быстрее. Потому никто не заморачивался и все определяли производительность в частоте.
Тем более, что процессоры тогда и назывались тупо по мегагерцам: Pentium 166 MHz, K6-2 333 MHz и т.д.

Потом все изменилось. Разработчики развивали внутреннюю архитектуру процессоров и смогли делать их более быстрыми не только за счет поднятия тактовой частоты. Т.е. тактовая частота уже перестала быть главным критерием при оценке скорости работы процессора.

Этот факт стал отражаться и в названиях процессоров. Т.к. народ уже привык к тому, что тактовая частота= производительность= название процессора и перестроиться сразу на новые рельсы было сложно(а вернее убыточно для производителя-новатора), хитрые маркетологи стали обзывать новые модели процессоров некими числами. Эти числа значали что-то вроде «как наш процессор с маленькой частотой работал еслиб вместо улучшения его архитектуры мы тупо повысили частоту». Но все потребители думали, что эти цифры- мегагерцы.

Посмотрим на названия процессоров этого слома эпох. Вот процессор AMD Athlon XP 1900+. Все по привычке думали, что цифра «1900» означает тактовую частоту, но на самом деле тактовая частота у него была 1600 МГц. У Athlon 2500+ Barton тактовая частота была уже 1833 МГц.

Неразберихи добавляло то, что фирма Интел упорно продолжала называть свои процессоры по частоте и, например, проц Intel Pentium-4 2.4 GHz имел тактовую частоту 2.4 GHz.

К середине 2000-х подобная система наименований перестала устраивать уже всех и производители перешли в названиях просто на индексы, рассмотреть в которых мегагерцы стало невозможным: Intel D815, Intel E1500, AMD X2 250, Intel T2350 и т.д.
Новые названия как бы шепчут нам «забудь про частоту, это напускное, не главное, гляди в суть».

А суть теперь стала состоять в том, что тактовая частота мало о чем говорит.
Например, тот же Pentium-4 2.4 GHz c тактовой частотой 2.4 ГГц работает в 3.5 раза медленнее, чем Intel E1200 с тактовой частотой 1.6 ГГц.

Вот почему когда мне говорят про свой домашний комп, что «у процессора частота 2.2 ГГц», это для меня ниочём, я не могу никак оценить производительность и дать совета.

До сих пор заблуждение о том, что тактовая частота равна производительности столь велико, что не только обычные пользователи но даже некоторые компьютерщики продолжают тупить по старинке.

Как правильно определить производительность процессора?

Производительность процессора правильно определять в единицах производительности, расчитанных с помощью специальных тестовых программ. Есть много сайтов, где приведены результаты таких тестов в различных тестовых программах для каждой модели.

Лично мне больше всего нравится сайт cpubenchmark.net. Кажется, там наиболее полная база данных по тестам процессоров с использованием программы PassMark.
Что бы узнать производительность процессора, достаточно на сайте сверху в строке поиска набрать модель процессора и перейти по результату поиска.

Для примера найдем производительность процессора E1500:

Производительность E1500 равна 1148 баллам согласно рейтингу программы PassMark.
Тут же для удобства- кратенькая табличка для оценки тестируемого процессора относительно других моделей. Где-то на сайте есть и полная таблица со всеми процессорами.

Определяем состояние компьютера- виноват процессор или нет

Находим название модели процессора в свойствах системы:

Вот у меня процессор E5400. Дальше находим производительность этого процессора на сайте cpubenchmark.net: 1608 баллов.

Много это или мало? Как я уже писал в Апгрейд процессора на материнской плате Socket 775, сейчас для комфортного домашнего и офисного использования(без крутых игрушек) с Windows 7 достаточно процессора с производительностью от 1500 баллов.
Процессором с производительностью не менее 900 баллов в Win7 пользоваться еще терпимо.
Если производительность меньше 900 баллов(на сейчас, на февраль 2016-го), то я бы советовал использовать только WinXP.

Поэтому если комп с процессором E5400 сильно тормозит в Win7, проблема не в процессоре а в чем-то другом. Чаще всего в вирусах и глюках операционной системы, реже- в перегреве материнской платы.

Например, был недавно на одной фирме и там аномально тормозит комп с E6550 (1501 балл) и 2 Гб оперативки, при чем тормозит в Win XP. Ясно, что проблема не в устаревшем оборудовании а в чем-то другом и вместо покупки нового компьютера достаточно вылечить старый.

Определяем возможность апгрейда процессора

Бывает так, что производительность процессора объективно низкая, скажем 400 баллов, нас совсем не устраивает и мы хотим поставить более шустрый процессор. Имеет ли смысл ставить другой процессор или придется покупать весь набор материнская плата+проц+оперативка? Тут все зависит от сокета процессора и модели материнской платы.

Алгоритм принятия решения будет такой:
1. Определяем модель нашей материнской платы с помощью программы Everest или Aida64, там же определяем сокет процессора.
2. Находим список поддерживаемых процессоров данной МП. Я обычно ищу через гугл по запросу » cpu support» .
3. Определяем производительность этих процессоров.
4. Если производительность самых производительных процов для нашей МП ниже 1000-1500 баллов, менять процессор смысла нет и нужно заменить весь набор МП+проц+ОЗУ. Если МП поддерживает процы с производительностью 1000-1500 баллов и выше, проводим замену только процессора.

Подробнее на примере материнских плат с сокет 775 я писал тут: Апгрейд процессора на материнской плате Socket 775

Вот случай из моей практики месячной давности: есть СБ с процессором AMD Sempron 2600+, у него производительность 373 балла- никуда не годится. Нужно ставить более быстрый.
По указанному выше алгоритму определил, что МП имеет сокет 754 и поддерживает максимальный процессор Athlon64 3700+ c 597 баллами.
Вывод- менять шило на мыло смысла нет, поменял весь набор МП+проц+ОЗУ на бюджетное б/у с процессорм E6550. На ближайшие годы хватит.

В любом случае нужно знать производительность процессора, это может сэкономить деньги при обслуживании своего компьютера.

Как оценить рабочую станцию

Появление множества новых архитектур компьютеров класса рабочих станций и серверов потребовало методик их оценки, отличных от традиционных MIPS и MFLOPS, отражающих только возможности центрального процессора. Оценка производительности процессора Оценка производительности многопроцессорных систем Оценка производительности при обработке транзакций Тестовые наборы оценки архитектуры Практическое использование методик оценки Появление множества новых архитектур компьютеров класса рабочих станций и серверов

Какое бы качество Вы ни захотели оценить, всегда
найдутся по меньшей мере три противоречивых
критерия его оценки.
Закон Паркинсона.

Многие фирмы, работающие на рынке рабочих станций и серверов, предлагаю сегодня различные многопроцессорные и многопользовательские вычислительные системы. Если верить рекламе, каждая такая система обязательно уникальна и способна решить все Ваши текущие, да и будущие проблемы. Так ли это в действительности, какими критериями следует пользоваться при выборе системы, действительно отвечающим вашим потребностям? Как, наконец, оценить самого продавца, чтобы максимально застраховать себя от возможных неожиданностей?

Наиболей известностью с широких кругах компьютерной общественности исторически пользовались оценки MIPS (миллион инструкций в секунду при работе с целыми числами) и MFLOPS (миллион инструкций в секунду при работе с вещественными числами). В большей степени это было связано с тем, что компьютер олицетворялся с центральным процессором, основной и понятной характеристикой которого было быстродействие, измеряемое числом команд в единицу времени. С появлением новых архитектур, отбирающих у процессора его монопольное право по своему усмотрению распоряжаться сей вычислительной системой, старые методики оценки (benchmarks) перестали отражать реальные возможности архитектуры в целом. Расширение круга решаемых задач также поколебало устои однозначных оценок, получаемых только на основе количества выполняемых операций. В каждом конкретнос случае от вычислительной системы могут требоваться различные возможности, будь то управление сетью, ведение баз данных или визуализация результатов научного эксперимента.

Оценка производительности процессора

Традиционной тестовой смесью, используемой для оценки как процессоров, так и компиляторов с языка См, является Dhrystone. Искуственно созданный текст представляет собой смесь из 100 команд, из которых 53 — операции присваивания, 32 — управления, а 15 — вызовы фукнции. Тест может выполняться в режиме с использованием регистров для увеличения проивзодительности и в режиме без применения регистров. Наибольшее распространение получил тест Dhrystone MIPS, основанный на Dhrystone версии 1.1, результат изменения по которому получается при делении количества инструкций, выполняемых в секунду на число 1757. Один MIPS равен 1757 Dhrystone в секунду, что эквивалентно производительности компьютера VAX 11/780.

Тестовая смесь Linpack предназначена для получения относительных оценок быстродействия компьютера при решении системы линейных уравнений размером 100х100. Для последней версии Linpack DP1000 использется система уравнений размером уже 1000х1000. Тест позволяет получить оценку по эффективности процессора и компиляторов в случае обработки больших потоков вещественных чисел. Основу программы на языке Фортран составляют функции из библиотеки Basic Linear Algebra Subroutines (BLAS). Результат измеряется в MFLOPS — миллион операций в секунду, выполняемых над вещественными числами двойной точности.

Новым шагом на пути создания более информативных оценок возможностей процессора явилась тестовая смесь SPEC, подготовленная корпорацией Standard Performance Evaluation, которая была одной из первых некоммерческих организаций, специализирующихся именно на проведении тестирования. Главным результатом деятельности корпорации стали два комплекта тестов для проверки быстродействия процессора: SPECint92 и SPECftp92,оценивающих работу процессора с целыми и вещественными числами соответственно.

SPECinit92 включает программы из шести различных областей применения: теория цепей, Лисп-интерпретатор, логические задачи, упаковка текстовых файлов, электронные таблицы и среда программирования. Производительность процессора измеряется в относительных единицах к VAX 11/780 и равна среднеарифметическому по всем тестам. Перечислим все тесты, входящие в смесь SPECint92.

Espresso — генерация и оптимизация матриц булевой логики, эвристики по минимизации логических выражений. Данный тест оценивает быстродействие процессора при работе с целыми числами.

Li — программа на языке Си, реализующая интерпретатор с языка Лисп. Используется для оценки процессора в режиме интенсивной работы.

Eqntolt — программа на языке Си, преобразующая логические уравнения в таблицы истинности. До 95% всего времени работы данного теста используется библиотечной программой сортировки qsort().

Compress — стандартная утилита UNIX по упаковке текстового файла на основе алгоритма Lempel-Ziv. Для тестирования используется текст размером 1 Мб, который двадцать раз подвергается сжатию. Данная программа применяется для оценки работы процессора в интенсивном режиме с одновременным выполнением операций ввода/вывода.

Sc программа на Си, реализующая операции, типичные для любой системы обработки электронных таблиц: перемещение курсора и данных, управление файлами, а также операции со строками и столбцами таблицы.

Gcc — стандартный компилятор GNU, преобразующий 19 исходных текстов программ на языке Си в оптимизированный ассемблерный код.

Смесь SPECftp92 состоит из 14 тестов, пять из которых выполняются с одинарной точностью, остальные с двойной. В состав данной смеси входят следующие тестовые программы: Spice2g6 — программа на Фортране для моделирования аналоговых цепей. Тест выполняется с двойной точностью, интенсивно использует кэш-память и работает с комплексными числами. До 80% всех операций занимают пересылки из памяти в память.

Doduc — программа на языке Фортран для моделирования методом Монте-Карло термодинамики ядерного реактора. Тест выполняется с двойной точностью, содержит небольшое число операций ввода/вывода, множество коротких ветвлений и циклов.

Mdljdp2 — программ на Фортране по решению используемого в квантовой химии уравнения движения для 500 атомов.На каждом шаге с помощью уравнений статистической механики вычислятеся энергия и давление газа. Тест выполняется с двойной точностью.

Wave5 — программа на Фортране для решения уравнения Максвелла и управления движением частицы в декартовой сетке при различных граничных условиях. Тестовый пример содержит 500 тыс. частиц на сетке из 500 тыс. точек, расположенных с шагом 5 единиц.

Tomcatv — программа на Фортране для нанесения сетки на модель корпуса автомобиля или крыла самолета. Тест выполняется с двойной точностью и специально ориентирован на проверку возможностей использования кэш памяти и организации вычислений для суперскалярных и векторных компьютерных систем.

Ora — программа на языке Фортран по трассировке лучей, проходящих через оптическую систему из сферических и плоских поверхностей. Проверяется работа процессора в интенсивном режиме обработки чисел в формате с двойной точностью.

Alvinn — программа на Си по моделированию движения роботов. Тест выполняется с одинарной точностью. На входе программа получает сетку из 1220 узлов, в каждом из которых помещаются данные от двух устройств зрения робота (видеокамера и дальномер). Программ генерирует 35 различных управляющих директив самоходной тележки робота.

Ear — программа на Си по моделированию уха человека. Тест выполняется с двойной точностью. На входе программа получает файл с данными, задающими звуковое окружение человека, а на выходе формируется спектр разложения звука по шкале времени.

Mdljs2 — версия программы Mdljdp2 для одинарной точности.

Swm256 — программа на Фортране по решению уравнения shallow-water для сетки 256х256. Тест выполняется с одинарной точностью.

Su2cor — векторизированная прогамма на Фортране по нахождению параметров межголоктического наза с помощью уравнений Навье-Стокса. Тест выполняется с двойной точностью.

Nasa7 — набор из семи билиотечных модулей на языке Фортран, выполняемых с двойной точностью (умножение матриц, инвертирование матриц и т. п.).

Fpppp — программа на Фортране по моделированию процесса замещения атомов на сериях Гаусса в квантовой химии. Задача трудно распараллеливается из-за наличия больших блоков данных. Тест выполняется с двойной точностью при интенсивном вводе/выводе.

Из состава задач, включенных в смеси SPEC, можно уже сделать предварительные выводы о принципиальной пригодности (пока только) процессора для решения ваших задач.

Например, из приведенных в таблице компьютеров, принадлежащих одной ценовой категории (до 50 тыс. долл.) для физических расчетов предпочтительны станции на базе PA-7100 или POWER. Для решения задач управления обработки информационных котоков или создания среды разработки программ предпочительные компьютеры на процессорах фирмы MIPS R4000-R4400 (например, станции фирмы Comntrol Data Systems 4460 и 9140, а также компьютеры Onyx или Grimson фирмы Silicon Graphics).

Оценка производительности многопроцессорных систем

SPEC Homogeneous Capacity Method или оценка SPECrate используется для определения загрузки (емкости или пропускной способности) многопроцессорной системы. В отличие от предыдущих оценок, измеряющих скорость выполнения одного задания, SPECrate позволяет определить, как много заданий способен выполнить компьютер за конечный интервал времени.

Некоторые однопроцессорные системы способны выполнить одну задачу быстрее многопроцессорных, однако этот факт не дает полной картины интегрального поведения системы в целом. Многопроцессорные комплексы могут выполнять больше заданий в единицу времени. Если один процессор за минуту выполняет одну работу, а система из четырех процессоров делает это за две, то многопроцессорная система работает в два раза медленнее, но имеет загрузку в два раза больше, чем однопроцессорная. Загрузка находится в прямой зависимости от количества базовых ресурсов процессора (размер кэш памяти, скорость шины, емкость оперативной памяти), которые он способен выделить задаче на период выполнения. SPECrate дает также определенное представление о возможностях операционной системы и компилятора строить код, разделяемый между несколькими процессорами. Данная оценка явилась дальнейшим развитием методики SPECmark89 и одинаково хорошо характеризует как однопроцессорные, так и мультипроцессорные системы.

Набор тестовых программ для SPECrate полностью аналогичен наборам SPECint и SPECftp92 — это те же программы, но размноженные на несколько одновременно запускаемых копий. Разультирующее значение по методике SPECrate вычисляется по формуле:

Число одновременно выполняемых задач может выбираться произвольным обрахом. Очевидное решение — число, равное количеству процессоров, однако для каждой конкретной архитектуры возможны свои особенности. Величины ref_const и cpu_const для каждого теста являются постоянными коэффициентами. Общее время — время завершения последней из всех запущенных работ.

В приведенной таблице даны показатели SPECrate для некоторых систем стоимостью от 50 до 100 тыс. долл. в однопроцессорном варианте и до 200 тыс. для конфигурации с двумя и более процессорами.

Оценка SPECrate хорошо характеризует возможности компьютера по организации многопользовательского режима для работы в системах коллективного пользования, а также при решении задач реального времени. Приведенные в таблице модели могут служить эталоном для компьютеров, претендующих на роль серверов в системах такого рода.

Оценка производительности при обработке транзакций

Эффективность компьютерных систем, предназначенных для решения задач информационного обеспечения, работы с базами данных, характеризуется числом транзакций, выполняемых в единицу времени. Под транзакцией обычно понимается последовательность операций ввода/вывода, во время проведения которых база данных остается неизменной. Практически транзакция представляет собой атомарную, неделимую операцию, все изменения в результате выполнения которой становятся видны сразу после ее выполнения или отсутствуют до тех пор, пока операция не завершится.

До недавнего времени все фирмы-производители рабочих станций и разработчики СУБД предлагали свои собственные способы оценки. Полностью отсутствовали общие для всех правила проведения таких оценок. В 1988 году пять ведущих фирм, среди которых были IBM, Control Data и Hewllett-Packard, организовали Совет по проведению оценки скорости выполнения транзакций, получивший название TPC (Transaction Processing Performance Council), положивший конец «войне транзакций» и установивший единые правила измерения и оформления отчетов по их результатам. Сейчас из комплекса TCP приняты в качетсве общепризнанного стандарта три оценки (А, В и С).

TCP-A характеризует быстродействие выполнения транзакций в режиме on-line для банковского кассира. При выполнении данного текста специально эмулируется операционная обстановка банка (терминалы и линии коммуникаций), а в качетсве транзакции выбирается обычная операция по обновления счета клиента. Скоромть работы в локальном окружении (без передачи тарнзакции во внешнюю сеть) измеряется в tsp-A-local. Быстродействие при работе с внешними межбансковскими сетями оценивается в tsp-A-wide. В отчет о проведенном испытании по данной методике входит стоимость компьютера вместе с необходимым программным обеспечением и дополнительным оборудованием, необхоимым для обеспечения работы банка в течение 90 дней. Стоимость вычислительной системы включает также пятилетнее сопровождение. При делении общей стоимости комплекса на полученное значение tsp получают цену одной транзакции (типа wide или local).

Оценка TCP-B представляет собой рафинированный вариант TCP-A (без эмуляции терминалов и линий связи), ориентированный на проверку возможностей только СУБД в условиях ее интенсивной эксплуатации. Единицами измеренимя являются tsp-B и стоимость одной транзакции.

Тест TCP-C появился из проекта корпорации MCC (Microelectronics and Computer Technology). Программа проверки включает моделирование различных видов деловой деятельности: операции со счетами в банке, инвентаризация и т. п. Размер транзакций в TCP-C изменяется от очень простых и коротких до очень сложных и длинных операций, которые, как и реальной практике бизнеса, требуют сложных проводок и многоступенчатых пересылок. Единицами измерения являются tmp — число транзакций в минуту и стоимость одной транзакции.

Как нетрудно заметить, показатели по оценке TCP могут зависеть не только от возможностей аппаратуры, но и от конкретной используемой базы. Обычно применяются три СУБД: Oracle, Informix и Sybase. Для примера приведем таблицу сравнению по ТСР-В, подготовленную на основе результатов, опубликованных в мае 1993 года. Модели серверов фирм НР, CDS, IBM и SUN, включеннные в данную таблицу, принадлежат одной ценовой группе (до 100 тыс. долл. вместе с СУБД, в ценах для США).

Тестовые наборы оценки архитектуры

В 1981 году была образована фирма AIM Technology, которая является независимой организацией, специализирующейся на оценке Unix-систем и подготовке объективной информации о продукции различных фирм-производителей компьютеров. Фирма AIM использует свои собственные методики и тестовые смеси, в отличие от других оценок специально ориентированные на получение интегральнах характеристик всей системы. При тестировании проверяются все компоненты компьютера, работающего в многопользовательском и многозадачном режиме. Результаты оценок публикуются ежеквартально в виде обзорных отчетов. Фирма может готовить оценки на отдельные компьютерные системы и по специальным заявкам.

Методика AIM основана на проверке по пяти основным критериям:

• пиковая производительность (AIM Performance Rating) — максимальная производительность в режиме наиболее оптимального использования центрального процессора, процессора работы с вещественными числами и кэш памяти. Показатель пиковой производительности — весьма информативен при выборе приложений, работающих главным образом с процессором, например, для оптимальной покупки рабочей станции.
• максимальная нагрузка (Maximum User Load) — максимально возможное число заданий при работе наибольшено числа пользователей, которое может выполнить система за минуту. Данный показатель используется при выборе серверов.
• обработка утилит Unix (Utilities Indexd или Milestone) — оценка возможностей по выполнению 40 утилит ОС Unix. Данный показатель используется при выборе инструментального компьютера, предназанченного для интенсивной работы с утилитами типа grep или make.
• пропускная способность (Throughput Graph) — показатель производительности (число работ в минуту) в зависимости от степени загрузки системы.
• цена (Price) — стоимость тестируемой компьютерной системы.

Обзорные отчеты по всем компьютерным системам содержат следующие диаграммы сравнения:

• Цена/Пиковая производительность характеризует системы, достигающие своей пиковой производительности при работе в режиме номальной эксплуатации.
• Цена/Максимальная загрузка характеризует системы, достигающие своей пиковой производительности при работе в условиях максимальной загрузки.
• Пиковая производительность характеризует системы, наиболее эффективно работающие в режиме нормальной эксплуатации.
• Максимальная загрузка — системы, демонстрирующие наилучшие показатели при работе с максимальной загрузкой.
• Производительность при выполнении Unix-утилит идентифицирует системы, наиболее эффективно выполняющие утилиты ОС Unix за одну минуту.

Основным набором оценки собственно компьютерной системы, без вывода на терминалы, учета производительности при работе с X Window и в составе сети, является AIM System Benchmark (Suite III). Набор состоит из шести так называемых моделей: обмены с оперативной памятью (20%), работа с вещественными числами двойной и одинарной точности (10%), операции работы с целыми числами (20%), обмены данными между процессорами (10%), вызовы функций на языке Си с 0,1,2 и 15 параметрами (20%), ввод/вывод на диск (20%). В каждую диаграмму включаются семь компьютеров, показавших наилучшие результаты в своей ценовой группе: до 15 тыс. долл., 15-25 тыс. долл., 50-100 тыс. долл., 100-500 тыс. и выше 500 тыс. долл.

Для примера приведем несколько таблиц из отчета, подготовленного фирмой AIM осенью 1993 года:

«Цена/Пиковая производительность: 15-25 тыс. долл.»
(Выборка из 29 систем)

По другой оценке распределение в данной группе компьютеров выглядит уже по-другому.

«Цена/Максимальная загрузка: 15-25 тыс. долл.»
(Выборка из 29 систем)

После диаграмм сравнения в обзорном отчете размещаются данные по компьютерам в отдельности — это краткое описание, включающее только основные параметры каждой модели.

Полный отчет по отдельной компьютерной системе имеет еще три страницы, соедржащие данные тестирования по набору тестов AIM Subsystem Benchmark (Suite III). Проверка по данному наболлру производится при работе компьютера в однозадачном режиме и включает следующие оценки:

Производительность при работе с диском. Измеряется в килобайтах в секунду для двух вариантов: при использовании кэширования и без него. Оценка применяется при выборе систем для работы с базами данных, файловых серверов и рабочих мест разработчика программного обеспечения.

Производительность выполнения операций над вещественными числами. Измеряется в тысячах операций в секунду отдельно для сложения, умножения и деления с двойной и одинарной точностью. Оценка используется при выборе систем для работы в научных и физических приложениях.

Производительность при работе с целыми числами. Измеряется в тысячах операций в секунду отдельно для сложения, умножения и деления чисел в длинном (long) и коротком (short int) формате. Оценка используется при выборе систем для работы в финансовых приложениях.

Производительность операций чтения/записи в память. Измеряется в килобайтах в секунду отдельно при чтении и записи для целых чисел в длинном и коротком формате, а также символов. Оценка используется при выборе компьютеров для работы с издательскими системами и в финансовых приложениях.

Производительность операций копирования в памяти. Измеряется в килобайтах в секунду при пересылке целых чисел в длинном и коротком формате, а также символов.

Производительность операций в памяти над массивами ссылок. Измеряется в тысячах ссылок в секунду для целых числе в длинном и коротком формате.

Производительность при вызове системых функций. Измеряется количеством обращений в секунду к таким функциям Unix, как create/close, fork, sbrk(), signal и unmask.

Производительность при вызове функций в прикладной задаче. Измеряется количеством вызовов в секунду для функций без аргументов, функций с одним, двумя и пятнадцатью параметрами типа int.

Практическое использование методик оценки

Любая модель является лишь грубым приближением реальной жизни, поэтому при все своем многообразии, перечисленные ниже оценки могут не дать полной картины поведения каждой конкретной конфигурации при решении реальной задачи. Большое влияние на результаты тестирования оказывает конфигурация, здесь кроется одна из уловок, которой пользуются некоторые фирмы, самостоятельно проводя сравнительное тестирование своих компьютеров и систем других фирм-производителей.

Самый надежный способ — сравнение по оценкам, полученным независимыми фирмами, по стандартизированным тестам. В любом случае, надо обращать внимание на состав конкретных аппаратных и программных конфигураций, выбираемых для сравнения: частота процессора, размер кэш-памяти, объем оперативной памяти, версия ОС, тип компилятора.

Дмитрий Волков, Институт прикладной математики имени М.В. Келдыша РАН (Москва).

Поделитесь материалом с коллегами и друзьями