Extensãoii-benchmarks(trabalho)

1

1|Página Arquitectura de Sistemas Computacionais

2

Índice Índice .............................................................................................................................................................2 Resumo .........................................................................................................................................................4 Introdução ......................................................................................................................................................5 Desenvolvimento ...........................................................................................................................................6 Medidas de desempenho não baseadas no tempo ...................................................................................6 Medidas de desempenho baseadas no tempo ..........................................................................................6 Tipos de Benchmarks............................................................................................................................6 Conjuntos de Benchmarks.........................................................................................................................7 Standard Performance Evaluation Corporation .....................................................................................8 Visão geral de Benchmarks da SPEC ................................................................................................. 10 Visão específica de Benchmarks da SPEC......................................................................................... 12 SPEC CPU2006 .................................................................................................................................. 12 SPECviewperf 10 ................................................................................................................................ 14 SPECapcSM for 3ds Max 9................................................................................................................. 15 SPECapcSM for Lightwave 3D® 9.6 ................................................................................................... 15 SPECapcSM for Maya® 2009 ............................................................................................................. 15 SPECapcSM for Maya® 6.5 ................................................................................................................ 15 SPECapcSM for Pro/ENGINEER™ Wildfire 2.0 ................................................................................. 16 SPECapcSM for Solid Edge V19™ ..................................................................................................... 16 SPECapcSM for SolidWorks 2007 ...................................................................................................... 16 SPECapcSM for UGS NX 4 .................................................................................................................. 17 SPEC MPI2007 ................................................................................................................................... 17 SPEC OMP ......................................................................................................................................... 17 SPECjAppServer2004 ......................................................................................................................... 18 SPECjbb2005...................................................................................................................................... 18 SPECjms2007 ..................................................................................................................................... 18 SPECjvm2008 ..................................................................................................................................... 19 SPECmail2009 .................................................................................................................................... 19 SPECmail2008 .................................................................................................................................... 20 SPECmail2001 .................................................................................................................................... 20 SPECsfs2008 ...................................................................................................................................... 20 SPECpower_ssj2008 .......................................................................................................................... 21 SIP ...................................................................................................................................................... 22 SOA .................................................................................................................................................... 22 Virtualização........................................................................................................................................ 22 SPECweb2009 .................................................................................................................................... 23 SPECweb2005 .................................................................................................................................... 23 Relação de Custo entre os diferentes tipos de Benchmarks ............................................................... 24 Futuremark .......................................................................................................................................... 25 Visão Geral de Benchmarks da Futuremark ....................................................................................... 26 2|Página Arquitectura de Sistemas Computacionais

3 Visão Especifica de Benchmarks da Futuremark ................................................................................ 29 3DMark Vantage ................................................................................................................................. 29 3DMark®Mobile ES 2.0 ....................................................................................................................... 29 Benchmark Peacekeeper .................................................................................................................... 30 Benchmarks BAPCo........................................................................................................................... 32 SYSmark ® 2007 ................................................................................................................................ 32 MobileMark® 2007 .............................................................................................................................. 33 Benchmark HQ.................................................................................................................................... 34 Conclusão .................................................................................................................................................... 35 Glossário...................................................................................................................................................... 36 Referências.................................................................................................................................................. 37

3|Página Arquitectura de Sistemas Computacionais

4

Resumo Este relatório é realizado no âmbito disciplina de Arquitectura de Sistemas Computacionais, do Curso de Engenharia de Informática da Escola Superior Tecnológica, do Instituto Politécnico de Castelo Branco, com o objectivo de aprofundar o tema Avaliação Desempenho de Benchmarks.

4|Página Arquitectura de Sistemas Computacionais

5

Introdução Actualmente o desempenho dos computadores evolui de forma exponencial, isso deve-se à grande evolução tecnológica no fabrico desses componentes, porém o desempenho, utilizado no contexto de sistemas computacionais, pode-se tornar muito vago e muito nebuloso. Sistemas computacionais diferentes possuem a partida desempenhos diferentes, porém medir esse desempenho, nem sempre é uma tarefa fácil O objectivo de medir o desempenho computacional é um objecto de estudo na área de sistemas computacionais e é necessário para que os analistas de sistemas, possam desenvolver componentes físicos com maior desempenho e fiabilidade. Com a medição do desempenho as empresas de desenvolvimento justificam não só o preço do componente, como também a posição actual do mercado. A questão inicial é como medir o desempenho de um sistema com tantas métricas possíveis, como por exemplo medir a velocidade de execução, velocidades de transferência, a latência, é necessário estabelecer critérios de medida que permitam quantificar os resultados da comparação de diferentes tipos de sistemas computacionais. Neste sentido é necessário antes de mais compreender o significado de desempenho, que pode definir-se em relação a muitos factores, alguns já referido anteriormente, neste contexto o desempenho é associado ao inverso de tempo de execução de programas, quanto mais rápido um computador executar um dado programa, maior é o seu desempenho. [1] Um computador é composto por vários blocos, cada um afecta o desempenho da máquina, como não há dois computadores iguais, isto porque cada fabricante de computadores cria sempre soluções diferentes, o que interessa é medir o desempenho global de um sistema, assim os componentes fundamentais que podem ser objecto de avaliação, como o processador, em que se pretende minimizar o número de ciclos de relógio por instrução, a memória em que se pretende minimizar o tempo médio de acesso, os periféricos um dos factores mais lento do desempenho, e o compilador, analisa-se principalmente a qualidade do código gerado, em termos de instruções usados e da gestão de recursos, nomeadamente os registos. Com estes factores facilmente poderíamos obter uma fórmula para obter o tempo de execução de um programa de um determinado computador, seria soma do tempo gasto pelo processador sem aceder a memória, mais o tempo gasto nos acessos a memória, incluindo a busca de instruções, mais o tempo gasto pelo processador no acesso aos periféricos. É claro que existe outras abordagens relativamente a esta situação, mais especificas, mas assim chegamos facilmente uma conclusão que quanto menor o valor de acesso de cada uma das partes menor o tempo de execução. A tendência na compra de um computador é olhar para frequência do relógio do processador, maior frequência implica maior desempenho, e muitas das vezes não é totalmente verdade. De modo a compreender estas respostas é necessário compreender duas perguntas essências, dado dois computadores diferentes, como é que se podem comparar e saber qual é o mais rápido? E qual o impacte de cada um dos blocos constituintes do computador? Ou quanto é que se ganha no desempenho global melhorando um especifico bloco? Outra questão que surge é como garantir que a carga (workload, tarefa), a que a máquina é sujeita durante a medição é igual à carga a que o utilizador executa no outro computador? E como garantir que os fabricantes ou vendedores não manipulam os testes no sentido de obter melhores resultados? É necessário realizar um teste ou um conjunto de testes, que, quando executados num específico sistema de computação, dão alguma medida do desempenho de um determinado componente ou de um determinado sistema, na execução de uma determinada tarefa, estes conjuntos de testes é designado como Benchmarks que são na prática programas de avaliação. [2] Actualmente existe quatro organizações responsáveis pelo desenvolvimento de Benchmarks, SPEC, Futuremark, BAPCo e Business HQ. É neste contexto que o relatório se centraliza, aprofundar os tipos de Benchmarks, que programas de avaliação existem actualmente para realizar esses testes, quais são diferenças entre eles, que linguagens de programação utiliza, que plataformas, são aspectos importantes que vão ser desenvolvidos ao longo do deste trabalho.

5|Página Arquitectura de Sistemas Computacionais

6

Desenvolvimento Medidas de desempenho não baseadas no tempo A primeira abordagem de como medir o desempenho, é realizada através de métricas simplistas, medidas de desempenho não baseadas no tempo em que a sua principal característica é sua fácil compreensão nos resultados. A designação MIPS significa Milhões de Instruções por Segundo, considera que processador executa a instrução mais rápida, não tendo em conta as restantes instruções, como existe ciclos de instruções que demoram mais tempo é assim necessário realizar uma média ponderada pela frequência relativa, utiliza normalmente um computador como referência e depende do programa a ser testado.

Outro termo usado MFLOPS (Millions of floating –Point Operations Per Second), tem como objectivo ser mais justo que a métrica MIPS, é útil para avaliar o desempenho de aplicações de cálculo intensivo, contundo continua a depender do programa, uma das questões que se coloca que este ignora os programas não serem constituídos por operações de vírgula flutuante. [3] [4] [5]

De modo obter melhores resultados a solução é definir programas de avaliação normalizados, Benchmarks, permitia assim aos fabricantes poderem testar nos seus computadores, e divulgar através de revistas, internet, workshops, os seus resultados, uma mais-valia também para os utilizador que podiam realizar comparações com outros computadores. A importância de avaliar o desempenho computacional é uma necessidade que surge já a bastante tempo e podemos encontrar versões “pioneiras” de Benchmarks, como por exemplo Whetstone que surgiu 1976 e em 1984 o Dhrystone, são pequenos programas e não aplicações realistas, mas para compreender melhor realizo uma breve abordagem aos tipos de Benchmarks.[6]

Medidas de desempenho baseadas no tempo Um dos aspectos mais importantes e já referida anteriormente, é uma única medida de desempenho mais concreta e mais fiável é o tempo de execução de programas reais, em que se compara o tempo de execução da carga de trabalho, embora o tempo de execução possa ser definida de diferentes modos, a resposta obtida é sempre através do tempo, considerando o tempo total para finalizar uma tarefa, dai a designação de medidas de desempenho baseadas no tempo, no qual podemos encontrar quatro tipos usados nestes princípios.

Tipos de Benchmarks Existe actualmente vários tipos de Benchmarks: • Kernels

6|Página Arquitectura de Sistemas Computacionais

7 São colecções de ciclos internos de alguns programas considerados típicos. Como exemplo, Linkpack, Livermoore loops, em que um dos problemas é os ciclos não serem representativos, e que as aplicações podem não ser dominadas por ciclo • Toy Programs Programas de “brinquedos”, são programas pequenos entre 10 e 100 linhas de código, em que os resultados não são extrapoláveis, como exemplo podemos encontrar o Quick Sort. • Synthetic Benchmarks São programas escritos especificamente para servir de Benchmarks, considerados artificiais, apenas para obter medidas desempenho na qual pretendem reflectir a combinação de operações de uma aplicação, como exemplo já referidos anteriormente encontramos Dhrystone e Whetstone. Um dos problemas é que não existe nenhum programa típico, e são sensíveis a optimizações do compilador, e podem ficar obsoletas derivadas as inovações existente na arquitectura computacional [7] • Real Programas Actualmente o mais adequados para efectuar uma avaliação de desempenho do sistema computacional, em que deve ser medido com aplicações mais usado pelos os utilizadores exemplo os compiladores.

Conjuntos de Benchmarks Após uma fase introdutória sobre o contexto de medidas de desempenho baseadas no tempo, este sub capítulo reflecte um dos objectivos deste relatório compreender o que são benchmarks, a sua importância na avaliação e desempenho em sistemas computacionais. Vamos denotar que já abordei alguns conceitos anteriormente, isto para consolidar a nossa aprendizagem sobre este tema e facilmente interligar novos conceitos. Benchmark é considerado um padrão de medida ou de avaliação, é um programa que realiza um conjunto definido de operações (Workload) e que produz um resultado (métrica), descrevendo o computador testado, que mede a velocidade, ou seja a rapidez com que as tarefas são concluídas ou o débito (numero de workloads completas por unidade de tempo). A execução do mesmo Benchmark em vários computadores distintos permite a sua comparação. Os conjuntos de Benchmarks (Bechmarks Suites) são constituídos por um somatório de programas, que são na sua maioria programas reais, em minoria alguns podem ser Kernels. Estes conjuntos de Benchmarks, utilizam programas reais, que é um somatório de programas que abordam especificamente um componente ou componentes relacionados, por exemplo CPU, parte gráfica, sistema de ficheiros, workstations. A propriedade deste conjunto de programas é que permite realizar comparações entre máquinas com mesma suite, com a capacidades de produzir os mesmos resultados sob as mesmas condições em instantes diferentes, estamos a referir uma das propriedades mais importantes relativamente ao desempenho que é reprodutibilidade, que é na prática uma descrição pormenorizada do teste realizado no computador, que programas foram executados? Em que condições? Isto para obtermos resultados iguais nos testes com as mesmas condições. [1] Podemos muitas vezes reparar em alguma revistas de informática, que apresentam apenas o tempo de execução de um dado programa, mas não referenciam as condições em que esses testes foram realizados. Existe actualmente organizações responsáveis pelo desenvolvimento de Benchmarks, SPEC, Futuremark, BAPCo e Business HQ, mas que tipos de organizações são? São formadas por quem? E que programas elas desenvolvem? Podíamos certamente realizar neste instante inúmeras perguntas sobre este tema, na qual vamos obter a maior parte das respostas, por isso seguidamente apresento uma abordagem histórica que envolve estas organizações como também uma das partes fundamentais deste trabalho, que são os Benchmarks desenvolvidos por estas organizações.

7|Página Arquitectura de Sistemas Computacionais

8

Standard Performance Evaluation Corporation O Sistema de Avaliação de Desempenho Cooperativa (System Performance Evaluation Cooperative), agora designado como Standard Performance Evaluation Corporation (SPEC), foi fundado em 1988 por um pequeno número de vendedores de estação de trabalho que perceberam que o mercado necessitava desesperadamente de testes de desempenho padronizados, isto porque não havia métricas normalizadas e realistas. É uma corporação sem fins lucrativos criada com objectivo de manter e apoiar um conjunto padronizado de parâmetros relevantes que podem ser aplicadas à nova geração de computadores de alto desempenho" Os fundadores desta organização acreditam que a comunidade de utilizadores vai beneficiar muito de uma série de objectivos de aplicações orientadas para testes, que podem servir como pontos de referência comum durante o processo de avaliação. Embora um Benchmark não possa caracterizar plenamente o desempenho geral do sistema, os resultados de uma variedade de referenciais realistas pode dar informações valiosas sobre o desempenho esperado real. SPEC cresceu e se tornou um dos órgãos mais bem sucedidos de desempenho de padronização com mais de 60 empresas associadas e publica actualmente várias centenas de resultados de desempenho diferentes a cada trimestre abrangendo uma variedade de sistemas, sendo financiada pelos seus membros: e empresas de topo mundial.

O objectivo da SPEC é assegurar que o mercado seja justo e fiável e que utilize métricas para diferenciar os diferentes sistemas computacionais, este caminho exige de facto um cumprimento rigoroso e permite assim que os vendedores demonstrem suas vantagens relativamente a outros, com diferenciações justas no 8|Página Arquitectura de Sistemas Computacionais

9 mercado. A metodologia da SPEC é baseada em aplicações reais, aplicado em computadores de alta performance, não sendo muito utilizado pelo o utilizador comum, estas aplicações são distribuídas em opensource com base em aplicativos já existentes utilizado numa variedade de plataformas. Actualmente SPEC é formado por vários grupos cada um com seus próprios conjuntos de referência, normas e estruturas:  Open Systems Group (OSG) OSG é a comissão SPEC original foca-se em sistemas desktop, estações de trabalho, servidores, implementados em plataformas com sistema operativo diversificados (UNIX / Linux, Windows ou Mac OS X) Este é o grupo responsável pelas métricas processador SPECint2006 e SPECfp2006 (e seus antecessores, em 2000, 1995, 1992 e SPECmarks original de 1989). [9] [10] [11] 

High Performance Group (HPG) SPEC High-Performance Group (HPG) desenvolve Benchmarks com as principais características: - Baseado em aplicações reais de computação científica e em técnica de programação de aplicativos (APIs), OpenMP e MPI( Message - Passing Interface); - Suporte a memória compartilhada; - Pode avaliar computadores de memória compartilhados, memória distribuída de computadores e workstation clusters tradicionais, bem como computadores com processador; - Optimização de códigos.



Graphics and Workstation Performance Group (GWPC) É considerado como organização guarda-chuva, para grupos que desenvolvem projectos consistentes a nível de reprodução de gráficos e avaliação desempenho de estações de trabalho. Benchmarks GWPG são padrões mundiais para avaliar o desempenho de uma forma que reflecte as experiências do utilizador através das aplicações mais comuns. Este grupo associou-se ao SPEC em 1996 e criaram um nome, na área dos testes de baseada em performance gráfica. SPECapc- Application Performance Characterization Group dedica-se exclusivamente a criacção de Benchmarks para programas que utilizam intensivamente a parte gráfica, Um programa bastante conhecido por nós nesta área é o 3D Studio Max SPECmedia- Mulitmédia Benchmark Committe Group desenvolve Benchmarks em áreas diversas como MPEG-2, reconhecimento de voz, som, 3D(vertente entretimento) e paginas Web que usam java. SPECCopc- OpenGL Performance Characterization Group, como o nome indica dedica-se ao desenvolvimento de desempenho de aplicações usando programas de aplicações OpenGL, exemplo mais recente Viewperf.

9|Página Arquitectura de Sistemas Computacionais

10

Visão geral de Benchmarks da SPEC De modo obter uma visão geral dos Benchmarks da Organização Standard Performance Evaluation Corporation, apresento uma lista dividida por onze áreas, onde são desenvolvidos Benchmarks, cada um, com requisitos específicos e determinados de acordo com o seu objectivo. 1. CPU 2. Graphics and Workstation Performance 3. High Performance Computing, OpenMP, MPI 4. Java Client/Server 5. Mail Servers 6. Network File System 7. Power 8. SIP 9. SOA 10. Virtualização 11. Web Servers

CPU Objectivo: Obter uma medida comparativa de desempenho de computação intensiva na maior variedade possível de hardware. 1. 2. 3. 4. 5.

SPEC CPU2006 SPEC CPUV6 SPEC CPU2000 [Retirado] SPEC CPU95 [Retirado] SPEC CPU92 [Retirado]

Graphics and Workstation Performance Objectivo: SPECviewperf mede a performance de rendering 3D de sistemas em plataformas OpenGL, enquanto SPECapc (Application Performance Characterization Group) foca-se na performance gráfica baseando-se em aplicações de software. 1. 2. 3. 4. 5. 6. 7. 8. 9.

SPECVIEWPERF® 10 SPECAPCSM FOR 3DS MAX™ 9 SPECAPCSM FOR LIGHTWAVE 3D® 9.6 SPECAPCSM FOR MAYA ® 2009 SPECAPCSM FOR MAYA ® 6.5 SPECAPCSM FOR PRO/ENGINEER™ WILDFIRE 2.0 SPECAPCSM FOR SOLID E DGE V19™ SPECAPCSM FOR SOLIDWORKS 2007™ SPECAPCSM FOR UGS NX 4

10 | P á g i n a Arquitectura de Sistemas Computacionais

11 High Performance Computing, OpenMP, MPI Objectivo: Medir a melhor performance do computador. 1. 2. 3. 4.

SPEC MPI2007 SPEC OMP2001 SPEC HPC2002 [Retirado] SPEC HPC96 [Retirado]

Java Client/Server Objectivo: Aplicações para medir a performance de servidores baseados na plataforma Java. 1. 2. 3. 4. 5. 6. 7. 8.

SPECJAPPSERVER2004 SPECJAPPSERVER2002 [Retirado] SPECJAPPSERVER2001 [Retirado] SPECJBB2005 SPECJBB2000 [Retirado] SPECJMS2007 SPECJVM2008 SPEC JVM98 [Retirado]

Mail Servers Objectivo: Medir a capacidade de um sistema para funcionar como servidor de e-mail. 1. SPECMAIL2009 2. SPECMAIL2008 3. SPECMAIL2001 [Retirado] Network File System Objectivo: Medir a capacidade de um sistema para funcionar como um servidor ficheiros. 1. 2. 3. 4.

SPECSFS2008 SPEC SFS97_R1 (3.0) [Retirado] SPEC SFS97 (2.0) [Retirado] SPEC SFS93 (LADDIS) [Retirado]

Power Objectivo: Avaliar o consumo e performance de servidores de grande volume, relativamente ao consumo de energia. SPECPOWER_SSJ2008 SIP Objectivo : Avaliar servidores que utilizam SIP (Session Initiation Protocol). SPECSIP SOA 11 | P á g i n a Arquitectura de Sistemas Computacionais

12 Objectivo: Medição do desempenho típico para o middleware (programa de computador que faz a mediação entre outros softwares), base de dados e implementações de hardware de aplicações baseadas na arquitectura orientada a serviços (Service Oriented Architecture)

Virtualização A comissão SPEC está actualmente a desenvolver uma nova indústria de referência padrão para avaliar o desempenho de virtualização para servidores de data center (centros de informação), denota-se um interesse crescente nesta área particularmente na consolidação de servidores, isto ajuda as empresas a reduzir custos e economizar energia e facilitar a gestão de infra-estruturas. Para analisar o desempenho de sistemas de virtualização, é necessário um Benchmark que abrange maior partes deste sistemas que ainda são vários desde servidores de e-mail, servidores Base de Dados, que tenha a capacidade de avaliar ou medir os níveis de carga exercidos. Web Servers Objectivo: Desempenho dos servidores da World Wide Web. 1. 2. 3. 4. 5.

SPECWEB2009 SPECWEB2005 SPECWEB99 [Retirado] SPECWEB99SPECWEB99_SSL [Retirado] SPECWEB96 [Retirado]

Visão específica de Benchmarks da SPEC SPEC CPU2006 É a próxima geração de padrões industrializados, O Benchmark SPEC CPU2006 é projectado para fornecer uma medida comparativa de desempenho de computação intensiva na maior variedade possível de hardware utilizando cargas de trabalho desenvolvido a partir de aplicações reais utilizador. A versão actual do pacote de benchmark é versão 1.1, lançada em Junho de 2008 destinado para melhorar a compatibilidade, estabilidade, documentação (Melhorias no relatório) e facilidade de uso. Este Benchmark tem sido considerado por muitos o padrão mundial para medir a performance de computação intensiva desde 1989. Benchmark SPEC CPU2006 incide sobre desempenho de computação intensiva, o que significa que os parâmetros para avaliar o desempenho são: - O processador do computador (CPU), - A memória - Os compiladores. É constituído por dois conjuntos de benchmarks: CINT2006 (INT significa Integer, de inteiros) com objectivo de medir e comparar operações computacionais com inteiros e CFP2006 (FP significa Floating Point, de virgulas flutuantes) em que medições e comparações é através de operações computacionais com vírgulas flutuantes. As principais diferenças é que uma que mede a performance em débito e outra que mede a performance em velocidade. Os Benchmarks CINT2006 e CFP2006 são baseados em aplicativos de computação intensiva fornecidos com o seguinte código fonte. CINT2006 contém 12 Benchmarks: - 9 Utilizam linguagem C; 12 | P á g i n a Arquitectura de Sistemas Computacionais

13 -

3 Utilizam linguagem C++ Benchmark

Linguagem Programação

400.perlbench 401.bzip2 403.gcc 429.mcf 445.gobmk 456.hmmer 458.sjeng 462.libquantum 464.h264ref 471.omnetpp 473.astar 483.xalancbmk

C C C C C C C C C C++ C++ C++

Área de Aplicação PERL Programming Language Compression C Compiler Combinatorial Optimization Artificial Intelligence Search Gene Sequence Artificial Intelligence: chess Physics: Quantum Computing Video Compression Discrete Event Simulation Path-finding Algorithms XML Processing

CFP200 possui.17 Benchmarks: - 4 Utilizam C++; - 3 Utilizam C; - 6 Linguagem Fortran; - 4 Uma mistura de linguagem C com linguagem Fortran. Benchmark Linguagem Área de Aplicação Programação 410.bwaves 416.gamess 433.milc 434.zeusmp 435.gromacs 436.cactusADM 437.leslie3d 444.namd 447.dealII 450.soplex 453.povray 454.calculix 459.GemsFDTD 465.tonto 470.lbm 481.wrf 482.sphinx3

Fortran Fortran C Fortran C/Fortran C/Fortran Fortran C++ C++ C++ C++ C/Fortran Fortran Fortran C C/Fortran C

Fluid Dynamics Quantum Chemistry Physics: Quantum Chromodynamics Physics/CFD Biochemistry/Molecular Physics/General Relativity Fluid Dynamics Biology/Molecular Dynamics Finite Element Analysis Linear Programming, Optimization Image Ray-tracing Structural Mechanics Computational Electromagnetics Quantum Chemistry Fluid Dynamics Weather Prediction Speech recognition 13 | P á g i n a

Arquitectura de Sistemas Computacionais

14 Os números são uma referência para distinguir dos restantes programas, podemos encontrar casos em que nomes são iguais, mas que derivado a actualização só altera o número, por exemplo, 176.gcc vs 403.gcc.

Melhorias no SPEC CPU2006 V1.1 incluem: Melhor portabilidade- Actualizações foram feitas para 12 pontos de referência para melhorar a portabilidade de plataformas novas e existentes. Mais rápido de instalar em sistemas de grande porte - a instalação paralela e outros novos recursos tornam a configuração muito mais rápido em multi-core, multithread sistemas, quanto maior o sistema, maior será a melhoria. Ferramentas – Maior flexibilidade no trabalho de desenvolvimento. Facilidade de uso – Esclarecimentos, adições exemplos actualizados, melhorias na formatação e legibilidade tornar mais fácil correr benchmarks e compreender os resultados; novos recursos tornam mais fáceis de executar em plataformas Windows. O preço actual do Benchmark SPEC CPU2006, versão completa é de $800 aproximadamente 538.euros,o upgrade da versão tem um custo de 269 euros aproximadamente, para organizações educacionais custa 134 euros.

SPECviewperf 10

SPECviewperf é um programa escrito em C, que tem a capacidade de ser compilado ou executado em diferentes arquitecturas. Ele foi desenvolvido pela IBM. As actualizações e contribuições significativas foram feitas pela SGI, Digital (Compaq, HP), 3Dlabs (Creative Labs) e outros membros do grupo SPEC. 14 | P á g i n a Arquitectura de Sistemas Computacionais

15 SPECviewperf apresenta-se bastante flexível na avaliação e desempenho em aplicações OpenGL. Actualmente, o programa é executado na maioria dos sistemas operativos como UNIX, Windows XP, Windows Vista, Windows 2000 e Linux. É considerado pelo SPEC como a primeira referência para aplicações OpenGl. O objetivo do SPECviewperf é ser um bom indicador de desempenho gráfico para aplicações do mundo real, pode ser aplicado também sistemas multi-core fornecendo uma medida de desempenho gráfico do subsistema e seu impacto sobre o sistema completo, sem a sobrecarga de uma aplicação completa, Além dos recursos encontrados em versões anteriores, agora oferece a capacidade de comparar o desempenho dos sistemas de execução em modos gráficos de alta qualidade que a plena utilização antiscene-aliasing, medindo a eficácia dos gráficos. OpenGL fornece tradicionalmente duas principais abordagens para processamento de dados geométricos modo imediato e modo lista, a principal diferença é que no resultado final as listas são mais eficazes nas implementações de OpenGL. Apresentado melhor qualidade de imagem.

SPECapcSM for 3ds Max 9 Tem como objectivo obter medidas de desempenho baseado na carga de trabalho executadas por um utilizador comum, inclui funções como a modelagem wireframe (Objecto em 3D), shading, texturas, iluminação, mistura, cinemática inversa, de criação e manipulação de objectos, edição, criação de cena, detecção de partículas, animação e processamento. O benchmark é executado em ambas implementações de OpenGL e DirectX de 3ds Max 9, testando todos os componentes inseridos no jogo quando a o aplicativo é executado. Os testes executados com SPECapc 3ds Max 9, abrange amplitudes, desde das formas mais primitivas ate as mais complexas, utilizando múltiplas repetições para testar os limites da placa gráfica, os resultados são diferenciados tanto para o processador como para placa gráfica.

SPECapcSM for Lightwave 3D® 9.6 É um software de avaliação de desempenho para sistemas com plataformas Newtek Lightwave 3D v9.6 software. LightWave, tem como principais funções as modelagens, Renderização animação, efeitos visuais para televisão, filmes, jogos, visualização, impressão e web. SPECapc de LightWave 3D v9.6 está disponível actualmente para Microsoft Windows XP e Windows Vista 32 e 64-bits.

SPECapcSM for Maya® 2009 SPECapc Maya ® 2009 foi desenvolvida em estreita colaboração com a Autodesk, o primeiro fornecedor independente de software que se juntou ao grupo de projecto SPECapc. Está disponível actualmente para Microsoft Windows XP e Windows Vista 32 e 64-bit. Devido às alterações de carga de trabalho, os resultados de SPECapc para Maya 2009 não podem ser comparados com os de anteriores benchmarks SPECapc Maya

SPECapcSM for Maya® 6.5 Benchmark SPECapcSM Maya® 6.5 concebido para melhorar o desempenho OpenGL, através da troca glArrayElement para glDrawElements, em que uma das principais características adicionais neste benchmark é o tempo de execução das tarefas em tempo menores, denotando-se alteração nos gráficos. 15 | P á g i n a Arquitectura de Sistemas Computacionais

16

SPECapcSM for Pro/ENGINEER™ Wildfire 2.0 Utiliza complexos modelos como um carro de corrida em código máquina para exercer em todas as áreas do desempenho do sistema em aplicações como por exemplo, Computer-Aided Design (CAD- desenho assistido por computador), em aplicações como software Catia que possui ferramentas de desenho, análise e simulação. Os testes de desempenho podem ser executados em plataformas de 64-bit. Os utilizadores têm que ter um dispositivo de visualização de gráficos 3D reconhecido pela Pro Enginneer de modo a que Benchmarks possa ser executado.

SPECapcSM for Solid Edge V19™ SPECapc for Solid Edge V19 é uma versão do Benchmark actualizada, A secção de CPU do benchmark foi alterada para executar um comandos no processador.O Benchmark mede três áreas de performance: - Gráficos - Ficheiros de entrada e saída - CPU.

SPECapcSM for SolidWorks 2007 Este Benchmark foi desenvolvido pela SolidWorks, através do software Visual Basic com base na linguagem C, pode ser executado em plataformas Windows XP 32 e 64-bit. O benchmark utiliza diferentes tamanhos de modelos sólidos, dos quais o maior é um modelo de motor com 3,13 milhões de vértices. Oito testes são incluídos no Benchmarks: operações de input e de output, operações intensivas ao nível do CPU, seis testes gráficos. diferentes. Um único número é derivado de uma média geométrica ponderada da pontuação de todos os oito testes.

16 | P á g i n a Arquitectura de Sistemas Computacionais

17

SPECapcSM for UGS NX 4 SPECapc para UGS NX 4 resultou da colaboração entre a indústria UGS, e SPECapc. As operações testadas pelo Benchmark SPECapc para UGS NX 4 incluem peças de carga, operações booleanas em sólidos, rotações e zooms, frente e atrás, de cortes. e modos de borda diferentes. Os registros de resultados de benchmark para gráficos são o CPU e operações input e ouput do disco, bem como um número composto para o desempenho total do sistema

SPEC MPI2007 SPEC MPI2007 é um BenchmarK suite de avaliação que utiliza MPI (Message Passing Interface, padrão para comunicação de dados em computação paralela), com objectivo de medir performance de aplicações computacionais intensivas, com ênfase à performance dos seguintes componentes:  Tipo de processador (CPU);  Número de CPUs;  Livraria MPI  Comunicação entre dispositivos;  Arquitectura da memória;  Compiladores;  Sistema de ficheiros partilhados SPECMPI2007 não depende apenas do processador. De referenciar que este benchmark não se propõe a “stressar” certos componentes do sistema computacional tais como o SO, GPU ou o sistema de E/S.

SPEC OMP SPEC OMP (OpenMP Benchmark Suite) é o primeiro benchmark suite da SPEC para avaliar a performance de aplicações baseadas em OpenMP (API que suporta multi-plataformas, memoria partilhada, programação em C /C++ e Fortran, incluído também plataformas Unix e Windows NT). A versão actual é 3.2 equivalente a versão 3.1, apenas apresenta alterações nos termos das condições das licenças.

17 | P á g i n a Arquitectura de Sistemas Computacionais

18

SPECjAppServer2004 SPECjAppServer2004 (Java Application Server) é um benchmark multi-camadas para medir a performance de aplicações baseadas na tecnologia J2EE (Java 2 Enterprise Edition) com base em plataformas de aplicações em servidores. É uma aplicação ponto-a-ponto que utiliza tecnologias J2EE implementadas nos servidores:     

Web, incluindo servlets e JSPs EJB (java beans) JSM (Java Message Service) e Message Driven Beans Gestão de transacções Ligação a base de dados

Todas as partes da infra-estrutura base que compõe o ambiente das aplicações, incluindo o hardware, software de Base de Dados, software JVM (Java Virtual Machine), drivers JDBC e o sistema de rede são executadas pelo Benchmarks.

SPECjbb2005 O SPECjbb2005 (Java Server Benchmark) avalia a performance Java do lado do servidor, através emulação de sistema cliente/servidor de três camadas, com ênfase à camada intermédia. O Benchmark executa implementações na JVM, compilador JIT (Just-in-time), garbage collector, threads e alguns aspectos do Sistema Operativo., não esquecendo performance de CPUs, caches, hierarquia de memória e a escalabilidade de processadores de memória partilhada (SMPs). As melhorias existentes denotam através de uma nova e melhorada carga de trabalho (workload), implementada de uma forma mais orientada ao objecto e disponibiliza também funções de processamento de XML e computações “BigDecimal” que fazem deste benchmark uma melhor e mais real reflexão das aplicações actuais. Relativamente aos resultados do SPECjAppServer2004 em comparação com os resultados SPECjbb2005, os resultados não podem ser comparados. A métrica utilizada pelo Benchmark SPECjbb2005 são SPECjbb2005 bops (business operations per second), obtido pela média total das transacções.

SPECjms2007 SPECjms2007 é a primeira indústria-padrão para avaliar o desempenho de performance de servidores middleware “message-oriented” baseados em JMS (Java Message Service). Ele fornece uma carga de trabalho padrão e métricas de desempenho para comparação de produtos competitivos, bem como um quadro de análise aprofundada do desempenho de mensagens empresariais plataformas. SPECjms2007 mede o desempenho final de todos os componentes que compõem o ambiente do aplicativo, incluindo hardware, JMS, JVM, software de base de dados. O Benchmark fornece duas métricas, SPECjms2007@ horizontal para a topologia horizontal e SPECjms2007@ vertical para a topologia vertical.

18 | P á g i n a Arquitectura de Sistemas Computacionais

19 O cenário escolhido para a aplicação SPECjms2007 é um modelo de cadeia de fornecimento de um mercado. Os participantes envolvidos é a empresa, as lojas, centros de distribuição e seus distribuidores. O cenário foi definido com base em requisitos. Ele oferece uma excelente base para definir as interacções das funcionalidades dedicadas pelos Servidores JMS, por exemplo, diferentes tipos de mensagens, bem como os P2P e sub de comunicação. O cenário também oferece uma maneira natural para dimensionar o volume de trabalho, por exemplo, ampliação do número de mercados (horizontal) ou pelo dimensionamento da quantidade de produtos vendidos Supermercado (Vertical).

SPECjvm2008 SPECjvm2008 (Java Virtual Machine Benchmark) é um benchmark Suite para medir o desempenho de Java em Runtime Environment (JRE), contem diversas aplicações na vida real e focando-se em funcionalidades Java. A suite incide sobre o desempenho do JRE executar uma única aplicação, que reflecte o desempenho do processador do hardware e do subsistema de memória, sem dependência de ficheiros Input / Output e não inclui uma rede de Input/ Output. A carga de trabalho SPECjvm2008 imita uma variedade de aplicativos comuns, cálculos de gerais. Essas características reflectem a intenção de que este critério será aplicado para medir o desempenho com base em Java em uma ampla variedade sistemas, clientes e servidores. Benchmark PECjvm2008 destaca a importância de aplicações da vida real (como o derby, sunflow e javac) e áreas como XML, serialização, criptografia e scimark. Também mede o desempenho do sistema operacional e hardware no contexto da execução o JRE. A métrica de desempenho para SPECjvm2008 é em operações por minuto (ops / m).

SPECmail2009 O Benchmark SPECmail2009 mede a capacidade das empresas em enviar e-mails numa rede área local (LAN). O benchmark SPECmail2009 simula cargas de trabalho no servidor de e-mail que variam entre 250 a 10.000 ou mais utilizadores, utilizando protocolos padrão SMTP e IMAP4. Este servidor de e-mail cria cargas de trabalho nos clientes com base em uma empresa de 40.000 utilizadores, utilizando estruturas de 19 | P á g i n a Arquitectura de Sistemas Computacionais

20 mensagem MIME(Multipurpose Internet Mail Extensions, norma da internet para o formato das mensagens de correio electrónico) que incluem tanto documentos de escritório tradicional (Office) como uma variedade de conteúdo de média. O Benchmark também adiciona suporte para conexões de rede encriptada usando SSL, o padrão da indústria v3.0 e tecnologia TLS versão 1.0. SPECmail2009 substitui todas as versões do SPECmail2008, lançado em Agosto de 2008. Os resultados dos dois Benchmarks não são confrontáveis. Com recém lançamento do SPECmail2009, e com a retirada o mercado do Benchmark SPECmail2008, SPEC parou de aceitar os resultados do SPECmail2008 desde do dia 12 de Junho de 2009. SPECmail2009 é diferente SPECmail2008, desde ao suporte de conexões seguras de TCP, actualizações de e-mail, de volumes de tráfego, desde ao nível de estruturas de armazenamento de mensagens que reflectem um servidor de e-mail muito maior do que a amostra de 2003 (40.000 em vez de 2.700). As mudanças no tamanho e estruturas MIME como conteúdo reflectem as opções mais ricas com modernos meios de comunicação de clientes de e-mail IMAP. Esta versão consideravelmente mais leve em que foi removido limite artificial de 100 geradores de carga total impostas pela SPECmail2008. Finalmente, as políticas de segurança moderna de rede ditarem conexões criptógrafas em rede TCP e adiciona suporte para SSL e TLS.

SPECmail2008 SPECmail2008 é um benchmark retirado desde Junho de 2009, que simulas cargas de trabalho em servidores e-mail com uma base de utilizadores na ordem dos 250 a 5000, para medir a capacidade de um de um servidor de e-mail baseado nos protocolos SMTP e IMAP4.

SPECmail2001 SPECmail2001 é um benchmark retirado do mercado, que mede a capacidade de um sistema ao actuar como servidor de e-mail utilizando protocolos SMTP e POP3. É caracterizado pelo débito e tempo de resposta do servidor de e-mail com ligações de rede, armazenamento de disco e cargas de trabalho do lado do cliente. O SPECmail2001 destaca os servidores mail de ISPs (Internet Service Provider) como uma base de utilizadores na ordem dos 10.000 a 1.000.000 de utilizadores, comparando os diferentes servidores de email.

SPECsfs2008 A suite Benchmark SPECsfs 2008 é a versão mais recente da Standard Performance Evaluation Corporation de medição de transferência de ficheiros a pedidos do servidor, mede o tempo de resposta, proporcionando um método padronizado para comparar o desempenho entre plataformas de diferentes vendedores. Resultados SPECsfs2008 resumem as capacidades do servidor no que diz respeito ao número de operações que podem ser manipulados por segundo, bem como a latência total das operações. Esta suíte baseia-se no benchmark SFS97_R1, adicionado carga de trabalho CIFS(Common Internet File System, utilizado no Microsoft Windows), e actualizações em NFSv3(Network File System versão 3) com suporte adicional a plataformas de clientes adicional, e um novo equipamento de teste de elaboração de relatórios. Esta Benchmark apresenta as seguintes características:

20 | P á g i n a Arquitectura de Sistemas Computacionais

21 

    

Carga de trabalho actualizado NFSv3, com baseado em dados actualizados e colectados por membros da comissão SFS (Comité Europeu de Normalização) de milhares de servidores reais de NFS. Adições de carga de trabalho de uso geral em servidores de ficheiros CIFS, também desenvolvido com base em dados agrupados a partir de milhares de servidores reais CIFS. Remoção de suporte para NFSv2 e suporte para o protocolo de transporte UDP (User Datagram Protocol) Suporte para clientes Windows e MacOS; clientes são agora suportadas em AIX, FreeBSD, Linux, MacOSX, Solaris10, e Windows. Documentação mais organizada. Melhorias significativas para tratamento de erros.

Exemplos de Resultados baseado em cargas de trabalho CIFS Tested By Product Name Apple Inc. Fujitsu Siemens Computers

Results Throughput ORT

3.0 GHz 8- 13092 Core Xserve PRIMERGY 3825 NX650

System Configuration Protocol Memory Disks Exported Network Network (GB) Capacity Ports Type

1.19

CIFS

20

49

13.4 TB

4

4.70

CIFS

4.5

412

1.2 TB

2

Gigabit Ethernet Gigabit Ethernet

SPECpower_ssj2008 SPEC lançou uma nova versão do PTDaemon, desde o dia 9 de Maio de 2009, mas apenas está disponível para todos os clientes que tem na sua posse licença de SPECpower_ssj2008 e SPECweb2009. A versão actualizada é 1.3.9 apresenta suporte para o analisador de potência Yokogawa (Fabricante industrial) WT500 e actualizações implementadas para o analisador de potência Chroma 66202, outro factor importante, são as alterações adicionais para ajudar a evitar problemas de configuração.de alimentação dos analisadores.

Exemplo do modelo WT500

Exemplo do Modelo Chroma 66202

21 | P á g i n a Arquitectura de Sistemas Computacionais

22

SPECpower_ssj2008 é o primeiro benchmark da SPEC que avalia o consumo e performance de servidores de grande volume. Este benchmark foi criado devido ao crescente interesse e preocupação crescente demonstrado pela indústria de tecnologias, fabricantes de computadores e governos no que diz respeito ao consumo de energia dos servidores. Actualmente muitos fabricantes reportam números de eficiência energética, contudo estes números muitas das vezes não são directamente comparáveis devido às diferentes cargas de trabalho, configurações, ambientes de teste, etc. O desenvolvimento deste benchmark disponibiliza uma forma de medir o consumo de energia directamente na fonte, juntamente com uma métrica de performance. Isto vai ajudar os directores de companhias de tecnologias a considerar as características do consumo de energia assim como a selecção de outros critérios de forma a aumentar a eficiência de centros de informação. O benchmark inicial trata apenas uma variável da carga de trabalho de servidores: a performance Java dos mesmos. São testados os CPUs, caches, hierarquia de memória e a escalabilidade de processadores SMP assim como as implementações de JVM, JIT compiler, garbage collection, threads e alguns aspectos do Sistema Operativo.

SIP

SPEC SIP Comissão está a desenvolver uma nova indústria de referência um Benchmark padrão para avaliar servidores usando Session Initiation Protocol (SIP). O interesse em SIP tem crescido ao longo dos últimos anos, com uso de plataformas Voip. As aplicações baseadas SIP incluem mensagens instantâneas, presença, videoconferência e IPTV (exemplo Meo). Os profissionais de TI consideram SIP como infraestruturas que beneficiarão com a disponibilidade de um benchmark padrão da SPEC para comparar as soluções no lado do servidor SIP. O objectivo da subcomissão SIP SPEC é criar Benchmarks para servidores na área de comunicações multimédia sobre IP que usam o IETF Session Initiation Protocol (SIP). Este Benchmarks permitirá realizar uma análise justa e precisa de avaliação de desempenho de plataformas de fornecedores de acesso a internet (ISP). Todos os SPEC benchmarks SIP terão cargas realistas derivadas de perfis e padrões de medidas.

SOA A Standard Performance Evaluation Corporation (SPEC) formou um novo grupo de trabalho para desenvolver métodos padrão de medição de desempenho típico para o middleware, base de dados e aplicações baseadas na arquitectura orientada a serviços (SOA). Actuais membros SPEC e empresas como IBM, Oracle e VMware estão empenhados em desenvolver um novo padrão de medição SOA

Virtualização Ainda em desenvolvimento os objectivos deste benchmark é moldar servidores virtualizados, como por exemplo, servidores web, servidores e-mail, servidores de Base de Dados de forma disponibilizar uma forma de comparar justamente a performance de servidores, enquanto este são executados em máquinas virtuais. Isto inclui um benchmark que tenha a capacidade de abranger uma larga gama de sistemas, com suporte a 22 | P á g i n a Arquitectura de Sistemas Computacionais

23 hardware de virtualização, virtualização de SO’s e esquemas de particionamento de hardware para cenário de consolidação de servidores.

SPECweb2009 Novo benchmark SPECweb2009 adiciona capacidade de medir o consumo de energia dos servidores Web. A Standard Performance Evaluation Corporation (SPEC) lançou SPECweb2009, um novo software que adiciona a capacidade de medir o consumo de energia, considerado como padrão mundial para Web de avaliação de desempenho do servidor. A SPEC na projecção e desenvolvimento do benchmark incluem empresas como AMD, Fujitsu, HP, IBM, Intel e Sun Microsystems. SPECweb2009 substitui assim SPECweb2005, em que os resultados não são comparáveis, derivado a inclusão de energia, contundo mantêm os três tipos de cargas de trabalho, Serviços Bancários, Comércio electrónico, e suporte. (SPECweb2009_Power SPECweb2009_Ecommerce). As alterações encontradas no SPECweb2009 sobre SPECweb2005 são essencialmente a adição da carga de energia e à inclusão de metodologias de medição de energia. As cargas de trabalho no SPECweb2009 têm como principais componentes, a constituição de um servidor Web protegido, com inclusão de desempenho em LANs, capacidade de processamento, largura de banda, armazenamento e utilização de energia. O benchmark é capaz de medir as solicitações e respostas com base de protocolos SSL (Secure Sockets Layer, protocolos criptográficos), medindo também o desempenho do servidor Web. Divulgações SPECweb2009 são regidas por um extenso conjunto de regras de execução para garantir a igualdade nos resultados. Qualquer software de servidor Web que suporta HTTP.1.1 e SSL pode ser testado pelo utilizador, contundo o Kit do Benchmark SPECweb2009 não providencia qualquer software para realizar esses mesmos testes. Dependendo das cargas o objectivo é medir o numero de máximo de sessões de utilizadores em simultâneo que o servidor Web consegue suportar enquanto ocorra débitos. Os resultados SPECweb2005 só são aceites até o dia 1 de Junho de 2010, após esse tempo resultados só serão aceites pelo o Benchmark SPECweb2009. SPECweb2009 O CD-ROM contém:  Código fonte e classes para o cliente em java.  Código fonte e classes para o gerador de arquivo (Wafgen)  Código fonte e classes para o simulador de backend (Besim)  Código fonte (e classes, se for o caso) para as implementações de conteúdo dinâmico  Documentação (inclusive este documento)  Executável para a temperatura Power Daemon  Apache-tomcat-6.0.18, fcgi-2.4.0, jcommon-1.0.15, jfreechart-1.0.12 e Smarty-2.6.22

SPECweb2005 O SPECweb2005 avalia performances de servidores Web, como por exemplo:  Sessões simultâneas  Conteúdos dinâmicos: PhP e JSP.  Imagens requisitadas por HTTP paralelas  Workloads: Banking (HTTPS), E-commerce (HTTP e HTTPS) e suporte (HTTP) 23 | P á g i n a Arquitectura de Sistemas Computacionais

24 

Simulação de efeitos de caching de browsers através de solicitações If-Modified-Since

Relação de Custo entre os diferentes tipos de Benchmarks Para organizações sem fins lucrativos e instituições de ensino credenciadas, estes beneficiam de preços acessíveis. As Suites SPEC benchmark são fornecidos com uma licença que permite que o titular da licença instalar e executar o software em vários sistemas dentro da sua organização não é necessário adquirir várias licenças múltiplas. Cada Benchmark é acompanhado com um Kit especificado, de acordo com a compra. Como podemos verificar na imagem seguinte, encontramos Benchmarks que atingem valores de $2000 (Dollars), aproximadamente 1345.09 EUR, em que instituições de ensino são de facto beneficiadas.

24 | P á g i n a Arquitectura de Sistemas Computacionais

25

Fonte : http://www.spec.org/order.html

Futuremark Futuremark é uma empresa fundada em 1997, que tem a sua sede situada em Finlândia na cidade de Escopo, tem como filiais, escritórios de vendas em Silicon Valley, nos Estados unidos e em China, como também parcerias de vendas e de distribuição em vários países. O modelo de negócios consiste nas seguintes unidades: -FuturmarK Games Studio Futuremark Games Studio, que está actualmente a desenvolver o seu primeiro jogo multiplayer-firstperson com titulo “Shattered Horizon”. -Produtos para PC e Serviços Tem como referência PCMark e 3DMark e serviços relacionados com esta linha de produção. -Sistemas Moveis embebidos Esta unidade realiza desenvolvimentos Benchmarks de gráficos 3D para os seus fabricantes de chip, telefones celulares e outros fabricantes de dispositivos portáteis e operadoras de redes sem fios. [13]

25 | P á g i n a Arquitectura de Sistemas Computacionais

26

Futuremark tem vindo a criar demos inovadores de tecnologia para clientes da indústria de prestígio em mercados de PC e portáteis. Possui actualmente talentosos artistas 3D, animadores e técnicos têm vindo a produzir compelindo próxima geração de jogos 3D e conteúdo feito sob medida para mostrar as mais recentes tecnologias, tais como multi-threading, multi-core, novos núcleos gráficos adaptador, em tempo real, gráficos 3D totalmente jogáveis e jogos concebidos para stressar os componentes do sistema. Um dos pontos fundamentais da empresa é o desenvolvido uma série de competências essenciais no processo de criação de Benchmarks que aproveitam muito bem sob a forma de dados on-line, projectos de pesquisa, serviços de análise e de desempenho baseado na web como também portais corporativos. Apresentam também soluções para realizar avaliações de hardware relativamente ao desempenho do sistema, para medir a capacidade de jogar jogos ou a execução de determinados softwares. Futuremark se apresenta também com parcerias com grupos influentes da indústria:

A Khronos Group foi fundado em janeiro de 2000 por uma série de empresas de comunicação social da central, incluindo 3Dlabs, ATI, Discreto, Evans & Sutherland, Intel, Nvidia, SGI e Sun Microsystems e a Symbian, empresa que desenvolve sistema operativo padrão - Symbian OS. Actualmente Programa de Desenvolvimento Benchmark (BDP) é uma forma da Futuremark obter parcerias com os fabricantes de hardware e de tecnologia, de modo obter Benchmarks de alta qualidade.

Visão Geral de Benchmarks da Futuremark De modo obter uma visão geral dos Benchmarks, que Futuremark desenvolveu, para obter maior ênfase, apresento uma lista com recurso a imagens obtidas através da Web site da Futuremark. É preciso relembrar que existe versões actuais como consequência de seguimento de versões anteriores.

26 | P á g i n a Arquitectura de Sistemas Computacionais

27

Benchmarks para Dispositivos Móveis

27 | P á g i n a Arquitectura de Sistemas Computacionais

28

28 | P á g i n a Arquitectura de Sistemas Computacionais

29 Benchmarks On-Line

Visão Especifica de Benchmarks da Futuremark Não desprezando versões anteriores vou apenas focar-me nas versões mais recentes, 3DMark Vantage, novo Benchmark para industria de jogos de PC, 3DMark®Mobile ES 2.0 que testa desempenho de gráficos 3D no equipamento móvel, o Benchmark Peacekeeper é um serviço gratuito que permite facilmente descobrir qual o Browser que funciona melhor no PC.

3DMark Vantage 3DMark Vantage é um benchmark Suite projectado para testar o desempenho DirectX10 da placa gráfica que utiliza a mais recente tecnologia 3D. A pontuação obtida do 3DMark é uma medida global das capacidades do sistema de jogo 3D, e do processador. Com Benchmark 3DMark Vantage podemos comparar pontuação com outros sistemas, tornando-se mais fácil determinar quais são as actualizações mais eficazes de modo optimizar sistema. O 3DMark Vantage foi implementado e desenvolvido em linguagem C++. Este é bastante utilizado pela indústria de PC, utilizadores individuais e pelos programadores de desenvolvimentos de jogos, para comparar níveis de desempenho entre os sistemas de forma global ou específicos. O que significa 3DMark? São um conjunto de programas da Futuremark Corporation destinados a determinar o desempenho DirectX das placas gráficas. A gama completa de produtos 3DMark é 3DMark99, 3Dmark99 MAX, 3DMark2000, 3DMark2001, 3DMark2001 SE, 3DMark03, 3DMark05, 3DMark06 e 3DMark Vantage. A cada nova edição do 3DMark utiliza a mais recente em tecnologia 3D para obter as medições de desempenho dos sistemas.

3DMark®Mobile ES 2.0 O 3DMark®Mobile ES(OpenGL for Embedded Systems) 2.0 é um OpenGL benchmark que testa desempenho de gráficos 3D de equipamento móveis do futuro 3D. 29 | P á g i n a Arquitectura de Sistemas Computacionais

30 Além do conteúdo do jogo, 3DMarkMobile ES 2,0 inclui testes para medir como por exemplo o desempenho de processamento das sombras (shadow), e as mudanças de estado. Os Testes de filtragem de textura para ver a qualidade visual também estão incluídos no produto. 3DMarkMobile ES 2.0 permite a medição de desempenho neutro e comparação entre diferentes soluções para OpenGL ES 2.0. O 3DMarkMobile ES 2,0 é pretendido para uso em hardware de desenvolvimento para auxiliar no desenvolvimento de produtos, e de avaliação para os media de hardware. 3DMarkMobile ES 2.0 está disponível através de licenças de código-fonte apenas para membros Principais características  É um Benchmark para avaliar Hardware OpenGL ES 2.0 a 3D  Realizar cargas de trabalho para stressar o hardware, através de jogos 3D exigentes  Inclui dois testes de jogo de alto detalhe, e apresentam vários testes para medir diversas características do hardware. Exemplo de comparação entre dois jogos através do 3DMark®Mobile

Jogo Teste 1: Taiji Girl  40 Segundos de duração  Aprox. 50K polígonos visíveis por frame por média  Três diferentes shaders fragmento utilizado para a menina  O mapeamento de sombras utilizado (OpenGL ES 2,0 profundidade de textura suportados)  Um ponto de luz utilizada  Métricas FPS (Frames por segundo) Jogo Teste 2: Hoverjet Racer  45 Segundos de duração  Aprox. 100K polígonos visíveis por frame em média  Sombras pré processadas  Uma luz direccional  Métricas FPS

Benchmark Peacekeeper Peacekeeper é um serviço gratuito que permite rapidamente descobrir qual o Browser que funciona melhor no PC. É ferramenta on-line que através do browser, consegue avaliar a performance do browser. 30 | P á g i n a Arquitectura de Sistemas Computacionais

31 O nome "Peacekeeper" é inspirado no conceito bem estabelecido de "guerra dos navegadores". O facto é que a concorrência entre os navegadores nunca foi tão disputada como agora. Os cinco grandes são: Internet Explorer, Firefox, Safari, Chrome e Opera, No final do teste o browser recebe uma pontuação que indica o seu desempenho global, sendo bastantes simples de comparar as pontuações. As medidas de desempenho são baseadas no browser, testando a sua funcionalidade JavaScript, que são medidos por são medidos em operações de frames por segundo.

Exemplo dos resultados finais testado no meu sistema computacional

31 | P á g i n a Arquitectura de Sistemas Computacionais

32

Exemplo dos resultados efectuados por outros utilizadores

Benchmarks BAPCo A Business Applications Performance Corporation (BAPco) é um consórcio sem fins lucrativos de várias empresas (AMD, Atheros Communications, ATI Technologies, ARCintuition, CNET, Computer Shopper, Dell, Hewlett-Packard, Intel, Microsoft, NVIDIA, Seagate, Toshiba, Transmeta, VNU Business Publications Limited (UK), ZDNet e Ziff Davis Media). BAPCo foi fundada para promover a criação de Benchmarks.para diversos sistemas operativos.

SYSmark ® 2007 SYSmark ® 2007 Preview é a versão mais recente do SYSmark esta em fase desenvolvimento para plataformas 32 bit e 64bit, Windows Vista ,XP e Home. É baseado em aplicações reais e mede e compara o desempenho do computador em Windows Vista e Windows Xp.

32 | P á g i n a Arquitectura de Sistemas Computacionais

33 É constituído pelas as seguintes aplicações: o Adobe® After Effects® 7 o Adobe® Illustrator® CS2 o Adobe® Photoshop® CS2 o AutoDesk® 3ds Max® 8 o Macromedia® Flash 8 o Microsoft® Excel 2003 o Microsoft® Outlook 2003 o Microsoft® PowerPoint 2003 o Microsoft® Word 2003 o Microsoft® Project 2003 o Microsoft® Windows Media™ Encoder 9 series o Sony® Vegas 7 o SketchUp 5 o WinZip® 10.0

A nova versão também inclui vários novos recursos e melhorias, como uma interface melhorada permitindo iniciar e executar, juntamente com um heads-up display (HUD) e relatórios de erros automatizada. SYSmark 2007 Preview é uma aplicação que reflecte os padrões de uso dos utilizadores de negócios nas áreas de criação de vídeo, e-learning, 3D e modelagem de produtividade do escritório. Existe versões anteriores como SYSmark® 2004 SE DUAL Pack e SYSmark® Generations, a nova versão tem um preço base de $399.95, em comparação com versões anteriores o SYSmark® Generations, apresenta valores superiores, aproximadamente 749 Dollars.

MobileMark® 2007 A MobileMark ® 2007 é a mais recente versão baseado em aplicações do mundo real, para plataformas 32 e 64-bit do Windows Vista, Windows XP Professional e Home. Este estende-se no grupo MobileMark, que tem sido amplamente aceito pelos Gerentes de TI, PC OEMs, imprensa e analistas de todo o mundo. A nova versão também inclui vários novos recursos e melhorias, como uma interface melhorado permitindo iniciar e executar, juntamente com um heads-up display (HUD) e relatórios de erros automatizados. Reconhecendo a crescente diversidade na utilização de computação portátil, MobileMark 2007 apresenta DVD, Wireless e módulos Constituintes dos Módulos:  DVD  Wireless browsing  Reader  Core Productivity module

33 | P á g i n a Arquitectura de Sistemas Computacionais

34 As aplicações que apresenta são:         

Adobe ® AcrobatReader 7.0 Adobe® Illustrator® CS2 Adobe® Photoshop® CS2 Apple® Quicktime 7.1 Intervideo® WinDVD® 8 Macromedia® Flash 8 Microsoft® Office® 2003 Pro Microsoft® Project 2003 Winzip® 10.0

Cada módulo inclui um conjunto robusto e actualizados de aplicações e pode ser executado individualmente para mostrar a vida da bateria em uma maior variedade de cenários específicos. Baseia-se em seus antecessores, utilizando uma ampla equipa de desenvolvimento na história do benchmark PC.

Benchmark HQ Benchmark HQ foi fundada desde 1999, apresenta uma gama de benchmarks bastante variada, sendo a maior parte deles Freewares, e também Shareware onde se pode encontrar em http://benchmarkhq.ru/. Maior parte dos programas disponíveis parece ser bastantes simples, mas ao mesmo tempo bastantes úteis, como por exemplo Atomic CPU Test, que avalia a performance do CPU, cahe e memória, BMQ que realiza testes de performance ao CPU, memoria e gráficos dos sistemas para Poket PC.

34 | P á g i n a Arquitectura de Sistemas Computacionais

35

Conclusão Ao realizar um processo de compra de um equipamento baseado no custo e beneficio torna- se necessário garantir que equipamentos devemos comprar, como tal é sempre necessário realizar uma analise segundo o seu desempenho. Esta tarefa é sem dúvida a mais complicada, especialmente tendo em conta a variedade de plataformas de hardware software. O desempenho é uma característica fundamental na escolha do equipamento, sendo a melhor opção optar por uma postura neutra principalmente para as principais marcas e produtos, aconselhando-se assim a utilização de medidas de desempenho de acordo com as necessidades, uma das formas é a identificação de medidas que permite superar os requisitos mínimos de desempenho. Após este processo de análise e com estudo efectuado ao longo deste relatório podemos chegar a conclusão que existe muito ferramentas que nos ajudam a tomar a decisão correcta na escolha de um equipamento em que se poderia obter performance ideal, isto só seria possível com os benchmarks. Apesar de a maioria não estar ao alcance de todos os utilizadores, isto por questões monetárias, e porque foca-se essencialmente mais para empresas, podíamos optar sempre por pequenos programas e gratuitos que nos ajudam a tomar a decisão, contundo a fiabilidade e a probabilidade de erro poderá ser maior, logo é necessário compreender em que contexto o benchmarks deverá ser utilizado, e quais são os requisitos para ser executado, penso que isso foi muito bem conseguido ao longo deste trabalho, a descrição geral da maior parte dos benchmarks actuais, ao contrário de uma abordagem mais especifica, já não foi tão bem conseguido isto porque realmente são muitos os benchmarks que podemos encontrar o que tornou mais difícil realizar uma abordagem mais aprofundada. Contundo o tema deste trabalho é bastante apelativo e que poderá ser abordado futuramente em outras áreas, como também como referencia para estudo mais promenorizado.

35 | P á g i n a Arquitectura de Sistemas Computacionais

36

Glossário DirectX- É uma colecção de APIs que tratam de tarefas relacionadas com a programação de jogos para o sistema operativo Microsoft Windows, ou seja, é quem realiza a comunicação entre software e hardware. Com a padronização de comunicação, o DirectX fornece instruções para que aplicações (jogos, programas gráficos, que são escritos para fins de sua utilização), e para que o hardware, utilize os seus recursos. O DirectX foi inicialmente distribuído pelos criadores de jogos junto com seus produtos, que depois foi incluído no Windows, a ultima versão é DirectX 11.0 (lançado no Service Pack 2 para Windows Vista e para Windows 7). Não haverá mais revisões do DirectX, pelo menos não com o mesmo nome, segundo as empresas ATI, nVidia e Microsoft. No lugar do DirectX, será lançada uma nova geração de APIs gráficas, Windows Graphics Foudation e Avalon. É previsto que sejam lançados com o Windows Vista. Frames por segundo (fps)- é a unidade de medida da cadência de um dispositivo audiovisual qualquer, como uma câmara de cinema ou vídeo, uma webcam, um projector cinematográfico etc. Significa o número de quadros que o dispositivo regista, e que processa ou que exibe por unidade de tempo. HUD, sigla para Head Up Display, é um instrumento inicialmente desenvolvido para utilização em aeronaves visando a fornecer informações visuais ao piloto sem que este tenha que desviar os olhos do alvo à frente da aeronave. OpenGL ES- (OpenGL for Embedded Systems) é uma subsecção da API (Aplication Programming Interface) da biblioteca de gráficos tridimensionais projectada para sistemas embebidos como telefones celulares, PDAs e consoles de jogos, este é mantido pelo Khronos Group. Shader- Instruções de software usados nos processadores gráficos para renderizar efeitos. Geometry shader- Combina uma série de vértices em objectos que serão processados pelos pixel shaders. Pixel shader- O pixel shader executa rotinas programáveis actuando no nível de pixel assim sendo, depois que a imagem foi completamente modelada pelo sistema (CPU e GPU) e teve seus polígonos “ajustados” pelo vertex shader, o pixel shader entra em acção analisando os materiais dos objectos modelados e as condições de iluminação, e dando um toque final realçando cores onde for necessário, adicionando reflexos onde eles existirem e criando qualquer efeito que o programador quiser com muito mais realismo do que as técnicas mais simples de texturização e iluminação tradicionais. Texture mapping unit- (TMU, unidade de mapeamento de textura) — Unidade que rotacional e que redimensiona uma imagem bitmap e a aplica em uma superfície ou objeto 3D Vertex shader - Manipula vértices e consequentemente o formato de objectos. Esses vértices são então enviados para os geometry shader

36 | P á g i n a Arquitectura de Sistemas Computacionais

37

Referências [1]Neves, P. A. (2009). Arquitectura de Sistemas Computacionais. Obtido em 13 de 10 de 2009, de Ambiente Formativo IPCB: https://elearning.est.ipcb.pt/C/est/BV/3465/aula_3.pdf [2]Wikipédia. (10 de 12 de 2008). Benchmark. Obtido em 13 de 10 de 2009, de Wikipédia: http://en.wikipedia.org/wiki/Benchmark_%28computing%29 [3]University, P. (2001 ). MFLOPS. Obtido em 14 de 10 de 2009, de Webster's Online Dictionary: http://www.websters-dictionary-online.org/definition/MFLOPS [4]GNU-FDL, M. d. (s.d.). Arquitetura de Computadores. Obtido em 14 de 10 de 2009, de Escola Politécnica da Universidade de São Paulo: http://www.poliparatodos.poli.usp.br/modulos/17/paginas/html4/ARQDES04.pdf [5]Lau, N. (06 de 02 de 2004). Arquitectura de Computadores II . Obtido em 14 de 10 de 2009, de Instituto de Engenharia Electrónica e Telemática de Aveiro: http://www.ieeta.pt/~lau/ACII0304/docs/acII0304_0206.pps [6]Wichmann, H. J. (Ed.). (1976). Whetstone. Obtido em 14 de 10 de 2009, de Roy Longbottom's PC Benchmark Collection: http://www.roylongbottom.org.uk/whetstone.pdf [7]the Distributed Computing. (10 de 09 de 2006). The Whetstone Benchmark. Obtido em 14 de 10 de 2009, de the Distributed Computing: http://www.cse.scitech.ac.uk/disco/Benchmarks/whetstone.shtml [8]Ida, C. O. (11 de 05 de 2000). Benchmarks. Obtido em 14 de 10 de 2009, de Instituto de Informática Universidade Federal do Rio Grande do Sul: http://www.inf.ufrgs.br/gppd/disc/cmp134/trabs/T1/001/benchmarks/Benchmarks_p2.htm [9]Standard Performance Evaluation Corporation. (06 de 05 de 2008). SPEC Organizational Information. Obtido em 14 de 10 de 2009, de Standard Performance Evaluation Corporation: http://www.spec.org/spec/ [10]Standard Performance Evaluation Corporation. (09 de 09 de 2009). Open Systems Group . Obtido em 15 de 10 de 2009, de Standard Performance Evaluation Corporation: http://www.spec.org/osg/ [11]Standard Performance Evaluation Corporation. (09 de 09 de 2009). SPEC Frequently Asked Questions .Obtido em 15 de 10 de 2009, de Standard Performance Evaluation Corporation: http://www.spec.org/spec/faq/ [12]Manssour, I. H. (11 de 2006). Animação por Computador. Obtido em 2009 de 10 de 16, de Mobile Robotics Laboratory: http://paloma.isr.uc.pt/~jaugusto/code/OpenGL_Tests/ogl_Demos/opengl/animacao.pdf [13]Futuremark (18 de 10 de 2009). About Us. Obtido em 18 de 10 de 2009, de futuremark: http://www.futuremark.com/companyinfo/aboutus/

37 | P á g i n a Arquitectura de Sistemas Computacionais

38 [14]Wikipédia. (20 de 09 de 2009). Benchmark. Obtido em 18 de 10 de 2009, de Wikipédia: http://pt.wikipedia.org/wiki/Directx [15]BAPCo's (2009). About us. Obtido em 2009 de 10 de 19, de BAPCo's http://www.bapco.com/about/index.php [16]BAPCo's . (2009). About us. Obtido em 2009 de 10 de 19, de BAPCo's : http://www.bapco.com/about/index.php

http://www.pdfcoke.com/doc/21128519/trabBenchmark http://www.pdfcoke.com/doc/21127949/1

38 | P á g i n a Arquitectura de Sistemas Computacionais

39

39 | P á g i n a Arquitectura de Sistemas Computacionais