Trends In It Performance Management

  1 |p a g e    

 

Trends in IT Performance Management 

     

   

           

ITpreneurs

 Trends in IT Performance Management  

 

RESEARCH ON HOW ORGANIZATIONS  ARE MANAGING IT PERFORMANCE

 

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

2 |p a g e    

 

Trends in IT Performance Management 

TABLE OF CONTENTS  Preface ...................................................................................................................................................................................... 3  Executive Summary ................................................................................................................................................................... 4  The relevance of IT performance management is increasing ................................................................................................ 4  But the implementation is still difficult ................................................................................................................................. 4  Acknowledgements ................................................................................................................................................................... 5  Who Participated In The Survey? .............................................................................................................................................. 5  Information Technology Is A Black Box To A Majority Of Executives ........................................................................................ 6  Positive View On IT Performance Management But Mixed Feelings On Implementation ........................................................ 6  Cost Control, Compliance, and Value Delivery Are The Main Drivers For Managing IT Performance ....................................... 7  How to Define IT Performance Management ............................................................................................................................ 8  Establishing Progress Toward Achieving Goals IS The Primary Objective For Managing IT Performance ................................. 8  Knowing What To Measure Is The Biggest Obstacle To EffectIve IT Performance Management .............................................. 9  Having a Formalized Process framework is the biggest Success Factor for effective IT performance management .............. 10  Organizations predominantly use ITIL ................................................................................................................................. 11  Having the proper resources in place .................................................................................................................................. 11  What Determines Maturity? ................................................................................................................................................... 12  Company size ....................................................................................................................................................................... 12  Industry ............................................................................................................................................................................... 13  Corporate culture ................................................................................................................................................................ 13  Maturity Self‐Assessment ........................................................................................................................................................ 13  IT managers and consultants are in agreement .................................................................................................................. 13  IT security has the highest level of maturity of all IT areas, according to IT managers ....................................................... 13  The need to measure IT strategy ......................................................................................................................................... 14  Looking For evidence to validate the self assessment ............................................................................................................. 15  Most organizations are in the process of implementing IT performance management ..................................................... 15  Business accountability of IT initiatives ............................................................................................................................... 15  Separate budget for IT performance management? ........................................................................................................... 16  Employees dedicated to IT performance management ...................................................................................................... 16  No systematic procedure to learn from the past ................................................................................................................ 16  Benchmarking is seen as important but not done consistently ........................................................................................... 17  Best practice frameworks are most popular source for metrics ......................................................................................... 18  Summary findings on maturity ............................................................................................................................................ 18  The High Cost Of Finding Information ..................................................................................................................................... 19  Excel is still the main tool for managing IT performance..................................................................................................... 19  IT Managers see cost as the main shortcoming of IT performance management tools ...................................................... 19  Consultants see data collection and presentation as the main shortcomings of IT performance management tools ........ 20  Toward A Holistic Picture ........................................................................................................................................................ 21  Conclusion ............................................................................................................................................................................... 22  Note On The Authors ............................................................................................................................................................... 23  Note on the research ............................................................................................................................................................... 23  Bibliography............................................................................................................................................................................. 24      © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

3 |p a g e    

 

Trends in IT Performance Management 

 

 

 

PREFACE  During  the  summer  of  2008,  ITpreneurs  interviewed  IT  executives,  senior consultants, and industry experts to capture their insights on the  importance  of  IT  performance  management  in  organizations.  The  research aimed to address the following questions:    ƒ How  relevant  is  IT  performance  management  for  IT  leadership?  ƒ What are the challenges and critical success factors?  ƒ How  mature  are  organizations  in  managing  their  IT  performance and what methods do they use?  ƒ Do  organizations  have  a  clear  picture  of  the  overall  performance of their IT organization?    A total of 99 participants were interviewed, 51 on the phone and 48 via  an online questionnaire.    This  report  describes  and  analyzes  the  information  gathered  from  the  questionnaires and interviews.     

 

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

4 |p a g e    

 

Trends in IT Performance Management 

EXECUTIVE SUMMARY 

For  over  two‐thirds  of  organizations,  IT  is  a  black  box.  Systems are complex and heterogeneous. CIOs don’t manage  to  get  the  right  information  for  decision  making  and  end  up  reacting to crises rather than preventing them.   

The relevance of IT performance management is   increasing 

      Seven recommendations    for effective performance    management      1.Clearly define IT goals and business goals   2.Use frameworks such as ITIL or COBIT for  guidance on implementation of IT  performance management   3.Identify things to measure that are  meaningful for your business  4.Work on IT / business people relationship:  IT people need to communicate in terms  that the business can understand,  business people need to be involved in  and support IT initiatives  5.Attribute the proper resources such as  people and budget  6.Make sure to have the proper mix of tools  that enables to collect and present  effective information for decision‐making  7. Work towards a holistic IT decision  making picture   

 

  Partly  because  of  this,  most  organizations  see  IT  performance  management  positively  as  they  recognize  the  necessity  to  put  in  place  programs  to  better  manage  IT  performance. There has been a definite increase in interest in  this subject over the past three years.     The reasons for instituting IT performance management  in organizations can be summarized by three main drivers:    ƒ Cost  control:  The  IT  budget  is  being  increasingly  scrutinized  and  everything  possible  is  done  to  be  able  to  reduce costs.  ƒ Compliance with regulations: New laws, such as Sarbanes  Oxley  and  Basel  II,  have  been  promulgated  and  are  forcing  organizations to become more transparent.  ƒ Value  demonstration:  As  organizations  are  becoming  more mature, they have come to realize the need for having  an IT organization that is performing well to create value and  stay competitive. 

But the implementation is still difficult    Even  though  IT  performance  management  is  seen  as  relevant, many participants recognize that it is still difficult to  implement  effective  performance  management  in  practice.  One in two IT managers finds the lack of clarity over what to  measure,  as  well  as  the  lack  of  knowledge  on  how  to  implement these programs to be the main challenges.     In  addition,  72%  of  the  interviewees  find  that  having  a  framework  in  place  such  as  COBIT™  or  ITIL®  to  provide  guidance on the implementation is the main success factor.    Moreover,  the  relationship  between  business  and  IT  is  not  always  easy.  IT  people  should  learn  to  speak  more  in  business  terms  while  business  people  should  be  more  involved in IT initiatives and clearly define their needs.    Results  show  that  organizations  are  still  immature  in  terms of managing their IT performance. On a scale from 1 to  5, the majority of organizations are between level 2 and 3.    Finally, only 6% of organizations can say that they have a  holistic  picture  of  the  overall  performance  of  their  IT  organization. The use of manual reporting, such as Microsoft  Excel, is still predominant and a significant amount of time is  spent  on  consolidating  information  and  reports  into  one  view. 

 

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

5 | P a g e       ACKNOWLEDGEMENTS  ITpreneurs wishes to thank:    ƒ The interviewees:    1. Feras Abou Shackra, ITSMF Gulf, UAE  2. Dee Anthony, Gartner, USA,  3. Gary Baker, Deloitte & Touche LLP, Canada  4. Ray Barham, Transcanada, Canada  5. Dennis  Bladergroen,  Green  Leaf  Management  &  Consultancy, Netherlands  6. Andrew  Bream,  General  Dynamics  Information  Technology, USA  7. Frank Buytendijk, Oracle, Netherlands  8. Don Caniglia, Jon Campbell & Associates, USA  9. Yalcin Gerek, TAC, Turkey  10. Peter  Hanselman,  Hanselman  Management  Services,  Netherlands   11. Gary Hardy, IT Winners, South Africa  12. Jimmy Heschl, KPMG, Austria  13. Brian Johnson, CA, USA  14. Arno Kapteyn, Cap Gemini, Netherlands  15. Bart Kerkhofs, HP, Belgium  16. Sampath Kumar, Accenture, India  17. Shirley Lacy, Connectsphere, United Kingdom  18. Leslie Landry, Streamline BPM, Canada  19. Peter Lijnse, Service Management Art, Canada  20. William  Livingston,  General  Dynamics  Information  Technology, USA  21. Eric  Lung,  Hong  Kong  International  Terminal,  Hong  Kong  22. David Mainville, Consulting Portal, USA  23. Julie Mohr, BluePrint Audits, USA  24. Alan Nance, Tata Consultancy, USA  25. Hamid Nouri, NAI, USA  26. Piotr Orłowski, DHL Express, Poland  27. Robert  Payne,  Lode  Star  Strategy  Consulting  cc,  South  Africa  28. Dalibor Petrovic, Deloitte & Touche LLP, USA  29. Bob Pitts, SRA, USA  30. Søren Riis‐Vestergaard, Westergaard CSM, Denmark  31. Joe Rowley, General Dynamics Information Technology,  USA  32. Elka Schrijver, Service Management Art, Canada  33. Chad Smith, Great‐West Life Assurance Co., Canada  34. Jan Sonneveld, Q Monitor, Netherlands  35. Randy A. Steinberg, ITSM Strategies Inc, USA  36. Mark Thomas, Escoute, USA  37. John Thorp, Thorp Network, Canada  38. Mark Toomey, Infonomics, Australia  39. Samuel Trejo, Crystal Intelligence, Mexico  40. Chris van der Weyden, Chisholm Institute, Australia  41. Rube van Poelgeest, Boer & Croon Executive Managers,  Netherlands  42. Jan Verwoerd, ING Real Estate, Netherlands  43. Jan Vromant, Deloitte & Touche LLP, USA  44. Paul Wilkinson, Gamingworks, Netherlands  45. Kenneth Wilson, CA, United Kingdom    Those who wished to remain anonymous.   

  ƒ

And everybody who filled out the online  questionnaire 

ƒ

A special thanks to:  Max  Shanahan,  IT  best  practices  industry  expert,  reviewer of the questionnaires 

 

 

®

ITIL   is  a  registered  trademark  and  a  Registered  Community Trademark of the OGC. 

®

COBIT   is  a  registered  trademark  of  ISACA  and  the  IT  Governance Institute. 

WHO PARTICIPATED IN THE SURVEY?  A total of 99 executives around the world took part in  the  research;  51  people  were  interviewed  on  the  phone  and 48 people filled out an online questionnaire.   

Geographic Distribution Oceania/  Australia 3% Middle East 8%

Europe 35%

North  America 34%

South  America 3% Africa 4% Asia 13%

Figure 1:  Geographic Distribution 

 

  The study population was divided into two main categories:    ‐ CONSULTANTS:  Senior  consultants,  industry  experts,  executives  advising  various  clients  and  trainers  in  the  IT  best  practices  industry  to  have  their  insights  on  industry  trends  and  how  their  clients  are  approaching  IT  performance  management.  ‐ IT  MANAGERS:  CIOs,  senior  IT  managers  and  IT  executives working in one particular organization  to  capture  their  perspectives  on  how  IT  performance  management  is  implemented  in  their company.      From now on, the terms consultants and IT managers  are  employed  in  this  report  when  distinguishing  between  the two populations.                 

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

6 | P a g e       INFORMATION TECHNOLOGY IS A BLACK BOX TO A  MAJORITY OF EXECUTIVES  Abstruse, technical, obscure, complex, mysterious,  unintelligible…These are words used from time to time to  describe Information Technology in organizations. The  following statement from Information Week confirms:      “For too many organizations IT is a black box. Projects  and systems are so complex that few CIOs can predict a  direct impact on the business, making it hard to win budget  and resources even in prosperous times.         “And when the CIO can't get a clear picture of the   real‐time data that underlies critical applications,  infrastructure, and projects, IT too often ends up reacting to  issues after users and customers are having problems.”   (Information Week March 2008)    Participants  largely  agree  with  this  statement  —  65%  of  the  participants  agree  outright  while  a  further  15%  agrees to some extent (Cf. Figure 2). 

Is IT still a black box? Disagree 16% Agree to  some  extent 15%

Not clear 4%

Agree 65%

Figure 2:  Is IT still a black box? 

 

  One of the reasons for IT being so poorly understood    by  organizations  is  the  increasing  number  of  heterogeneous systems and applications running on top of  each  other.  Christian  F.  Nissen,  president  of  CFN  People  explains:   “The  complexity  [of  IT]  is  growing  because  of  interfaces  between  applications,  integrated  system  management tools etc. ‐ and often without value adding to  the business.”    In addition, part of the problem is that IT and business  have  difficulty  communicating,  making  it  hard  for  both  organizations to understand each other’s requirements and  constraints. Jan Verwoerd, Director of Global Services, ING  Real  Estate,  explains:  “It  is  not  always  easy  for  IT  to  get  a  clear insight of what the business requires, what they need.  At the same time the business sometimes makes decisions  on  technology  while  they  are  not  aware  of  possible  consequences.  Business  IT  alignment  is  still  not  well  organized.  The  business  selects  tools  instead  of  identifying  the functionality they need.”    In  response  to  that  situation,  CIOs  seem  “to  take  decisions  mostly  out  of  emotion  and  respond  to  crises  at  the  last  moment,”  as  observed  by  Randy  Steinberg,  President, ITSM Strategies Inc.   

Managing IT performance is believed to be one way to  address  an  organization’s  lack  of  the  information  to  take  effective  decisions.  The  following  section  elaborates  on  that  idea  and  describes  how  organizations  consider  IT  performance management. 

POSITIVE VIEW ON IT PERFORMANCE MANAGEMENT BUT  MIXED FEELINGS ON IMPLEMENTATION  In order to find out the attitudes of organizations toward IT  performance  management,  participants  were  asked  to  what  extent  they  agreed  with  a  list  of  ambitions  and  desirable  results  one  could  expect  by  implementing  IT  performance management programs in organizations.    As shown in Figure 3, respondents largely agreed with  these statements but with the caveat that IT performance  management  be  done  correctly.  Indeed,  in  practice,  IT  performance  management,  if  not  done  properly,  can  be  ineffective.  For  example,  Sudarshan  Wodeyar,  Program  Manager  of  IT  Governance,  SAI  Global,  explains:       “IT Performance will improve [cost effectiveness of IT for  the  business]  only  if  IT  controls  are  part  of  the  'design'  phase.  Otherwise  it  has  the  opposite  effect  on  performance.”    Many  participants  highlight  the  difference  between  what  one  could  expect  from  managing  IT  performance  in  organizations  and  what  is  actually  happening  in  reality.  Jenny  Dugmore,  Director,  Service  Matters,  explains:       “It  is  not  always  the  most  useful  things  that  people  measure  ‐  sometimes  it  is  just  what  can  be  measured  or  what can be measured easily, so the principle is great, the  practice less so.” 

IT Performance Management  is seen positively Is an enabler for vendor  management Is a necessity for generating  business value Improves cost effectiveness of  IT for the business Helps demonstrate that IT is  under control Helps to ensure that IT  addresses business goals Helps getting the right  information for decision making 0% 20% 40% 60% 80% 100%

Disagree

Neutral

Agree

Figure 3: Attitudes toward IT performance management    Overall, the statement that got the highest score is “IT  helps to get the right information for decision making.”      © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

 

7 | P a g e       Interestingly,  IT  managers  have  a  more  moderate  response to the statement, “IT is a necessity for generating  business  value”,  (67%  agreeing  versus  78%  among  consultants (Cf. Figure 4).     On  the  other  hand,  IT  managers  are  somewhat  more  inclined  to  agree  that  IT  performance  management  “improves  cost  effectiveness  of  IT  for  the  business”  (85%  against 76% for consultants).    This  may  reflect  some  skepticism  on  the  part  of  IT  managers who experience first‐hand what the impact of IT  activities are on their business.  Arno  Kapteyn,  Managing  Consultant,  Capgemini,  explains  that  “IT  performance  management  is  not  a  necessity  for  generating  business  value  but  only  to  demonstrate that IT generates value to the business.”     This seems to suggest that sometimes, the business is  not  convinced  in  the  first  place  that  IT  actually  generates  value but primarily sees IT as a cost factor.   

% of IT managers and consultants  agreeing with the statements Is an enabler for vendor  management Helps to get the right  information for decision making Helps demonstrate that IT is  under control Is a necessity for generating  business value Improves cost effectiveness of  IT for the business Helps to ensure that IT  addresses business goals 60% 65% 70% 75% 80% 85% 90%

Consultants

IT Managers

  Figure 4: Attitudes toward IT performance management  Comparison IT managers vs. consultants       In  conclusion,  IT  performance  management  is  generally  seen  positively  by  organizations  that  recognize  the value of having in place a well‐defined IT performance  management program. However, the general feeling is that  IT  performance  management  doesn’t  always  give  the  expected  results  and  that  actual  implementation  is  not  always as effective as one could anticipate. 

COST CONTROL, COMPLIANCE, AND VALUE DELIVERY ARE  THE MAIN DRIVERS FOR MANAGING IT PERFORMANCE   Now,  let’s  identify  the  drivers  for  putting  in  place  IT  performance  management  programs.  Consultants  were  asked  about  the  trends  they  see  in  the  industry  for  IT  performance  management.  In  99%  of  the  cases,  participants see a strong increase in interest, and some see  an  actual  increase  of  the  relevance  of  IT  performance  management.    Three key drivers of this trend can be identified:    Cost Control: The IT budget is being increasingly scrutinized  and everything is done to be able to reduce costs. There is  a  strong  belief  that  by  measuring  their  IT  performance,  IT  organizations will be able to better control their budget by  determining  the  precise  cost  of  the  different  components  of IT and identifying where IT overspends and where costs  can  be  reduced.  The  business  is  also  demanding  more  justification from IT for IT spending.    Also,  IT  performance  management  allows  organizations  to  measure  and  manage  the  performance  and  cost  of  their  service  providers  because  organizations  are  increasingly  outsourcing  part  of  their  IT  to  external  organizations.    Compliance:  Many  consultants  also  attribute  this  increase  in interest in IT performance management to the stringent  regulations  and  laws  that  have  been  promulgated,  for  example,  Sarbanes  Oxley  and  Basel  II.  As  IT  performance  management supports the transparency of information and  helps organizations manage their IT governance better, it is  believed to facilitate compliance with these regulations.     Cultural  change  and  value  demonstration:  Because  of  increasingly  fierce  global  competition  and  the  need  to  become the best at what they do, organizations have come  to realize the importance of IT in their daily operations and  the value they can gain by having IT organizations that are  performing well.    In  addition,  the  scope  of  what  is  being  measured  seems to change, moving toward metrics that are relevant  for  the  business  and  away  from  technical  and  granular  measurement.     However,  even  though  the  interest  in  performance  management  has  been  increasing  over  the  past  three  years,  consultants  do  not  see  definite  signs  yet  of  organizations putting in place comprehensive performance  management programs.      

 

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

8 | P a g e       HOW TO DEFINE IT PERFORMANCE MANAGEMENT  Because  people  don’t  always  mean  the  same  thing  while  talking  about  IT  performance  management,  let’s  briefly  define  the  term,  starting  by  looking  at  the  meaning  of  performance management.    Performance  management  is  closely  related  to  performance  measurement.  They  are  sometimes  mistaken  for each other. In careful usage, performance management  is  the  larger  domain  and  includes  performance  measurement  as  a  component.  Performance  measurement  is  the  process  of  assessing  progress  toward  achieving predetermined goals. Performance management  builds on that process, adding the relevant communication  and  action  on  the  progress  achieved  against  these  predetermined goals.    In  this  research,  IT  performance  management  is  defined  as  the  “combination  of  management  methodologies,  metrics,  and  IT  (applications,  tools  and  infrastructure)  that  enables  users  to  define,  monitor,  and  optimize results and outcomes to personal or departmental  objectives  while  enabling  alignment  with  strategic  objectives  across  multiple  organizational  levels  (personal,  process,  group,  departmental,  corporate  or  business  ecosystem)” (Gartner, 2006).     In  general,  interviewees  agreed  with  that  definition  even though some found it somehow too broad, finding in  practice  “very  little  linkage  to  strategic  alignment  goals”  (David Mainville, President, Consulting Portal).    Mark Toomey, Managing Director of Infonomics and a  leading  advisor  on  corporate  governance  of  IT,  identifies  three  levels  of  IT  performance  management:    ‐ Primary level: Achieving the business goals  ‐ Secondary level: Critical elements for achieving these  business goals successfully  ‐ Tertiary  level:  Technical  and  detailed  indicators  for  basic “health check”    Toomey  explains  that  most  metrics  defined  by  IT  people  belong  to  the  secondary  and  tertiary  levels  while  the  primary  level  of  measurement  is  rarely  addressed  because  it  is  more  abstract  and  difficult  to  define  metrics  that directly measure the achievement of business goals. 

ESTABLISHING PROGRESS TOWARD ACHIEVING GOALS IS  THE PRIMARY OBJECTIVE FOR MANAGING IT  PERFORMANCE  “Performance  management  starts  with  having  clear  objectives  in  the  first  place  and  then  it  is  about  the  monitoring  of  these  objectives  and  how  they  are  being  met.”  Gary  Hardy,  IT  consultant,  and  major  contributor  to  the  COBIT  initiative,  speaks  for  many  –  71%  of  the  consultants  interviewed  name  the  establishment  of  progress toward achieving goals as a primary objective for  instituting  IT  performance  management.  It  sounds  simple  enough,  almost  too  simple.  And  that  is  indeed  the  case.  Hardy  goes  on  to  say,  “One  of  the  problems  is  that  those  objectives  aren’t  clear  in  the  first  place.  The  customer  should  be defining them. But often that  doesn’t happen in  the  world  of  IT.  IT  people  make  assumptions  on  what  the  customer  wants.  And  they  tend  to  do  it  in  a  way  that  is  technically oriented rather than business oriented. That can  make it even worse.”       Establishing  progress  toward  achieving  goals  is  a  strategic objective that makes perfect sense and is easy to  agree  upon  in  theory.  But,  it  is  clearly  a  difficult  one  to  achieve  in  practice,  given  the  large  scope  of  IT  goals  and  the fact that they are not always clearly defined. Half of IT  managers  also  name  it  a  primary  objective,  but  a  larger  proportion  of  them  (67%)  opt  for  the  somewhat  more  practical  and  modest  goal  of  “identifying  internal  improvement opportunities.”     On  meeting  SLAs,  the  spread  between  consultants  (71%)  and  IT  managers  (45%)  is  26  points,  reflecting  the  fact that IT managers tend to have other priorities such as  improving  processes,  monitoring  the  progress  toward  objectives,  or  demonstrating  value  to  increase  management  support.  On  the  other  hand,  consultants  are  more  inclined  to  choose  meeting  SLAs  as  a  primary  objective because they are often directly involved in these  agreements.    Overall,  there  is  agreement  on  the  objectives  of  IT  performance  management  provided  in  the  list  shown  in  Figure  5,  and  the  most  important  objectives  are:    ‐ Establish progress toward achieving goals.  ‐ Meet Service Level Agreement (SLAs).  ‐ Identify internal improvement opportunities.      

 

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

9 | P a g e       first,  “lack  of  clarity  over  what  to  measure.”  Indeed,  if  IT  and  business  people  don’t  have  the  right  dialog,  it  is  difficult  for  the  IT  organization  to  figure  out  what  the  business needs in terms of measurement.  Establish the progress toward achieving goals  This finding is confirmed by a McKinsey article, “What  IT leaders do”, which states, ”Executives routinely accuse IT  Meeting Service Level Agreements  of  managing  projects  poorly  or  of  failing  to  translate  business  needs  into  IT  solutions.  IT,  for  its  part,  often  Identify internal improvement opportunities  blames  business  for  a  lack  of  involvement  and  quality  input”, (McKinsey & Company, 2005).  Helps making informed decisions about new services    Few  things  are  more  interesting  than  hearing  Increase top management support  interviewees  analyze  where  exactly  the  communication  is  breaking down. Is the fault on the side of IT?  Be compliant with internal or external regulations    David  Mainville,  President,  Consulting  Portal,  an  IT  Increase internal and external credibility  process  improvement  consulting  organization,  argues  the  case:  “IT  people  will  generate  metrics  based  on  what  they  Improve communication with users  believe  the  right  metrics  are.  They  don’t  even  talk  about  what they do in business terms so how would they go about   Compare performance with past year performance  defining  measurements  in  terms  that  the  business  would  understand?”  Compare own IT services with best performers in the market      On  the  other  hand,  Bob  Pitts,  Director  ITSM  Center,  SRA  International  Inc,  sees  the  fault  on  both  sides  and  0% 20% 40% 60% 80% illustrates  the  issue:  “The  fault  is  on  both  sides.  The  IT  people are told by business management to measure their  performance. Then IT and the business sit down at the table  Primary Objectives IT Managers to  figure  out  how  to  accomplish  the  measurement.  So  the  Primary Objectives Consultants networking guys will say: “Great, we know how to measure    our network performance so we’ll tell you that it’s up to ‘n’  Figure 5: Objectives of IT performance management  digits  for  availability.”  It’s  the  same  for  the  other  ‘silos’  of  technology – Database, Servers etc. IT people will say “Ask  me  these  particular  questions  because  I  know  how  to  KNOWING WHAT TO MEASURE IS THE BIGGEST OBSTACLE  answer them. “ But ultimately they should be looking at the  TO EFFECTIVE IT PERFORMANCE MANAGEMENT  link between all of those components and how they actually  work  together  to  help  the  business  do  its  job.  That  link  is  broken.” Such situations leave the business wondering why  The  biggest  obstacles  for  implementing  successful  IT  its  earnest  efforts  to  implement  IT  performance  performance management are:   management don’t pay off.         The challenge of aligning business with IT is clearly top  ‐ Lack of clarity over what to measure (54%)  of  mind  for  consultants  because  they  tend  to  be  ‐ Business  and  IT  do  not  have  the  right  dialogue  to  confronted  with  those  issues  more  directly,  while  IT  agree on what needs to be achieved (49%)  managers  are  confronted  with  the  practical  aspect  of  ‐ Lack of knowledge and understanding (39%)  implementing  IT  performance  management  which  makes    them choose more concrete obstacles.  Fifty‐four  percent  of  all  respondents  chose  lack  of    clarity  over  what  to  measure  as  an  obstacle,  making  this  This  can  be  seen  in  the  following  divergence.  While  the  most  frequently  mentioned  obstacle  to  the  successful  dialogue  between  business  and  IT  is  the  top  obstacle  adoption of IT performance management.    chosen  by  consultants  (over  60%  of  them),  only  30%  of  IT  “We  collect  a  lot  of  data  on  systems  and  most  of  the  managers  actually  see  this  as  a  major  obstacle  and  are  time  we  don’t  do  much  with  it  or  don’t  know  what  to  do  clearly not as aware or bothered by their disconnect from  with  it  until  someone  asks,”  says  Julie  Mohr,  Principal  business.  Instead,  48%  of  IT  managers  choose  lack  of  Research  Analyst  and  Author  at  BlueprintAudits.com,  a  knowledge  and  understanding  and  36%  choose  lack  of  best  practice  consulting  organization.  This  observation  is  expertise  to  execute  as  their  second  and  third  biggest  typical  of  many  participants  –  organizations  tend  to  obstacles. Clearly, consultants will keep playing a large role  measure  an  abundance  of  data,  not  being  able  to  in  implementing  IT  performance  management,  given  the  distinguish  what  the  meaningful  information  is  for  IT  wide  range  of  software,  framework  solutions,  and  metrics  decision making.   that a company needs to assess for usage.      49% of all participants say that business and IT do not  have  the  right  dialogue  to  discuss  what  needs  to  be  achieved.  This  obstacle  is  one  of  the  root  causes  of  the 

Objectives of IT Performance  Management

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

10 | P a g e       Now  that  the  obstacles  for  putting  in  place  IT  performance  management  have  been  identified,  let’s  look  at the success factors. 

Obstacles For Putting In Place Effective  IT Performance Management 0%

10%

20%

30%

40%

50%

60%

HAVING A FORMALIZED PROCESS FRAMEWORK IS THE  BIGGEST SUCCESS FACTOR FOR EFFECTIVE IT  PERFORMANCE MANAGEMENT 

70%

Lack of clarity over what to measure  Business and IT do not have the right dialogue to discuss and  agree what needs to be achieved  

What  will  make  IT  performance  management  succeed  in  organizations?  According  to  72%  of  all  respondents,  the  most  critical  success  factor  is  having  a  formalized  process  framework,  such  as  ITIL  or  COBIT.  Cleary,  this  is  seen  as  a  major  contributor  to  overcome  the  previously  highlighted  obstacle of knowing what exactly to measure. Pitts puts it  concisely, “The framework gives you the guidance on what  should be measured.” 

Lack of knowledge and understanding 

Lack of expertise to execute  

Lack of support from IT departments   

  The business does not see the value of such a program  

Success factors For effective IT performance  management

Not budgeted   Having a formalized process framework / methodology (e.g. COBIT, ITIL)  Not a priority  

Having the proper resources in place (budget, people, infrastructure)  Having support from the business 

IT performance measurement is too complicated to implement   Proper guidance on the implementation  Lack of information on existing solutions  Having a useful software application to convey performance measures  Having an industry standard for metrics (common language) 

IT Performance measurement doesn’t seem to be a solution for  our IT‐related problems  

Having knowledge of how our peers are performing   

Company is too small   

Consultant

0%

20%

30%

40%

Consultants

IT Managers

Figure 6: Obstacles for IT performance management    A third of consultants (33%) find that “lack of support  from  IT  departments”  can  be  a  challenge  for  adopting  IT  performance  management.  This  is  partly  because  of  a  transparency  issue  ‐‐  IT  people  do  not  want  to  be  measured.    Peter  Hanselman,  an  experienced  CIO,  explains:  “IT  people are the most resistant to change from all the people  in  the  world  in  my  experience.  They  have  learned  some  tricks and they would like to stick with the trick.”     On  the  other  hand,  lack  of  support  from  IT  departments can also be caused by political issues where IT  departments cannot agree amongst each other on the way  to  implement  this  type  of  program.  In  that  case,  consultants  can  indeed  then  find  themselves  stuck  in  the  middle of such disagreements.    

10%

 

50%

60%

70%

80%

IT Managers

Figure 7: Success factors for effective IT performance  management    The  strong  relationship  between  using  a  formalized  framework  and  successful  IT  performance  management  also highlights the need for IT processes to have some basic  level  of  maturity  before  putting  in  place  proper  measurement.     Since  having  a  formalized  process  framework  or  methodology  in  place  is  so  often  mentioned  as  a  success  factor  for  IT  performance  management,  the  next  section  briefly  explains  the  current  state  of  adoption  of  the  different IT Best Practice frameworks.           

   

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

 

11 | P a g e      

Organizations predominantly use ITIL 

Having the proper resources in place  

Seventy  seven  percent  of  IT  managers  report  using  ITIL  in  their organization. This shows the widespread adoption of  the  framework  (Cf.  Figure  8).  The  fact  that  27%  of  respondents are also using COBIT and 40% are considering  its implementation indicates a progression in the maturity  of  IT  shops  toward  more  formalized  processes.  These  statistics,  combined  with  the  fact  that  70%  of  all  respondents  list  “having  a  formalized  framework/methodology”  (Cf.  Figure  7)  as  a  key  success  factor  for  implementing  IT  performance  management,  shows  that  IT  organizations  are  generally  heading  in  the  right  direction  for  the  successful  implementation  of  performance management   

An  equally  important  success  factor  to  IT  managers  is  to  “have the proper resources in place such as people, budget,  and infrastructure.” It is perhaps a sobering realization that  even  with  the  best  of  intentions  to  implement  IT  performance  management,  an  IT  organization  will  not  be  very  successful  at  it,  unless  it  has  the  resources  to  do  it  seriously,  This  also  implies  that  the  business  has  to  be  convinced  and  committed  to  providing  these  resources.  Yet,  that  still  falls  one  step  short  of  the  active  business  involvement  that  consultants  feel  should  be  there.  That  is  why 60% of consultants mentions “having support from the  business” as an important success factor.     So,  it  is  clear  that  proper  support  and  guidance  in  whatever form such as frameworks and expert advice, are  key  requirements  for  successful  IT  performance  management. Getting it done right requires a professional  approach  and  a  clear  commitment  from  the  business  that  goes beyond simply providing resources.   

Which framework are organizations using?

ITIL / ISO20000

 

COBIT

 

 

Prince2/PMBOK ISO 17799/ISO 27000 or equivalent  security standard IT Balance Scorecard CMM (Capability Maturity Model) Six Sigma ISO 9000 Val IT 0%

20%

40%

Figure 8: Framework adoption 

60%

80%

100%

 

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

12 | P a g e       The  next  three  sections  looks  at  the  current  stage  of  maturity of organizations in IT performance management.  The  following  study  on  maturity  first  starts  by  determining  factors  that  have  an  effect  on  the  level  of  maturity  of  an  organization  such  as  its  size,  the  type  of  industry it is in, or its corporate culture.   It  then  looks  at  how  consultants  assess  their  clients  and how IT managers assess their own maturity.   In  the  end,  it  completes  the  participants’  self‐ assessment  of  maturity  by  describing  other  evidences  of  maturity  that  were  observed  by  interviewing  respondents  during the research. 

WHAT DETERMINES MATURITY? 

Company size  Two‐thirds  of  consultants  see  a  relationship  between  company  size  and  maturity  (Cf.  Figure  9).  In  general,  the  larger the organization, the more mature the organization  is.    There is evidence to believe that there is a relationship  between the size of a company and its maturity in terms of  measuring  its  performance.  Larger  organizations  will  have  more resources, such as budget, infrastructure, and people  available,  to  put  in  place  such  programs.  In  addition,  the  complexity of their IT processes makes large organizations  more  inclined  to  implement  IT  performance  management  to  be  able  to  control  and  manage  their  IT.  Finally,  larger  organizations  are  more  likely  to  have  to  comply  with  external regulations and, consequently, pay more attention  to IT governance and performance management.    The  maturity  model  used  to  assess  organizations  is  taken from COBIT and consists of five levels:   

Level 1

From the consultants who see a relationship between  company size and maturity:  ‐ 75% see small organizations between levels 1 and 2.  ‐ 93% see mid‐size organizations between levels 2 and 3.   ‐ 77% see large organizations between levels 2 and 3 as  well.     The  above  observations  show  that  maturity  seems  to  increase  with  size  for  small  to  mid‐size  organizations,  but  large organizations have difficulty reaching the next level of  maturity.   The  proportion  of  organizations  at  level  3  jumps  up  from  19%  to  53%  when  comparing  small  organizations  to  mid‐size ones. But when comparing mid‐size organizations  to  large  ones,  a  similar  jump  in  maturity  does not  occur  – the proportion of large organizations at level 3 (49%) stays  roughly  the  same  as  the  proportion  of  mid‐size  organizations at the same level (53%), while the proportion  of  large  organizations  rated  at  level  4  is  still  only  27%  compared  to  7%  for  mid‐size  organizations.  Indeed,  some  consultants explain that it is more difficult to reach a higher  maturity  level  for  larger  organizations,  which  are  so  dispersed  and  complex,  than  it  is  for  mid‐size  organizations. 

2/3 consultants correlate maturity to size 60%

3  2 

40% 30%

1

• There is ad hoc monitoring in isolated areas.

Level 3

• Some measures are set with a clear link to business goals  but are not communicated. Measurement processes  emerge, but are not consistently applied.

Level 4

• Efficiency and effectiveness are measured and  communicated and linked to business goals and the IT  strategic plan. Continuous improvement is emerging.

Level 5

• There is an integrated performance measurement system  linking IT performance to business goals by global  application of a documented framework. Continuous  improvement is a way of life.

 

  (IT Governance Institute, 2007) 

4

3  20%

4 5 

4

10%

5

1

5

1 

0%

Level 1

Level 2

2 

Small (0 ‐ 50  employees)

• No measurement takes place.

3 

2 

50%

Mid‐size (50‐1000)

Level 2

Level 3

Large (>1000)

Level 4

Level 5

Figure 9: Relationship between maturity and company size     However,  one‐third  of  consultants  do  not  see  a  clear  relationship between company size and maturity level.      David Mainville argues:   “I  have  seen  small  organizations  that  are  good  and  some  that  are  terrible  at  it  [IT  performance  management]  because  they  are  too  busy  fighting  fires.  In  large  organizations  they  have  the  manpower  and  the  budget  to  create  departments  to  pull  in  metrics  but  because  larger  organizations are so disjointed and have so many systems,  the systems don’t even agree with each other and they are  ineffective for a completely different reason.”     Consultants  identify  other  types  of  relationships  such  as by industry type or company culture.   

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

 

13 | P a g e      

Industry  Highly regulated industries such as financial services seem  to be more mature in managing IT performance than many  others.  Yalcin  Gerek,  partner  at  TAC,  an  IT  consulting  firm  based in Turkey, relates the following example:   “Banks in Turkey will be mature regardless of their size  because they need to be compliant [with regulations]. Also,  some  organizations  are  using  information  systems  that  require  a  certain  level  of  maturity  such  as  telecoms  or  hosting companies. For example, we have a client which is  providing hosting services for Enterprise Resource Planning  (ERP). They have only 30 employees but are very mature in  terms  of  their  performance  measurement.  On  the  other  hand, we have a customer from the manufacturing industry  who has more than 1000 employees. They are not mature  at all in terms of performance measurement.”    The  close  integration  of  business  and  IT  processes  is  another  reason  for  the  higher  level  of  maturity  in  this  industry. “There is probably no industry as dependent upon  IT  as  financial  services,.”  David  Mainville,  President,  Consulting Portal.    On the other hand, the manufacturing and oil and gas  industries are often pointed out as being the least mature  in matter of IT performance management. “We see a lot of  people  [in  the  oil  and  gas  industry]  who  think  Information  Technology   is  a  necessary  evil  and  they  don’t  really  care  about how it’s being done.,” Peter Lijnse, President, Service  Management Art.   

MATURITY SELF‐ASSESSMENT  Let’s  now  look  at  how  IT  managers  and  consultants  perceive themselves or their clients in terms of maturity in  IT performance management.  

IT managers and consultants are in agreement  The  results  show  that  IT  managers  and  consultants  are  pretty  much  in  agreement  when  assessing  maturity  in  organizations. Forty‐nine percent of IT managers rate their  organization as being at level 3 against 41% for consultants  (Cf. Figure 10).  The graph is slightly off‐center to the right  for  IT  managers;  they  are  slightly  more  positive  than  consultants,  with  35%  of  them  ranking  their  maturity  at  level 4 versus 27% for consultants.   

Participants' maturity assessment of  large organizations 50% 40% 30% 20% 10% 0% Level 1

Corporate culture   

Level 2

Level 3

Consultants

Level 4

Level 5

IT Managers

Some  consultants  find  that  the  culture  of  an  organization    plays  a  big  role  in  its  maturity.  Some  organizations  where  Figure 10: Participants’ maturity assessment of large  there  is  a  good  relationship  between  the  business  and  IT  organizations1  will  tend  to  be  more  mature  than  others.  In  addition,    organizations  that  are  more  dynamic  and  less  resistant  to  change  will  tend  to  be  more  mature  as  well.  Julie  Mohr  IT security has the highest level of maturity of all IT  argues: “Maturity is not indicative of the size of a company.  areas, according to IT managers  It  is  almost  more  closely  tied  to  a  company’s  ability  to  Breaking  “Information  Technology”  into  separate  IT  areas  create the strategic plan. Culture is huge in maturity. When  and asking IT managers to assess their maturity in each of  I look at the COBIT maturity [model], you could be at a level  them  reveals  that  maturity  for  IT  security  scores  the  2  and  want  to  go  to  a  level  4,  but  it  might  take  one  highest. Going by the previously mentioned maturity levels,  organization  three  years  to  get  to  that  level  and  it  might  it  scores  an  average  level  of  3.3  (Cf.  Figure  11),  followed  take  a  small  company  six  months  because  they’re  more  closely  by  operations,  with  3.15.  Security  is  especially  agile,  they can  change and they  have the right  leadership.  mature  among  companies  active  in  the  financial  industry  So it’s more about the culture of organizations, their ability  and  defense,  where  confidentiality  of  information  is  to adapt.”  obviously a key consideration. The poorest maturity rating    is  for  IT  strategy  (2.73),  the  area  of  IT  that  is  most  closely  linked to creating alignment with the goals of the business.  This  is  partly  due  to  the  fact  that  strategy  does  not  lend  itself  well  to  measurement.  Dennis  Bladergroen,  Director,  Greenleaf  Management  &  Consultancy  explains,  “IT  strategy  is  very  long‐term  and  you  don’t  measure  that  every month; maybe once or twice a year.”                                                                           1

 To be able to compare IT managers’ assessments and those  of  consultants,  the  category  “Large  organizations”  has  been  singled out from the consultant’s assessment in Figure 9 because  84% of the IT managers surveyed worked for large companies.     © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

 

14 | P a g e       On the other hand, IT operations (which received the  second‐highest  maturity  rating  (3.15)  is  relatively  easy  to  measure  and  functions  such  as  the  IT  helpdesk  are  most  visible to the business and important for its satisfaction of  IT.   Julie  Mohr  notes:  “Right  now,  what  IT  organizations  are focused on is the reactionary side ‐ how to fix the area  where  the  customer  calls  in  to  complain  the  most,  instead  of focusing on  what’s actually  at fault in the environment.  There is a lot of measurement around [Operations] because  that’s perceived to create quality for the customer.”  Bladergroen adds, “There is a lot of attention in the IT  operations area and it’s easy to measure. When it’s easy, it  usually gets a lot of attention.”     

IT managers assess their maturity  per IT area Security Operations Infrastructure

area in their top three, more than for any other area. There  are starkly contrasting philosophies in this area with some  consultants  advocating  a  top‐down  “ideal”  approach,  starting with strategy and others advocating a a bottom‐up  “pragmatic”  approach.  There  is  something  to  be  said  for  both.    Mark  Thomas,  Partner,  Escoute,  an  IT  process  consultancy firm, argues, “IT strategy is all about how you  align yourself and support the business. That is what helps  you  decide  on  the  correct  frameworks  to  use  and  the  correct  measurement.  So,  everything  below  that  is  subordinate  to  IT  strategy.  If  you  don’t  have  a  proper  IT  strategy  and  you  cannot  measure  it  effectively,  then  how  can you even know that your IT operations are aligned?”    Reflecting a more pragmatic view, Jan Vromant, Lead  in the Outsourcing Advisory Services at, Deloitte Consulting  LLP,  argues,  “Strategy  is  not  relevant  in  most  IT  departments because everybody is focusing on cost, service  levels, and firefighting. Is it  really relevant to those people  what the performance measures are of IT strategy? No. It’s  classroom theory versus practical reality.” 

Priority for Measurement by IT Area ‐ IT Managers

Project Applications Development Strategy 2.50 2.70 2.90 3.10 3.30 3.50

Security Maturity level [1 ,5]

Figure 11:  IT managers’ maturity assessment per IT area   

Strategy

 

Project Management

The need to measure IT strategy 

Operations

  Recognizing their low maturity in measuring IT strategy, 36%  of all respondents rank it as their top priority for achieving  a  high  maturity  level  compared  to  22%  for  operations  (Cf.  Figure  12).  Despite  how  difficult  it  is,  organizations  realize  the  need  to  measure  strategy  well  because  “everything  comes from the top.” Chris van der Weyden, CIO, Chisholm  Institute, Australia, explains that, “IT strategy is where you  get  the  right  decisions  about  what  to  invest  in.  There  you  get  alignment  with  the  business  and  with  alignment  you  get  trust  from  senior  management.  You  might  run  a  very  efficient ship, but invest in all the wrong products. Without    strategy you have nothing else.”    At  the  same  time,  many  insist  on  maintaining  an  emphasis  on  operations.  Sixty‐two  percent  include  this     

Applications Development Infrastructure 0% 10% 20% 30% 40% 50% 60% 70%

Ranked among top 3 priority

Ranked among top 2 priority

Ranked as top priority

  Figure 12: Priority for measurement by IT area   ‐ IT managers 

 

 

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

15 | P a g e       LOOKING FOR EVIDENCE TO VALIDATE THE SELF  ASSESSMENT 

  Business accountability of IT initiatives 

To complete the maturity assessment above, the following  paragraphs  look  at  various  signs  of  maturity  in  organizations.  First,  it  establishes  the  degree  of  business  involvement  in  IT  organizations.  Then  it  looks  at  the  resources  in  place  for  managing  IT  performance,  such  as  people  and  budget.  Finally,  it  looks  at  the  organizations’  current practices regarding benchmarking. 

Most  organizations  are  in  the  process  of  implementing IT performance management  To  determine  the  current  practices  in  matter  of  IT  performance  management,  a  good  indicator  to  start  off  with  is  the  current  degree  of  implementation  of  IT  performance management programs..    Eighty‐one  percent  of  IT  managers  surveyed  have  IT  performance  management  programs  in  place  in  their  organizations or are currently implementing one (Cf. Figure  13). These results show the importance of IT performance  management.  The IT managers who answered that they didn’t have  IT  performance  management  instituted  in  their  company  are all seriously considering implementing such a program  but  are  waiting  to  become  more  mature  in  their  IT  processes.  

Current Degree of Implementation Partly  implemented  & In the  process 34%

Only 30% of IT managers said that business sponsors have  financial incentives such as bonus or penalties to make the  IT  projects  succeed  (Cf.  Figure  14).  For  17%  of  business  sponsors, the project outcome is tied to their departmental  budget and for 13%, there are personal financial incentives.   The  degree  to  which  business  sponsors  are  accountable  for  the  outcomes  of  IT  initiatives  is  a  good  indicator  to  judge  business  involvement  in  IT  activities.  Indeed,  having  involvement  from  the  business  was  mentioned  as  one  of  the  three  main  success  factors  for  implementing IT performance management successfully.   An  article  from  McKinsey  &  Company  arguing  about  who should be accountable for IT, explains, “Even when the  top‐management  team  believes  that  it  is  essential  to  increase  coordination  between  IT  and  the  business,  nothing  will  happen  until  business  managers  must  answer  for  IT  planning  and  its  results”  (McKinsey  &  Company,  2002). Yet, judging by these responses, there seems to be  little financial incentive for business sponsors to make their  IT  projects  succeed.    Money  may  not  be  everything  and  company  culture  can  go  a  long  way  in  promoting  constructive dialog between IT and business. Still, financial  rewards might help deepen the involvement of business in  IT matters, preventing such situations as the one described  by a CIO of a large entertainment company in Hong Kong:  “[Any  project]  comes  from  the  business.  It  is  just  that  business people do not want to label it as a business project  because  they  are  afraid  that  it  will  fail.  When  a  business  project fails, they blame it on IT.” 

Are the business sponsors of IT  initiatives evaluated on the outcomes  of these initiatives?

Considered 13%

Implemented 10% In the  process 43%

Figure 13: Current Degree of adoption 

 

No, the  business  sponsors are  not  accountable  for the  outcomes 36%

Yes,  outcomes are  tied to  personal  financial  rewards  14%

Yes,  outcomes are  tied to the  sponsors’  budget 21%

Yes, but  there are no  financial  incentives  /penalties   29%

Figure 14: Accountability of business sponsors   

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

 

16 | P a g e      

Separate budget for IT performance management?  Only  12%  of  IT  managers  have  a  separate  budget  in  place  for IT performance management (Cf. Figure 15). While this  is  an  obvious  indication  of  the  importance  the  company  attaches  to  IT  performance  management,  it  should  be  noted that many of those who said “No” also do not feel a  real need to establish a separate budget and seem content  with keeping IT performance management as an integrated  cost component of other IT projects. There might be good  reasons for doing so. A CIO who had a separate budget in  place highlighted one of the challenges of that practice:   “Once  a  performance  measurement  mechanism  is  in  place,  I  don’t  monitor  what  we  spend  in  that  area.  It  is  folded  into  the  general  services  activities  and  is  no  longer  visible as a separate budget line item. For me this is also a  protection  to  avoid  that  this  part  of  the  work  gets  questioned.  In  difficult  pressure  times  there  might  be  a  temptation  that  I  have  seen  partially  in  the  past  to  say  “Well, do we need all this? Can we scale it down?” That is a  very short‐term focus which I think is wrong so I decided not  to  make  it  visible  as  such  to  avoid  that  we  have  that  temptation.“ 

Are there full‐time employees dedicated  to collecting and reporting IT  performance data for decision making? No 15%

Yes, we have  full‐time  positions to  handle this  task, 30%

Yes, but not  explicitly  mentioned in  job  descriptions,     18%

Not full‐time  but part of  formal job  descriptions,     36%

Figure 16: Employees dedicated to IT performance  management    

No systematic procedure to learn from the past  Only  35%  of  respondents  say  their  company  frequently  or  systematically  looks  at  the  results  of  previous  IT  projects  (Cf.  Figure  17),  mainly  to  improve  performance  of  current  projects.  Few  organizations  actually  let  the  success  of  previous  projects  play  a  role  in  making  the  decision  to  move forward with a new project. Only 17% of respondents  actually do it to determine sponsorship of new projects. 

Do you have a budget defined for  collecting and reporting IT performance  data for decision making?

12% Yes No 88%   Figure 15: IT budget for IT performance management     

Employees dedicated to IT performance  management    Thirty percent of IT manager say they have formal full‐time  positions  established  in  their  organizations  to  collect  and  report  IT  performance  data.  Only  15%  do  not  while  the  remainder  has  functions  that  incorporate  IT  performance  management either formally or informally. So a majority of  66%  have  IT  positions  that  formally  address  the  measurement  and  reporting  of  IT  performance.  Although  this  highlights  the  growing  importance  being  placed  on  IT  performance  management,  having  a  separate  headcount  also shows the continual and labor‐intensive challenge that  organizations  face  in  pulling  together  performance  data  from  different  sources  to  get  a  clear  picture  of  what  is  going on.   To  illustrate,  one  senior  IT  manager  at  a  large  insurance company who had a team of 7 people dedicated  to collecting and reporting IT performance, said it normally  takes 3 weeks to produce a monthly dashboard report for  the CIO. 

Does your organization look at past IT  inititives' performance before starting a  project in the same area? Systematically 10% Rarely 34% Frequently 25%

Sometimes 31%

  Figure 17: Looking at past initiatives' performance    Most respondents do realize the value of this practice  and explain that they would like to do it in the future.   This  demonstrates  a  certain  immaturity  in  systematically  learning  from  past  information  and  performance data.    

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

 

17 | P a g e       .  

Benchmarking  is  seen  as  important  but  not  done  consistently 

Benchmarking attitudes  ‐ IT Managers

The  research  shows  that  a  majority  of  organizations  are  using some form of benchmarking but only 33% engage in  serious external benchmarking against an industry index or  select  group  of  peers.  Thirty‐eight  percent  of  IT  managers  report  not  using  benchmarking  at  all  (Cf.  Figure  18).  Fifty‐ two percent say they do external benchmarking while 21%  engage  in  internal  benchmarking.  So  while  it  is  clear  that  benchmarking  is  far  from  being  a  marginalized  practice,  serious benchmarking is not yet widespread.   

Nice to have  but not  essential 21%

IT Managers report on use of  benchmarking

Important to  the business 73%

Not  important 3% Counter ‐ productive 3%

Don’t use benchmarking 

Figure 19: Benchmarking attitudes – IT managers     

Internally (e.g. between  departments)

 

Benchmarking ‐ Importance by  reason ‐ IT Managers

Compare performance with  industry index or select group  of peers (e.g. ITSMF)  45%

On a High Level (e.g IT budget)

40% 0%

35%

10% 20% 30% 40%

30%

 

Figure 18: IT managers report on use of benchmarking    When  examining  attitudes  towards  benchmarking,  an  interesting conclusion can be made. Seventy‐three percent  of  IT  managers  say  benchmarking  is  important  for  their  business (Cf. Figure 19), the most prevalent reason being to  keep internal transparency (42%) (Cf. Figure 20). However,  consultants  find  that  their  clients  take  benchmarking  less  seriously.  Forty‐seven  percent  of  consultants  say  their  clients think benchmarking is Nice to have but not essential  compared to 21% of IT managers (Cf. Figure 21).     In  the  end,  this  may  come  down  to  a  difference  in  perception  as  to  whether  benchmarking  implies  simply    obtaining  benchmarking  figures  or  whether  the  second  element of striving to reach the benchmark should also be  in place. Julie Mohr explains: “I get a lot of people that say  they  want  to  know  what  their  peers  are  doing,  but  once  they  figure  that  out,  they  don’t  base  their  decisions  on  it.  They base their decisions on what’s right for them which is  what  they  should  do.  Initially  they  perceive  the  value  but  then they don’t really use that information as a driver. They  just want to know that they’re not so far behind the curve.”                 

25% 20% 15% 10% 5% 0% Unspecified

To drive  strategy

To keep  To keep up  internal  with  transparency competitors

  Figure 20: Importance by reason ‐ IT managers 

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

18 | P a g e        

Attitudes Towards Benchmarking

Use of metrics by type 0% 10% 20% 30% 40% 50%

From best practices  (COBIT, ITIL…)

Important to keep internal  transparency

Home‐grown

Important to keep up with  competitors

From other literature

Important to drive strategy

Provided by consultants

Nice to have but not essential

None

Not important Benchmarking is  counterproductive

Consultants

0% 20% 40% 60% 80%

Figure 22: Use of metrics by type 

IT Managers

Figure 21: Attitudes towards benchmarking 

 

Best  practice  frameworks  are  most  popular  source  for metrics  A  requirement  for  benchmarking  is  to  use  best  practice  metrics.  To  be  able  to  compare  themselves  to  peers,  organizations first need to be able to provide metrics which  can be compared with others in the industry. So it is worth  taking a look at the source of the metrics that organizations  are  using  to  manage  their  IT  performance  (Cf.  Figure  22).  Encouragingly  for  benchmarking  opportunities,  70%  of  IT  managers  say  they  use  metrics  from  best  practices.  Sixty‐ four  percent  say  they  use  home‐grown  metrics.  42%  of  respondents  in  fact  used  both  these  types  of  metrics  in  combination. The main idea behind using metrics from best  practices  is  to  not  re‐invent  the  wheel  and  use  common  industry  metrics  (sometimes  slightly  modified)  wherever  possible.  But  since  every  organization  is  unique,  home‐ grown  metrics  are  used  where  IT  best  practices  do  not  provide sufficient guidance. This view is illustrated by Frank  Buytendijk, VP Enterprise Performance Management (EPM)  Strategy,  Oracle,  who  says,  “For  day  to  day  operations,  there  is  absolutely  no  reason  to  build  your  own  metrics.  Simply  use  best  practices.  There  is  no  reason  why  your  organization  should  have  a  different  metric  for  uptime  of  the internet connection. But for strategic differentiation you  should  come  up  with  your  own  performance  indicators  as  well  because  they’re  unique  to  you.  So  don’t  try  to  copy  best  practices  there  because  then  you’re  driven  toward  complying  with  best  practices  instead  of  driven  to  be  special.”  Although the proportion of IT managers using metrics  from best practices is high (70%), it is not necessarily a sign  of  maturity.  Don  Caniglia,  a  senior  consultant  at  Jon  Campbell  &  Associates,  notes:  “Organizations  needs  to  define  their  own  metrics  that  are  appropriate  for  them.  They can use the standards as a guide for what to consider,  but  there  are  too  many  organizations  that  look  for  shortcuts.  When  you’re  [implementing  IT  performance  management],  I  think  a  shortcut  is  bad.  And  the  metrics,  standards,  baselines,  can  be  shortcuts  so  if  they  are  used  without thought,”   

 

   

Summary findings on maturity  To  summarize,  the  research  reveals  that  IT  managers  and  consultants are in agreement when assessing the maturity  of  organizations  with  respect  to  IT  performance  management.  Eighty‐one  percent  of  IT  managers  say  they  have  already  taken  steps  toward  adopting  IT  performance  management  but  recognize  that  there  is  still  room  for  improvement  in  specific  areas.  IT  operations  and  IT  strategy are the areas on which organizations are focusing  the  most  which  reflects  the  desire  to  have  a  strategic  approach  to  performance  management  combined  with  a  more pragmatic one with IT operations.  Secondly,  we  looked  at  specific  signs  of  maturity  in  organizations  such  as  having  employees  dedicated  to  collect  data  and  presenting  it  for  decision  making,  having  business  sponsor  accountable  for  business  initiatives  or  having  procedures  in  place  for  looking  at  performance  of  past  IT  initiatives.  Looking  at  this  evidence  confirms  the  prior  self‐assessment  done  by  participants:  organizations  are going in the right direction but there is still progress to  be made in order to have the specific resources dedicated  to  performance  management  and  more  involvement  from  the business.  Lastly, the use of serious external benchmarking in IT  organizations is not yet prevalent. The widespread use of IT  best practices as the basis of metrics, along with a positive  attitude  towards  benchmarking,  does  create  a  positive  outlook for this practice to grow in the future.             

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

19 | P a g e       THE HIGH COST OF FINDING INFORMATION 

Tools used to report IT Performance

The  following  section  describes  which  type  of  solutions  IT  organizations  are  currently  using  to  manage  their performance and look at how satisfied they are with  their IT performance management tools. 

Manual reporting (e.g. Excel) IT service management solutions  (HP OpenView, BMC Remedy…)

Excel  is  still  the  main  tool  for  managing  IT  performance 

Business Intelligence (e.g. Cognos,  Hyperion, BO)

The  positive  trends  in  the  awareness  of  IT  performance  management and the degree of implementation might hint  that specialized software tools are now making it easier to  implement  IT  performance  management.  And  although  sophisticated  tools  are  indeed  popular,  it  is  still  surprising  to  see  the  widespread  usage  of  Excel  to  report  IT  performance.  Seventy‐six  percent  of  IT  managers  say  they  still use Excel frequently for this purpose. This is compared  to  67%,  who  say  that  they  use  IT  service  management  solutions  and  45%  who  have  business  intelligence  tools  in  place. Part of the reason for the prevalence of Excel is that  many  tools  are  specially  designed  to  measure  only  one  specific  area  of  IT  and  no  one  tool  can  provide  the  entire  performance picture for the IT organization as a whole (Cf.  Figure 23).    Alan Nance, an executive at Tata Consultancy Services,  highlights  the  issue:    “A  lot  of  companies  have  a  wide  variety of tools and a lot of sources for data. The problem is  to get the information out of the toolset in a cost‐effective  way.  Even  though  they  have  all  these  tools,  when  push  comes  to  shove  and  you  ask  them  how  they  got  a  report,  they will tell you: “We took some of this out of OpenView,  some of this out of Cognos.” and I think that you’ll find that  most of them are still using manual labor and spreadsheets  to  get  the  information.  That’s  why  there  is  so  much  frustration:  because  companies  are  investing  in  lots  of  software  and  still  doing  a  lot  of  things  manually  with  spreadsheets.”    The investment in sophisticated software tools shows  a definite commitment by organizations to IT performance  management  and  a  specific  level  of  maturity,  but  there  does not yet seem to be a solution that eliminates manual  reporting  altogether  or  the  need  to  combine  multiple  software  tools  to  perform  comprehensive  measurement  and reporting. 

Internally developed software  solution Service Level Management  Monitoring Tools (Digital fuel, … We don’t use any tools to report IT  performance  Dedicated IT performance solution  from external vendor 0%

20%

40%

60%

80%

 

Figure 23: Tools used to report IT performance   

IT Managers see cost as the main shortcoming of IT  performance management tools  When  IT  managers  are  asked  how  satisfied  they  are  with  the set of tools they are currently using to manage their IT  performance, the poorest scores they give are around the  cost  of  maintenance  and  implementation  with  21%  of  IT  managers  ranking  these  two  categories  as  “poor”  (Cf.  Figure  24).  The  overall  value  of  tools  also  scores  low  with  48% of IT managers ranking it as “average”. 

Tools' Satisfaction ‐ IT Managers 0% 10% 20% 30% 40% 50%

Accuracy Presentation of information Effectiveness (getting the right  data for decision‐making) Data collection Cost of implementation  Overall value of tools Cost of maintainance

Good

Average

Poor

 

  Figure 24: Tools’ satisfaction (IT managers)      “Average”  seems  to  be  the  word  that  best  captures  the  general  sentiment  toward  the  mix  of  tools  that    © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

20 | P a g e       organizations  employ.  This  is  because  the  range  of  tools  employed  is  wide  and  many  IT  managers  say  they  use  a  combination of them to measure different IT aspects. 

 

Top three shortcomings of client solutions  (Consultants)

Consultants see data collection and presentation as  the  main  shortcomings  of  IT  performance  management tools  The  shortcomings  the  most  chosen  by  consultants  regarding  the  IT  performance  measurement  solutions  of  their  clients  are  presentation  of  information  (36%),  difficulty of collecting data (31%) and ineffectiveness (31%).    As  seen  previously,  organizations  are  frequently  using  manual  reporting  to  convey  performance  measures  (Cf.  Figure  23).  For  that  reason,  it  is  easy  to  imagine  that  collecting  data  and  presenting  information  can  be  challenging  because  it  is  manual  thus  greatly  time‐ consuming.    Ineffectiveness  refers  to  the  fact  that  data  collected  doesn’t  enable  IT  managers  to  take  decisions  based  on  facts because the data are not measuring the right things.  It mostly blames the lack of understanding on the part of IT  organizations  of  what  to  measure  with  the  tools  rather  than  the  ineffectiveness  of  the  tools  themselves. 

0%

10%

20%

30%

40%

Presentation of information Data collection Ineffectiveness (getting the right  data for decision‐making) Accuracy Cost of implementation  Cost of maintainance Overall value of tools

Figure 25: Top three shortcomings of clients’ solutions  (Consultants)      To  sum  up,  IT  managers  and  consultants  don’t  have  the  same  concerns  when  talking  about  IT  performance  management tools.  IT managers are unsatisfied with the cost of new and  existing  IT  performance  management  tools  and  find  the  value of that mix of tools to be only average. On the other  hand,  consultants  who  are  familiar  with  such  tools  see  problems  with  getting  data  and  turning  the  data  into  relevant and presentable and valuable information.     

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

 

21 | P a g e       TOWARD A HOLISTIC PICTURE  Opening the “black box” mentioned earlier depends largely  extent  on  the  holistic  view  that  CIOs  and  IT  managers  are  able to achieve of their IT organizations. Given the general  pessimism expressed by respondents to that question, how  do  they  see  their  ability  to  obtain  a  clear  view  of  IT  performance?    It  turns  out  that  a  little  less  than  half  of  IT  managers  (48%)  have  a  holistic  picture  of  how  their  overall  IT  is  performing, but most say they need to put a lot of time and  effort  into  achieving  it.  Only  6%  really  feel  like  they  are  getting an efficiently produced and concise picture.    Given the prevalent use of Excel that continues despite the  rise  of  IT  service  management  solutions  to  measure  IT  performance  (Cf.  Figure  23),  this  finding  is  perhaps  not  so  surprising. There is not yet a simple way to consolidate the  various data sources into one concise report or dashboard.     Consultants  identify  the  same  issue  of  dispersed  and  fragmented information, but are more negative about their  clients’  ability  or  willingness  to  overcome  it.  Thirty‐six  percent  say  organizations  simply  do  not  have  a  holistic  picture while 49% feel they could if only they would be able  to pull together all the data (Cf. Figure 26).   

Overall Picture of IT Performance

Are you using a dashboard to report IT  performance? 52% 36%

6%

3%

Yes, weekly

Yes, monthly

Yes, annually

No

 

Figure 27: Use of a dashboard    Whether the dashboard makes it into the boardroom  or  not  is  still  a  virtual  coin  toss.  Forty‐five  percent  of  respondents  who  produce  a  dashboard  say  it  does,  40%  that  it  doesn’t  (Cf.  Figure  28).  That  could  very  well  reflect  the  current  struggle  of  IT  and  business  to  get  onto  the  same page. Future studies will have to determine whether  the trend is positive or if business and IT will continue their  somewhat awkward relationship.   

Is the IT performance dashboard  presented at board meetings? I don't  know 15%

0% 10% 20% 30% 40% 50%

Yes 45% Don’t have a clear picture 

No 40%

Could have, but information is  fragmented and dispersed over  tools and reports

 

Do have, but a lot of effort goes into  consolidating various reports into  one view Have a holistic picture of overall IT  performance

IT Managers

Consultants

Figure 26: Overall Picture of IT Performance  

 

    These  results  correspond  to  the  practice  of  an  IT  performance  dashboard  within  organizations  —  55%  of  IT  managers say they produce one at least on a monthly basis  (Cf. Figure 27).     

Figure 28: IT performance dashboard presented at board  meeting     An  article  from  the  Cutter  IT  Journal  summarize  the  difficulty beyond the use of and IT performance dashboard:  “Managing IT’s performance involves more than just slam‐ dunking  a  dashboard  into  place.  It  requires  understanding  which metrics are key to demonstrating value, working out  the  kinks  with  data  and  reports,  addressing  change  management  issues,  and  then  —  and  only  then  —  automating  and  summarizing  results  via  a  customized  Business Intelligence ‐driven dashboard” (Cutter IT Journal,  2006). 

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

22 | P a g e       CONCLUSION  IT  performance management  is on  its  way  to  become  an  integrated  part  of  IT  organizations.  A  lot  of  progress  has  been  made  in  that  sense  for  the  past  couple  of  years.  However,  there  is  still  a  lot  of  room  for  improvement  in  specific  areas  such  as  the  standardization  of systems and tools or the dialog between business and IT people.   IT  performance  management  is  not  something  that  organizations can implement within a short time frame, by following  a set of rules and putting in place predefined measurements. It’s also  not  something  that  will  come  “magically”  out  of  a  tool.  As  Peter  Hanselman  puts  it,  “IT  performance  management  is  an  art,  not  a  science.”  It  requires  careful  preparation  and  planning.  It  starts  by  the  definition of what is important to measure and what are the goals to  be  achieved.  It  then  continues  with  the  monitoring  of  progress  toward these goals for continual improvement.  Having  a  holistic  and  strategic  approach  to  performance  management  will  enable  organizations  to  get  a  clearer  picture  of  their overall IT performance and allow them to take decisions based  on  facts  rather  than  gut  feeling.  Consequently,  these  decisions  become more transparent to all stakeholders involved.    Perhaps  the  quickest  way  to  help  IT  performance  management  succeed  is  to  recognize  that  every  discipline  in  business  should  include some kind of performance management. As Frank Buytendijk,  VP Enterprise Performance Management (EPM) Strategy, Oracle, puts  it,  “The  biggest  inhibitor  of  IT  performance  management  is  IT  performance management. There is no such thing as IT performance  management; there is just performance management” It may not be  such  a  bad  idea  for  organizations  to  accept  a  holistic  approach  to  performance  management,  treating  IT  as  an  integrated  part  of  the  business  and  managing  its  performance  along  with  the  other  activities of the organization.     Finally, although many people agree with the analogy of IT as a  black box, the degree to which this box will be opened going forward  depends on the role that IT is meant to play within the organization:  that  of  a  strategic  partner  to  the  business  or  that  of  a  supporting  function?  One  of  the  most  interesting  perspectives  on  this  comes  from  Dennis  Bladergroen,  “IT  should  be  a  black  box.  The  business  doesn’t  need  to  understand  what’s  going  on  there,  it  should  work  –  just like the engine in a car. The frustration of IT seems to be that they  are  successfully  getting  into  the  boardroom,  but  their  position  will  always  be  one  of  support    ‐    they’re  never  leading.“  Whether  this  vision  or  that  of  IT  as  a  strategic  partner  actually  materializes  will  determine how closely IT interacts with the business.                         

 

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

23 | P a g e       NOTE ON THE AUTHORS    Chloé  Méary  is  an  MBA  candidate  at  the  Rotterdam School of Management where she  is  following  a  Finance  concentration.  She  received  her  Master  in  Engineering  with  a  major in Systems Architecture and Integration  from  the  École  Polytechnique  Féminine  (France)  in  2006.  She has  since been  working  as  an  IT  Project  Consultant  for  Total  in  Singapore  where  she  analyzed  and  described  technology  trends  among  other  activities.  Chloé  has  an  extensive  international  background,  having  lived  in  Singapore,  the  Netherlands, Cameroon, and Norway.  Email: [email protected]    Oliver van de Merwe is an MBA candidate at  the Rotterdam School of Management where  he  is  following  a  Finance  concentration.  He  received  his  Bachelors  in  Business  from  the  University of Wake Forest, NC, in 2001. He has  since  worked  as  an  IT  Analyst  and  Process  Engineer  for  CMA‐CGM,  a  French  shipping  company,  in  both  the  United  States  and  France.   Email: [email protected]   

    Chloé Méary 

 

 

  Oliver van de Merwe 

   

NOTE ON THE RESEARCH  This report: ‘Trends in IT Performance Management’ presents the IT  service management and IT governance domains with a snapshot of  the  current  IT  Performance  Management  state.  The  information  provided  in  this  report  helps  IT  managers  to  realize  if  their  IT  performance  management  initiatives  are  on‐track  and  in  line  with  what peers are doing. ‘Trends in IT Performance Management’ offers  valuable  knowledge  to  IT  consultants  as  well.  With  this  report,  consultants  are  better  equipped  to  support  their  customers  in  the  area of IT performance management.     ‘Trends  in  IT  Performance  Management’  is  a  Metricus  Initiative.  Metricus  is  an  ITpreneurs  solution  designed  to  help  organizations  achieve  clarity  on  the  performance  of  IT  and  drive  IT  improvement  initiatives.      Would  you  like  to  use  or  copy  anything  from  this  report  please  provide a reference to Metricus  (www.metricus.com).                 

 

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved 

24 | P a g e       BIBLIOGRAPHY  Cutter  IT  Journal.  (2006,  April).  The  CIO  Dashboard  and  IT  Performance Management. Cutter IT Journal .  Gartner.  (2006,  October).  Understand  Performance  Management  to  Better Manage Your Business.  IT Governance Institute. (2007). COBIT 4.1.   McKinsey & Company. (2005, Fall). What IT leaders do. Innovations in  IT management .  McKinsey  &  Company.  (2002).  Who's  accountable  for  IT?  The  McKinsey Quarterly ‐ Special Edition: Technology .                                       

  © Copyright 2008 by ITpreneurs Nederland B. V. All rights reserved