Leader Shape Evaluation

 

 

Honors LeaderShape 1 

Running head:  HONORS EXPERIENTIAL LEARNING FOR LEADERSHIP                Pairing the LeaderShape Institute with Honors Experiential Learning   for Leadership Development  Richard Robles  University of Cincinnati 

 

 

Honors LeaderShape 2 

Introduction   

The University Honors Program at the University of Cincinnati re‐designed the program 

in 2007 with a focus on experiential learning in the thematic areas of community engagement,  global studies, leadership, and research/creative arts.  Rather than attain a specified number of  credit hours, students would now have to participate in six honors experiences within one or  more of the thematic areas.  Each thematic area is broadly defined such that it allows students  to engage in a variety of seminar courses and experiential learning projects.  Within the spirit of  experiential learning, these learning opportunities offer students to reflect on what they  learned, what parts of the course were integrated in their current body of knowledge, and what  they are now empowered as a result the knowledge gained.  But do these learning ideals  adequately apply to the thematic areas?  If students focused their learning in a specific  thematic area, should there be specific learning outcomes required within the learning?   Additionally, should there be common learning outcomes within the theme so that there is a  mechanism to communicate to the student and other constituents how learning occurs?  As a  result, the program began outlining specific learning objectives for the four thematic areas.   

Specifically focusing on the leadership thematic area, the expectation is that a student 

leader in the University Honors Program is involved in the University and beyond (i.e., student  organizations, college activities, community engagement, etc.) in a capacity of responsibility  and would achieve the following learning objectives through their honors experiences:   (1) 

Possesses knowledge of various leadership theories and identifies with the  characteristics of leadership; 

(2) 

Identifies the various characteristics of a leader in a given situation/role; 

 

 

Honors LeaderShape 3 

(3) 

Has the ability to relate, communicate and work effectively with peers; and 

(4) 

Develops a vision of the future and acknowledges the impact of decisions (as  applicable to the individual and affiliated organizations). 

Appendix A illustrates how the learning objectives are expanded in the form of a rubric as the  basis of assessment.  The rubric is used to evaluate students’ reflective essays after they have  completed a self‐designed experiential learning project.  But the rubric and learning objectives  have not been applied to an established learning experience or seminar course.     

The purpose of this evaluation and report is to investigate whether the learning 

objectives could be applied to an established learning experience.  Specifically, the study  focuses on the following evaluative questions:  (1) 

Are the Honors leadership objectives effective indicators for student learning? 

(2) 

Does a student’s definition of leadership change after a significant learning  experience?  About the LeaderShape Institute 

 

Created in 1992, the LeaderShape Institute is an internationally established leadership 

program that develops young adults to “lead with integrity.”  The six‐day process guides  students through a series of activities, discussion, and reflection providing them the tools to:  (1) 

Act consistently with core ethical values, personal values, and convictions; 

(2) 

Develop and enrich relationships; 

(3) 

Respect the dignity and contribution of all people;  

(4) 

Believe in a healthy disregard for the impossible; and 

(5) 

Produce extraordinary results (LeaderShape Institute, 2009).    

 

 

Honors LeaderShape 4 

Each of the six days scaffolds activities and learning so that students leave with a breakthrough  blueprint of their vision of the future at the end of the experience.   Group work is conducted in  small‐group “family clusters” and in the larger “learning community”.  Typically, two lead  facilitators from the LeaderShape Institute central office and up to six university faculty or staff  facilitate a campus‐based session.  The UC LeaderShape Institute   

The University of Cincinnati has been affiliated with the LeaderShape Institute since 

1997 when the campus‐based sessions were coordinated through Student Activities and  Leadership Development (SALD).  Participation never reached the maximum capacity of 60  students, resulting in an average of less than 30 students per session or the session was  cancelled.  During 2004‐2006, SALD received sponsorship from the Procter & Gamble Company  and the UC Alumni Association MasterCard Grant Fund.  The LeaderShape Institute was held  each year during the summers and participation averaged 25 students per session.  After the  funds expired, SALD was not able to sustain funding for the program for additional sessions.   

The LeaderShape Institute became an established learning opportunity for University 

Honors Program students through a UC|21 Presidential Grant of $40,000 awarded during the  2007‐2008 academic year.  The first attempt to implement the campus‐based LeaderShape  Institute solely for University Honors students was held during the week of March 23, in  between the winter and spring 2008 quarters.  Due to a lack of participation resulting from the  Christian Easter holiday, LeaderShape was postponed to fall 2008.   

The postponed session was held December 13‐18, 2008, at the Dayton YMCA Camp Kern 

in Oregonia, OH.  Thirty‐seven students (19 freshmen, 10 sophomores, 6 juniors and 2 seniors) 

 

 

Honors LeaderShape 5 

participated in the six‐day session, which is significantly higher than any previously organized  session by UC.  Of the 37 students, 14 were from the College of Engineering, 10 were from the  College of Business and 9 were from the McMicken College of Arts and Sciences.  Three staff  members from the University Honors Program and the director of the UC Center for  Community Engagement served as the small group cluster facilitators.  Due to illness, only one  of the two lead facilitators was able to come and implement the curriculum.  Data Collection    

One of the unique features of the LeaderShape Institute is an on‐going assessment of its 

participants before and after their participation in a session.  The 37 participants completed a  pre‐ and post‐survey focused on leadership development.  Survey questions were prescribed by  the LeaderShape Institute, which is based on Komives Leadership Identity Development model.   Administered through SurveyMonkey.com, the pre‐session survey was announced to  participants four weeks prior to the session through orientation meetings and e‐mail.  The post‐ session survey was posted immediately after the LeaderShape Institute, but participants did not  complete it until a month later.  Two participants did not complete the post‐survey and three  others answered all of the questions but the last question.    

Appendix B lists the first set of ten survey questions, which were asked prior to the 

LeaderShape Institute.  These questions were meant to gauge the participants’ level of campus  involvement, complexity of personal social networks, and to see whether they have a role  model and/or mentor.  For the first eight questions, participants answered on a likert scale of   1 (0‐3 in frequency or number), 2 (4‐6), 3 (7‐9), 4 (10‐12) or 5 (greater than 13).  The last two  questions were answered either yes or no. 

   

 

Honors LeaderShape 6 

Tables 1 and 2 feature the set of survey questions participants completed before and 

after the session.  The questions in table 1 asked participants to rate their agreement to a series  of situational statements on a likert scale of strongly disagree (‐2), disagree (‐1), neutral (0),  agree (1) or strongly agree (2).  Next, participants were asked to rate their confidence level in  accomplishing a list of tasks on a likert scale of low (1), fair (2), moderate (3), good (4), or high  (5).  The final set of questions asked participants to identify the term that best describes them  as a leader (1= independent, 2= interdependent, or 3= dependent), their view of leadership (1=  positional or 2= relational), and to define leadership in their own words.  Data Analysis   

Responses to the initial set of questions asked in Appendix B of the participants were 

compiled and analyzed using statistical analysis software.  A correlational matrix of the  questions are shown in Table 3.  The statistical significance of the questions show that  involvement in a student organization does play a role in the meaningfulness of a student’s co‐ curricular experience and support networks.  It is interesting to note how much there is a  statistically significant correlation between the size of one’s peer support network and the  amount of trust conferred in their relationships, but relationships was not a word commonly  associated with leadership until after the LeaderShape experience.  Hypothetically, as one’s  circle of peer influence increases, trusted peers do not have the opportunity to add dimension  to the relationship through role modeling and mentorship.  Furthermore, the amount of adults  serving as sources of affirmation and support are seen solely as role models for participants and  does not progress towards mentorship opportunities.   

   

 

Honors LeaderShape 7 

Although peer networks in student organizations are important and meaningful to the 

participant, practice is needed to nurture relationships.  Pre and post analysis of the responses  to the situational agreement (Table 1) and ability assessment (Table 2) questions showed  statistically significant shifts in participant self‐confidence, interpreted confidence received  from peers, and self‐awareness of identify.   Participants recognized the importance of  developing inclusive relationships and the possibility of conflict to produce extraordinary  results.  The results also show that students have a high confidence in their ability to take risks,  become visionary, and become change agents.  Further involvement in campus organizations  would help build confidence in communicating effectively, delegating, and fostering inclusive  relationships with diverse populations.   

Finally, the impact of the LeaderShape Institute is visually apparent when participants 

were asked to define leadership in their own words before and after the experience.  The words  were converted into two separate text documents and converted into word clouds using a web  site called Wordle.net.  According to the web site, the word clouds “give greater prominence to  words that appear more frequent in the source text” and provides a frequency distribution  based on the words used (Feinberg, 2009, n.p.).      

The total number of words used by all participants when defining leadership before the 

experience was 820 (M=23.3, N=31).  Figure 1 is the word cloud of the students’ definition of  leadership before the LeaderShape Institute.  Before the experience, some of the more  commonly used words in the definition included the following: vision, leader, goals, ability,  others, people, group, guide, goals, common, and positive.   

   

 

Honors LeaderShape 8 

After the experience, the total number of words used by all participants to define 

leadership was 865 (M=27.3, N=31), an increase of 5 %.  The word cloud in Figure 2 shows how  different words have increased in frequency and scale.  For example, before the LeaderShape  Institute, the word “vision” was used six times.  After the LeaderShape Institute, the same word  appeared 19 times in the students’ definitions.  In addition to the previously mentioned words,  the following words appear in greater frequency after the experience: change, relationships,  community, towards, integrity, and action.  A paired t‐test analysis of the definitional word  count showed no statistical significance (t=1.224, df=30, p>0.10) between the before and after  LeaderShape experience.  Although there was no statistical significance in the number of words  used by the participants the word clouds illustrates the increased depth in student responses.  Results and Findings   

As a learning experience, the LeaderShape Institute offers students the opportunity to 

gain skills to develop an understanding of various leadership perspectives, specifically the idea  of leading with integrity and acting congruently with their values.  Through family cluster  discussions and learning community activities, participants have identified with various the  roles and characteristics of a leader and begun to realize the impact of their actions.  Finally,  the development of breakthrough blueprint for future individual visions provided students  significant direction and the confidence to produce results.  The pre‐ and post‐survey results  support the student gains from such an experience. Comparing the two word clouds (aka,  “wordles”) clearly shows how an experience affects a student’s definition of leadership.   Referring back to the initial evaluative questions, the survey items could be tied to each of the 

 

 

Honors LeaderShape 9 

four University Honors Program leadership learning objectives and illustrate how an experience  would address a student’s development as a leader.     

Anecdotally, several of the University Honors Program staff members who participated 

as cluster facilitators developed a strong connection with the participants.  Several participants  have gone on to become more involved in the University Honors Program through the student‐ run auxiliary organization or assist in the implementation of first‐year experience initiatives.    Affiliation with the University Honors Program may increase the perceived support and  affirmation from the staff and foster possible role model and/or mentor opportunities.  The  connection with the program could also offer students to further their leadership skills through  other classes, conferences, and/or high impact retreats.   

As students increase their skills and social networks, it may be interesting to follow 

them as they place their newfound leadership skills in context in their co‐curricular  involvement.  Although the pre‐ and post‐survey results did not show a statistically significant  difference, the participants recognized that leadership could be more positional but their  personal view of leadership is both relational and interdependent.  It may be worthy to reassess  the students to measure residual effects from the LeaderShape Institute and their impact on  their peers, social networks, and co‐curricular involvement.  Conclusion    

Overall, the University Honors Program needs to continue offering the LeaderShape 

Institute.  Although the pre‐ and post‐ assessment showed statistical significance for several  variables, decisions in revising the University Honors leadership learning objectives should not  be based on an experience that benefitted 37 students, which is probably the most significant 

 

 

Honors LeaderShape 10 

weakness considering the LeaderShape Institute curriculum is based on 60 participants.  As  more students participate in the program, the data collection and analysis would add to the  breadth of the experience and offer future conclusions on growth by a high‐achieving student  population.  To add depth in measuring the effectiveness of the LeaderShape Institute, the  University Honors Program may want to follow the first‐year student participants to determine  whether the skills obtained through the experience are retained, enhanced, or lost as they  increase their social network and get more involved with the University of Cincinnati.   

Since the survey questions could be tied to the University Honors leadership learning 

objectives, the survey has applicability to other leadership seminar courses or learning  opportunities offered by the program.  As part of the University Honors course proposal  process, faculty could identify how the course objectives meet the leadership learning  objectives.  When embedded in course evaluations, a comparison can be made between faculty  member expectations and student value.  Randomly selected seminars or experiences could  have students complete a pre‐ and post‐survey to possibly draw comparisons between the  average responses over time.  In the end, the LeaderShape Institute’s survey may provide an  additional story thread to the University Honors Program’s overall assessment practices. 

 

 

Honors LeaderShape 11 

References  Feinberg, J. (2009). Index. In Wordle:  Beautiful Word Clouds. Retrieved June 1, 2009, from  http://www.wordle.net.  LeaderShape Institute (2009).  The LeaderShape Institute Curriculum.  Retrieved June 1, 2009,  from http://www.leadershape.org. 

 

 

Honors LeaderShape 12 

Appendix A.  Leadership Reflective Essay Rubric  The table below is the rubric used to evaluate reflective essays resulting from experiential  learning projects within the University Honors Program leadership thematic area 

 

 

Honors LeaderShape 13 

Appendix B.  Pre‐Survey Questions  (1) 

How many leadership programs, classes, conferences, retreat, etc. have you  attended? 

(2) 

How many organizations (student organizations, religious organizations, Greek  organizations, athletic team, community organizations, jobs, etc.) are you  currently involved with at any level? 

(3) 

How many organizations (student organizations, religious organizations, Greek  organizations, athletic team, community organizations, jobs, etc.) are you  currently involved with at any level that you would consider your involvement  “meaningful” to you as an individual? 

(4) 

How many friends do you have that can influence your decisions and behaviors? 

(5) 

How many adults serve as sources of affirmation and support? 

(6)  

How many peers serve as sources of affirmation and support? 

(7) 

How many peers do you fully trust? 

(8) 

How many times per week do you practice quiet reflection or meditation? 

(9) 

Do you have someone who you consider a role model? 

(10) 

Do you have someone who you consider a mentor? 

 

 

Honors LeaderShape 14 

Table 1.    Situational Agreement Questions    

Pre  

Post 

t‐score 

Sig  

(mean) 

(mean) 

I view conflict as something to be avoided.  

‐0.081 

‐0.649 

3.841 

0.0005** 

I view change in organizations as vital  

1.216 

1.595 

‐2.578 

0.014* 

1.324 

1.622 

‐2.227 

0.032* 

0.703 

1.027 

‐2.640 

0.012* 

1.000 

1.297 

‐3.168 

0.003** 

‐0.622 

1.297 

‐0.784 

0.4380 

(2‐tailed) 

for growth.   I view the ability to develop inclusive  relationships fundamentally important to the  role of a leader.   I have a deep self‐awareness of who I am and  how others see me.   My peers express confidence in me and   my abilities.   Leadership is more positional than individual.    Note. Participants rated each statement on a scale of strongly disagree (‐2), disagree (‐1),  neutral (0), agree (1) or strongly agree (2).  * p < 0.05.  ** p < 0.01 

 

 

Honors LeaderShape 15 

Table 2.    Ability Assessment Questions    

Pre  

Post 

t‐score 

Sig  

(mean) 

(mean) 

My ability to take risks  

3.216 

3.892 

‐3.995 

0.000* 

My ability to manage and resolve conflicts  

3.784 

3.946 

‐0.829 

0.413 

My ability to identify my own strengths and 

3.892 

4.270 

‐1.691 

0.100 

3.676 

4.054 

‐1.537 

0.133 

3.243 

4.027 

‐4.117 

0.000* 

4.324 

4.351 

‐0.138 

0.891 

4.027 

4.297 

‐1.168 

0.250 

My ability to delegate tasks and responsibilities  

3.514 

3.838 

‐1.394 

0.172 

My ability to effectively communicate with my 

3.703 

3.973 

‐1.405 

0.169 

3.216 

4.297 

‐5.062 

0.000* 

(2‐tailed) 

weaknesses  My ability to develop relationships with others  who are different from me  My ability to create and implement changes in  my organization or community   My ability to commit and act consistently with  my core ethical and personal values  My ability to recognize when my behavior is not  in congruence with my values  

peers both verbally and non‐verbally   My ability to create a vision or ideal future for  my community or organization  

 

 

Honors LeaderShape 16 

  My ability to articulate the action steps 

3.216 

4.027 

‐4.379 

0.000* 

My ability to produce extraordinary results  

3.162 

4.135 

‐5.548 

0.000* 

My own self‐confidence  

3.432 

4.162 

‐4.248 

0.000* 

 

 

 

 

1.865 

1.703 

1.291 

0.205 

1.973 

1.811 

1.782 

0.083 

necessary to implement my vision  

   Which term best describes you as a leader  (independent=1; interdependent=2;  dependent=3)?  Which word best describes your view of  leadership (Positional=1; Relational=2)?   

Note.  Participants rated their confidence level for each of the leadership tasks on a scale of   low (1), fair (2), moderate (3), good (4), and high (5).  * p < 0.01 

 

 

Honors LeaderShape 17        

 

 

Honors LeaderShape 18 

  Figure 1.  Word cloud of participants’ definition of leadership before LeaderShape.     

  Figure 2. Word cloud of participants’ definition of leadership after LeaderShape.