Moshav Bnei Zion P.O.Box 151, 60910 Israel Tel. 972-9-7907000 Fax. 972-97442444
סיכום מפגש "שולחן עגול" בנושא
פרויקטים בחדרי מחשב ספטמבר 2008
מנחה :שחר גייגר מאור
Moshav Bnei Zion P.O.Box 151, 60910 Israel Tel. 972-9-7907000 Fax. 972-97442444
תוכן תקציר מנהלים
.................... ................................ 3 ................................
חלק ראשון -מגמות בתחום חדרי המחשב בישראל ובעולם חלק שני –סיפורי לקוחות סיפור לקוח :1סיסקו סיפור לקוח :2פרוייקט תהיל"ה סיפור לקוח :3בנק לאומי
..................... 4.
............................ ........ 5 ................................
.................. ................................ 5 ................................ ......................... .... 6 ................................ ................................ ............ 7 ................................
Moshav Bnei Zion P.O.Box 151, 60910 Israel Tel. 972-9-7907000 Fax. 972-97442444
תקציר מנהלים המפגש הפעם התנהל בצורה שונה ממפגשים דומים בעבר בכך שהוא חולק לשלושה חלקים עיקריים: בחלק הראשון הוצגו מגמות בסביבת חדרי המחשב ויוזמות חדשות בתחום חדר המחשב הירוק ע"י שחר מ .STKIבין השאר הוזכר בהרחבה פרוייקט שנעשה ע"י ה Silicon Valley Leadership Group ובו נעשה ניסיון להדגים האם ארגון "מן השורה" יכול ליישם טכנולוגיות best practiceכפי שאלה הוגדרו ע"י הסוכנות האמריקאית להגנת הסביבה ( )EPAבנייר רשמי שהוגש לקונגרס באוגוסט .2007 בחלק השני הוצגו שלושה סיפורי לקוח :מר שוקי לוי ,מנהל התשתיות הפיזיות במעבדות סיסקו ,הציג שינויים שנערכו בחברה בסביבת חדרי המחשב במעבדות כדי לעמוד בדרישות המיחשוב בארגון בשנים הקרובות; סיפור לקוח נוסף היה תיאור פרוייקט חדר המחשב מקורר המים של תהיל"ה מממשל זמין, אותו הציג מר חיים אפריים ,מנהל חדר המחשב ובו סופר על השיקולים שהובילו את אנשי תהיל"ה לטכנולוגיית קירור מבוססת מים שאינה שכיחה בישראל ועל בעיות או אתגרים בתפעול המתקן .סיפור לקוח שלישי ,אותו הציג מר איתן דן ,ראש ענף מערכות תפעול בבנק לאומי הציג את השיקולים שהובילו את הבנק להתחיל פרוייקט בינוי גדול לחדר מחשב ממוגן ותת קרקעי אשר נבנה בימים אלה. בחלק השלישי של המפגש התנהל דיון קצר בין הארגונים סביב השולחן על סוגיות שונות בתכנון חדרי מחשב ובעיות קיימות בתחום.
Moshav Bnei Zion P.O.Box 151, 60910 Israel Tel. 972-9-7907000 Fax. 972-97442444
חלק ראשון -מגמות בתחום חדרי המחשב בישראל ובעולם שחר מאור.STKI , נקודות עיקריות ממצגת מגמות בתחום חדרי המחשב בישראל ובעולם: חדרי מחשב הם צרכן החשמל מספר אחד ברובם המוחלט של הארגונים בעולם .חדר מחשב יכול לצרוך חשמל אפילו עד פי 40על כל מ"ר יחסית לשטח משרד רגיל אחר. סקר שנעשה ע"י STKIבתחילת 2008מראה כי ברוב הארגונים בישראל יערך שינוי משמעותי או בנייה של חדר מחשב בשנתיים הקרובות ,מה שמדגים בצורה טובה את הדינמיות הגדולה שבה מנהלי מערכות המידע עובדים .השינויים בשרתים ובחדר עצמו נעשים תכופים יותר ויותר עקב עליה דרמטית בדרישות המיחשוב של העסק. מחקרים שונים בתחום מראים כי בהצגת הקצאת צריכת החשמל בחדר המחשב לצרכנים מגלים כי כ 50%מכלל החשמל מיועד למערכות המיזוג והקירור ,כ 20%מיועד למערכות ה UPSוהתאורה ורק כ 30%מכלל החשמל מגיע לציוד ה ( ITשרתים ,אחסון ותקשורת) .מספרים אלה מצביעים על חוסר יעילות משווע בהפעלת חדר המחשב במונחי צריכת חשמל .ממצא זה מסביר גם את העניין הגדול שיש בשיפור מערך קירור החדר כחלק מהתייעלות הפעלת חדר המחשב. אחד הנתונים שעוררו הכי הרבה ויכוחים היה טבלה שהוציא ארגון ASHRAEהאמריקאי ובה הוצגה תחזית צריכת החשמל לארון של ציוד ITבשנים הקרובות .בין השאר נטען ע"י הארגון כי ארון שרתים בקונפיגורציה מלאה עלול להגיע לצריכת חשמל של כ KVA36בשנת .2014חלק מהנוכחים טענו כי מדובר בנתונים שאינם נכונים ,לדעתם וחלק אחר הסכימו שבחלק מהמקרים המספרים יכולים להיות קרובים לכתוב .בכל מקרה מדובר בנקודה שמעסיקה לא מעט ארגונים שעומדים בפני תכנון חדר מחשב בשנים הקרובות. תחזית מעניינת נוספת נערכה ע"י ארגון AFCOMולפיה עד 2010יאלצו יותר מחצי מחדרי המחשב לעבור מקום או להוציא חלק מהפעילות שלהם למיקור חוץ עקב מחסור במקום .ממצא זה דומים למחקרים דומים בארץ ובעולם .ממצאים אחרים מצביעים על מצוקה באספקת חשמל למתקנים והפרעות ממשיות לפעילות העסק כתוצאה מכך. אחד המדדים המובילים בתחום לבדיקת פעילות חדרי המחשב הוא מדד בשם Power Usage ( PUE .)Effectivenessמדד זה מתאר את יעילות הקצאת החשמל בחדר המחשב ע"י כך שהוא מחלק את סך כל החשמל שנמדד בנקודת הכניסה לארונות חדר המחשב בסך החשמל שמועבר נטו לשרתים ,למכונות האחסון וציוד התקשורת .ע"פ ממוצעים שנמדדו בארגונים שונים ברחבי העולם ,יחס ממוצע עומד על ערך של ,2-3כלומר על כל קילוואט חשמל שזורם לציוד ה ,ITמוזרם עוד קילוואט אחד עד שניים למערכות תומכות מסביב (מיזוג אויר ,UPS ,תאורה וכו') .על פי נתוני ה ,EPAמצב של best practice בתחום מדבר על PUEשל 1.3-1.6ואילו state of artעומד על רמה של .1.2לא הרבה ארגונים בארץ מודעים בכלל למדד הזה ואחוז נמוך יותר ביצעו מדידה בשטח .מבין הארגונים שכן מדדו ,באחד הארגונים נמצאה שונות גדולה יחסית בתוצאות של מדידה בימים חמים וקרים בשל ההבדל בהיקף
Moshav Bnei Zion P.O.Box 151, 60910 Israel Tel. 972-9-7907000 Fax. 972-97442444
השימוש במערכות מיזוג אוויר בימים חמים יותר ,אולם החשיבות הגדולה של מדידה כזו אינה בתוצאה המספרית הראשונית אלא בהצגת שיפור על פני זמן. אחד הגורמים הדומיננטיים בתחום ייעול עבודת חדרי המחשב הוא ה EPAהאמריקאי .בעקבות דו"ח מקיף שהגיש גוף זה לקונגרס ובו תיאור תמונת המצב בחדרי המחשב בארה"ב והמלצות לפעולה כדי להוריד את צריכת החשמל בחדרים אלה בשנים הקרובות ,לקח על עצמו גוף בשם The ( SVLG )Silicon Valley Leadership Groupבשיתוף גופים נוספים לבדוק האם ההמלצות של ה EPA יישימות "בשטח" ,כלומר בחדרי מחשב פעילים של חברות פעילות במקום במעבדות או במכוני מחקר. עוד על הפרוייקט הזה ,ניתן למצוא בקישור הזה. בסקירה מובאות הפעולות השונות שנעשות בישראל בחדרי מחשב כחלק מהתמודדות עם הבעיות הקיימות .בין השאר דובר על ביצוע סקירות תרמיות של חדר המחשב כדי לגלות נקודות חמות ,כשלים בפיזור האוויר החם או הקר ,על שיטות שונות למיזוג אוויר ומים ,על טיפול בשרתים עצמם ובאחסון כדי לעשות אופטימיזציה של פעילות חדר המחשב ועוד .כמו כן ניתנה התייחסות לשימוש באנרגיה חליפית לתפעול חדר המחשב ועל יישימותה ,אם בכלל ,בישראל.
חלק שני –סיפורי לקוחות סיפור לקוח :1סיסקו מר שוקי לוי ,מנהל התשתיות הפיזיות במעבדות סיסקו בישראל. לאחרונה נבנתה מעבדה חדשה ובה 120ארונות שרתים .יש להם בסה"כ 6מעבדות .מהניסיון הקודם שיש להם עם תשתית "מסורתית" של חדר מחשב (ריצפה צפה ומחוררת עם תשתית חשמל בפנים וכו') הם הבינו שלא יוכלו לספק את דרישות המיחשוב של העסק ולכן חיפשו פתרונות אחרים .המעבדות הקיימות תוכננו לספק צריכת חשמל של כ KW 3לארון .בשנים האחרונות עקב העלייה בצריכת החשמל בארונות נוצר מצב שהשליש העליון של הארונות לא מקורר כראוי .הם גילו שאין להם מחסור באמצעי מיזוג אלא בעייה בהפניית האו ויר הקר למקומות שצריך לקרר .בהמשך למה שדובר עליו בתחילת הדיון על בדיקות תרמיות לחדר המחשב –בסיסקו לא ערכו ניתוח תרמי תקופתי אלא צילום תרמי חד פעמי של החדר .הצילום הזה הוצג בפני מנהלי המעבדות ומקבלי ההחלטות וזה הספיק להם כדי להבין שאי אפשר להמשיך עם המצב הקיים וצריך לעשות שינוי מהותי .מובילי המהלך עטפו את הנתונים שהוצגו להנהלה בסיסמא שתפסה תשומת לב בארגון" :בשביל לקרר כוס חלב לא צריך לקרר את המטבח, מספיק להכניס אותה למקרר". הצוות של שוקי עובד בצמוד לצוותי המעבדות ושיתוף הפעולה הזה מייעל מאוד את התכנון לטווח ארוך בחדרי המחשב .אין מהלך במעבדות ,אשר יש לו משמעות תשתיתית ,שמאושר לפני ששני הצדדים יושבים ביחד ומבינים את המשמעויות הנגזרות מהמהלך .כחלק משיתוף הפעולה נערך מעקב סטטיסטי על צריכת החשמל בחדרי המחשב לאורך השנים .הסטטיסטיקות מצביעות על עלייה של KW 3בין השנים .2002-2005בשנת 2008ממוצע הצריכה לארון עמד על KV 5.3והצפי ל 2010הוא KW 12 לארון בממוצע .הם החליטו להכשיר מספר ארונות מקור רים לעומס של 15-20 KWואת השאר לצריכה נמוכה מזה מתוך הבנה שרק בחלק מהמקרים הדרישה תגיע לרמות הגבוהות ביותר וגם מתוך הבנה
Moshav Bnei Zion P.O.Box 151, 60910 Israel Tel. 972-9-7907000 Fax. 972-97442444
שהם יצטרכו עוד הרבה שטח פיזי (שאין להם) כדי להציב את המערכות שנלוות לארונות צפופים במיוחד .בפועל המערכת במעבדה החדשה מתמודדת בהצלחה עם ארונות בעומס של .KW 7 בעייה ייחודית לעבודת מעבדה היא בעיית הרעש .בחלק מהמדידות הגיעו לעוצמת רעש של 85דציבלים (ע"פ החוק 85 ,דציבלים הם בדיוק על גבול הרעש המזיק והם שקולים לעוצמת הרעש ממסור יד או כמעט מנוע של טרקטור ,ש.מ). הפתרון שעשו בו שימוש הוא ארונות סגורים מיוחדים עם מאוורר למעלה ובקר טמפרטורה שמפעיל את המאוורר לפי הצורך .ארונות אלה מייתרים את הצורך במיקום הכבילה מתחת לרצפה ומאפשרים הוצאת הכבילה לתוך הארון ולתקרה .הם עובדים עם פסי צבירה בתקרה כדי לצמצם את הכבילה למינימום והאוויר החם נפלט למעשה לחלל החדר מהחלק העליון של הארון .כמה חודשים לפני סיום בניית המעבדה נוצר צורך להוסיף עוד שני ארונות של KW 20ולכן הוחלט תוך כדי תנועה להוסיף שני ארונות מקוררי מים .שיטת קירור זו (ע"י מאוררים,וארונות מקוררי מים) חוסכת את ההתלבטות האם לסדר את החדר למסדרונות קרים וחמים. בכל ארון הותקנו שני חיישני טמפרטורה :אחד בחלק העליון והשני –בתחתון .שוקי מקבל התראות ו SMSעל כל שינוי מהותי בטמפרטורה בארונות .יתרון נוסף בהצבת חיישנים הוא היכולת לבצע שינויים בשרתים ובמערכת המיזוג מבלי לחשוש לפגיעה בציוד עקב עליית הטמפרטורה .הם כיילו את המערכות כך שטמפרטורת הכניסה ברצפה הצפה לשרתים תעמוד על כ 18מעלות .בפועל אוויר נכנס לשרתים ב 22מעלות. לפני בחירת הפיתרון לעיל הם בחנו מספר יצרנים ומספרים סוגי פתרונות שעבדו אצלם בתנאי שטח אמיתיים .הוא התעקש על הדמייה קרובה למציאות בכל פיתרון שבחן כדי לראות שהפיתרון באמת עומד בדרישות של הארגון .הפיתרון שבחרו הוריד את עוצמת הרעש ב 20דציבלים בערך. היעילות שלו נמדדת יחסית למעבדות אחרות בחברה .כתוצאה מפריסת הפיתרון הזה הוא הצליח לכבות הרבה מזגנים ולמרות זאת לקרר את החדר לטמפרטורה יותר גבוהה מהמצב במעבדות אחרות. במעבדה רגילה הטמפרטורה ברצפה היא כ 14-16מעלות ואילו במעבדה החדשה הטמפרטורה גבוהה יותר (16-19מעלות) .על פי הנוסחאות המקובלות כל מעלה שווה כ 5%בעלויות האנרגיה" .המחיר" שצריך לשלם הוא שימוש בכשישה Uגובה כדי לא לפגוע ביעילות הקירור בארון ,כלומר בארון של U 42 ניתן לעשות שימוש ב .U 36 נקודה אחרונה ומעניינת היא שימוש בשקעים מנוהלים לחיסכון בחשמל באמצעות תוכנה שנכתבה אצלם בבית .כל שקע מנוטר ונשלט מרחוק ,כך שניתן להוריד את החשמל לשרת בכל נקודת זמן .השליטה ניתנה לעובדי המעבדה שמתפעלים את הציוד והם אחראים לכבות את השרתים בזמני העדרות מהעבודה בין אם מדובר בסוף יום עבודה ,מילואים או כל היעדרות דומה .מהלך זה מביא לשיתוף העובדים באחריות לצמצום העלויות. סיפור לקוח :2פרוייקט תהיל"ה מר חיים אפריים ,מנהל חדר המחשב בפרוייקט ממשל זמין ,תהיל"ה.
Moshav Bnei Zion P.O.Box 151, 60910 Israel Tel. 972-9-7907000 Fax. 972-97442444
פרוייקט תהיל"ה מארח את אתרי האינטרנט של כל משרדי הממשלה .הם כבר שנתיים באוויר עם פרוייקט קירור המים ועד היום לא נתקלו בבעיות .לפני המעבר לחדר החדש חדר המחשב מוקם בחדר בגודל של 50מ"ר בתוך בניין משרד האוצר .במרכז המיחשוב היו להם שני טורים של 22ארונות בסה"כ .לאחר השינוי הם עברו לחדר של 90מ"ר .בהתחלה עבדו עם מערכת מיזוג עילית שגרמה להם להמון בעיות .החדר ממוקם בבניין האנרגיה שבעתיד אמור לספק חשמל לכל קריית הממשלה העתידית. כיום המרכז מספק חשמל ומים לבניין "ג'נרי" ( 2000עובדים) וכן למשרד החוץ .הבניין מקבל שתי הזנות מתח גבוה משתי תחנות שונות .במקרה הצורך קיימים גנרטורים של קריית הממשלה שמסוגלים לספק עד .MV 3כלומר תשתית חשמל ומים לא היוותה בעיה עבורם .הבעייה שלהם הייתה מגבלת מקום חמורה ולכן החליטו ללכת לכיווןן של קירור מים. הארונות מכילים שני צינורות מים :מים קרים ומים חוזרים שיוצאים מהמערכת .הקירור בתוך הארון אחיד לכל אורכו ואין בעייה עם אזורים שאינם מקבלים תשומות קירור .כיול המערכת נעשה ל 15מעלות בנקודת הכניסה לשרתים וניתן ,כמובן ,לשנות זאת לפי הצורך .תשתית החשמל מגיעה מהצד לארונות ויורדת מהתקרה ,כך שאין למעשה ריצפה צפה .השטח הפנוי לשרתים בכל ארון הוא כ .U 35באתר הוכנו 20ארונות ותשתית ל 10ארונות נוספים .כיום כל ה 30מאוכלסים עם כ 1000שרתי פיצה בסה"כ וכבר יש תכנון להוסיף חווה חדשה בקומה מעל .יש להם בחדר שני UPSשל KVA 160עם שני פסי צבירה ושתי הזנות לשרתים .גם מערכת קירור המים מגובה עם צ'ילר נוסף. סיפור לקוח :3בנק לאומי מר איתן דן ,ראש ענף ניהול מערכות ,בנק לאומי. נציג בנק לאומי סיפר במפגש על מיזם מקיף של תכנון ובניית אולם מחשוב גדול בחצרות קמפוס הבנק בלוד (קש"ב). לבנק שני מרכזי מיחשוב מרכזיים :באתר קש"ב בלוד האתר משמש כמרכז מחשוב ייצור ובת"א האתר משמש כמרכז מיחשוב ,גיבוי ,פתוח ומעט ייצור .מרכזי המיחשוב של בנק לאומי הוקמו לפני שנים רבות ומילאו את יעודם בהצלחה רבה וממשיכים לעשות זאת עד עצם היום הזה .לאור הדרישה ההולכת וגוברת לרציפות עסקית ולזמינות המידע ושרידות המערכות ,יחד עם הסביבה הטכנולוגית הדינאמית , מחייבת המציאות שדרוג של התשתיות .השינויים נובעים מהרחבת הפעילות העסקית הנסמכת על תשתיות מיחשוב מתקדמות ,אשר מחייבות צריכת אנרגיה מוגברת ,כמו גם מענה לקירור בשל צפיפות יחידות המיחשוב ,גידול בעוצמות המיחשוב ולעתים התמודדות עם משקל הציוד הרב ולזה יש להיערך במבנה מתאים. המגמה העולמית באירגונים גדולים ובינוניים מלמדת שרוב מרכזי המיחשוב הקיימים לא יעמדו בדרישות הקיבולת ללא שידרוגים ,הרחבות או העברה למתקן אחר .לכך יש להוסיף את התגברות הסיכונים והאיומים על מרכזי המיחשוב .אירועי ה 11 -בספטמבר ,2001היוו נקודת מפנה בעולם וגרמו להדגשת החשיבות של מתקני גיבוי ולהקשחת הדרישות הרגולטוריות .בישראל -מלחמת לבנון השניה חידדה את הצורך במיגון תשתיות המיחשוב ,האנרגיה והעובדים מפני טילים ולכן נדרש למגן את אתר הייצור ולהקים מתקן גיבוי שיאפשר המשכיות עסקית והתאוששות מהירה מאסון.
Moshav Bnei Zion P.O.Box 151, 60910 Israel Tel. 972-9-7907000 Fax. 972-97442444
כדי לתת מענה לנושאים שצויונו ,הוחלט לפעול במספר מישורים :לשפר ולהתאים את התשתיות להתפתחויות הטכנולגיות באתרים הקיימים ,כדי להבטיח פעילות תקינה של המערכות ולאפשר יישום וקליטה של מערכות מיחשוב מתקדמות .כמו כן הותנע מהלך של הקמת מרכז מיחשוב חדש ,מאובטח ומוגן (תת קרקעי) אשר תואם לאפיונים וסיקרי סיכונים ,כפי שמוגדרים למתקנים מסוג זה .בין השאר כולל מתקן זה מרכז אנרגיה חדיש ותת קרקעי התואם את הדרישות והצרכים בראיה של 20שנים קדימה .במרכז המיחשוב החדש ייושמו כל העקרונות והתפיסות של הקמת מרכז מיחשוב חדש כמו מבנה ומיגון ,תשתיות תקשורת ,כבילה ,מיחשוב ,אנרגיה ,קירור,מסלולי תשתית נפרדים לשני מקורות הזנה ,מערכת לניהול האנרגיה ,בטחון וכמובן ראיה של אתר מיחשוב "ירוק".