Show notes
פודקאסט מספר 368 של רברס עם פלטפורמה - אורי ורן מארחים בכרכור בערב חג הפועלים את שחף ואת אלכס להמשך סדרת Outbrain ושיחה על Kubernetes (להלן k8s) ו - Dyploma (בהמשך).הפרק בחסות Applied Materials, שהם (גם) ספונסרים של Reversim Summit 2019 (שוב רמז, כן. שריינו תאריכים ובואו בהמוניכם, יש אג’נדה).אפלייד מטריאלס היא מובילה עולמית בתחום ייצור השבבים והיחידה העסקית הישראלית שלה, בפארק המדע ברחובות, עוסקת בבקרת תהליך הייצור. קבוצת התוכנה בישראל מונה כ – 350 מפתחים העוסקים במגוון רחב של תחומים (DSP , deep learning , עיבוד תמונה , UI/UX , Frontend & Backend ) ובמגוון רחב של שפות (python, Java, C++ ועוד). יחד הם מתמודדים מול אתגרים בחזית הטכנולוגיה, פתרון בעיות מורכבות וחשיבה מחוץ לקופסא. הסיפוק של להיות חלק ממוצר פיזי, המורכב כולו כאן ומשלב תוכנה וחומרה שלבסוף מגיע ליצרניות המעבדים המובילות בעולם, הוא עצום. רב הסיכויים שהנייד דרכו אתם מאזינים לנו עכשיו עבר במהלך ייצורו במכונות הייצור והבדיקה של אפלייד מטריאלס. באפלייד שמים דגש על עבודת צוות, אפשרויות להתפתחות אישית וצמיחה והכל תוך איזון בין קריירה לחיים אישיים. לפני הכל - אלכס - 5 וחצי שנים ב - Outbrain, מוביל את קבוצת ה -Core Services: אחראים “מהרצפה שמחזיקה את השרתים” דרך Networking מערכות הפעלה, Provisioning ועד Deployment Pipeline - שזה שחף . . .שחף - ראש צוות Delivery ב - Outbrain (חלק מהקבוצה של אלכס), אחראי על כל מה שקשור ב -Build & Deploy, שילוב של DevOps ו - Backend.לא מזמן (יותר משנה, אבל עבר מהר) היה פרק שהתרכז ב Networking עם k8s ב - Outbrain; הפעם אנחנו מתמקדים יותר ברגע שלפני - למה בכלל לשקול k8s? איך זה קרה?בתור התחלה - זה לא קרה . . . במשך תקופה ארוכה היה רצון אבל כנראה שהיה חסר תמריץ מתאים; ככה חלפו משהו כמו שנתיים עם נסיונות שונים שלא צלחו.בסופו של דבר הגיע שילוב תמריצים מספיק טוב, למספיק בעלי עניין - מחיר - ציפייה לחסכון משמעותי בעלויות שרתיםגמישות - ב - Outbrain רצים על Bare Metal, וה - Lead time של מכונות הוא ארוך. ככל שיהיה ניתן לקצר אותו כך גמישות התפעול תגדל, לפחות תיאורטית.עבור מי שרץ על ענן - אין Lead Time, יש כפתור (“אני רוצה מכונה!”) וזהו (+ חשבונית. נחזור לזה).כשהשרתים הם של החברה, צריך לספק כוח חישוב זמין (אתה הענן).מכאן הגיע הצורך ב - Orchestration ו - (הנה זה בא) Containerization (כן, זו באמת מילה).אתגר לאקדמיה - קופסונים? אורי מציע המכלה. תחשבו על זה שנייה.בסוף הכל מתכנס ל - Velocity - רוצים שאנשים יוכלו לזוז יותר מהר, גם ב - Production וגם ב - Development.אז הכוכבים התיישרו - ואיפה אנחנו היום?מנהלים כיום שלושה Data Centers, כשכל אחד כמה מכיל מספר k8s clusters.סדר גודל של כ - 1500 מכונות ב - Production (עם כמה Containers של כמה צוותים על כל מכונה)מבחינת Distinct services - כ ~500 שרצים על ה - Clustersמעבר לכך יש Clusters שמיועדים לבדיקות וכו’ - משהו כמו עשרה Clusters בסך הכל.כל ה - Production workload רץ על k8s, או שיש גם מקומות אחרים (Batch cases, etc)?ה - Databases עדיין לא רצים ב - k8s; כל ה - workload שהוא Stateless (למשל Java services) רצים בתוך Containers.מה לגבי Batch processing - גם שם? עוד חזון למועד, אבל יש שאיפה גם בכיוון ה - State-full.עבור החלק הזה יש מערכות workflow פנימיות שנכתבו ב - Outbrain; יש שימוש ב - Containers על מנת לבודד למשל ספריות של Hadoop (על מנת להיות Self-contained), אבל כיום לא בתוך k8s (אולי בעתיד).ולחלק השני של הכותרת - מהי Dyploma?מההתחלה - שחף הגיע ל - Outbrain לפני שנתיים וחצי, והתבקש לפתח מערכת Build & Deploy על k8s: “הנה סט הדרישות - בהצלחה”.המטרה הייתה מערכת שיודעת לעשות Deployment על k8s, ליצור Object Orient service שלוקח את ה - Java client, לבנות עבורו את ה - flow וכו’.בגדול - “זה השרת שלי, ככה קוראים לו וככה ניגשים אליו - אני רוצה Build & Deploy על k8s”. אפשר לציין גם את מספר ה - instances ,נתוני זכרון ו - CPU - וזהו בגדול. המפתח לא צריך להכיר k8s, רק את Dyploma, מה שאמור להאיץ מאוד את קצב העבודה.בעצם - Dyploma היא Service שעוטף את k8s ומאפשר לעשות את כל ההגדרות (Routing וכו’).התלבטות נפוצה בשימוש ב - k8s (רן שואל בשביל חב…

