Sql Server Integration Services - SSIS

SQL Server Integration Services - SSIS הוא כלי רב עוצמה לאיסוף נתונים והבאתם אל מחסן הנתונים. כדי לאפשר למשתמשים לתחקר את הנתונים מן המערכות התפעוליות השונות יש צורך בכלי ETL חזק לביצוע המשימה.
הכלי הינו כלי GUI פשוט וקל לתפעול , בדיוק כמו שמיקרוסופט יודעים לעשות , אך עדין יש צורך בהבנה ותכנון התהליכים.
הכלי מגיע כחלק אינטראלי מה- Microsoft SQL Server 2005 / 2008 / 2008 R2 (בגירסא 2000 נקרא DTS)

Extract Transform Load

לפי מחקרים רבים מימוש ה ETL הוא החלק היותר מסובך ומורכב בבניית מחסן הנתונים.
פתרון ETL טוב שתוכנן היטב חייב לעמוד במספר קריטריונים:

Extract

• ניקוי המידע
  • סידור הנתונים בסטנדרט אחיד. למשל US, u.s.a, U.S.A כולם הופכים לערך USA.
  • מחיקת כפילויות
  • בדיקת חוקיות ערכים
• הכנת המידע לטעינה אל מחסן הנתונים על ידי מציאת המפתח המתאים לערכים החדשים.
  • כך למשל, בהחלט ייתכן שללקוח מסויים יש קוד X במערכת ההזמנות וקוד Y במערכת הכספים. לפני טעינת המידע יש לקבוע מפתח אחד בלבד ללקוח.
  • מציאת התאמה חלקית (Fuzzy Lookup) כלומר מציאת כפילויות והתאמות גם כאשר אין התאמה מלאה בין הנתונים.
• מימוש חוקיות עסקית מסובכת
• If it moves – log it
  • תיעוד של תהליך ה Transform. כמה רשומות עברו, מה מקור המידע, מתי, כמה רשומות עברו תהליכי טרנספורמציה ומאיזה סוג. מה הרשומות שהוגדרו כלא תקינות ולא יכולות להיטען אל מחסן המידע וכדומה.
• קביעת Data Profile – ניתוח מבנה המידע החדש ויצירת תבנית (Pattern). כאשר מגיע חדש, נעשית השוואה מול התבנית ונבדקות חריגות. כך למשל, מתבצע ניתוח של פיזור המידע והמערכת מתריאה על כמות חריגה של רשומות (הרבה או מעט יחסית לתבנית), יותר מדי ערכי NULL, ערכי מינימום ומקסימום חריגים וכדומה.

Transform

• הבאת נתונים ממספר מקורות מידע, חלקם טבלאיים וחלקם לא. מקורות המידע הנפוצים הם SQL Server, Oracle, DB2, Sybase, Text Files, Excel Files
• הבאת נתונים ממקורות מידע דינמיים. בדרך כלל קבצי טקסט וגליונות אקסל בעלי שמות משתנים.
• פגיעה מינימאלית בביצועי השרתים של מקורות המידע.
• זיהוי חכם של המידע החדש וטיפול במידע זה בלבד

Load

• טעינת המידע אל מחסן הנתונים במהירות
• זיהוי רשומות בעייתיות
• More logging – תיעוד של טעינת המידע אל מחסן המידע
• First Verification – בדיקת הנתונים שנטענו במחסן המידע מול הנתונים במערכת התפעולית.
• Cube Processing – טעינת הנתונים אל קוביות OLAP
• Second Verification – בדיקה של הנתונים בקוביות מול הנתונים במחסן המידע.

הנסיון שלנו

חברת TWINGO מתמחה באפיון וניתוח תהליכי ETL , ביצוע אופטימיזציה ומימוש בפועל של התהליכים. היועצים המומחים של חברת טווינגו ישמחו לסייע בכתיבה בפועל של SSIS Packages ומימוש תהליכי ETL לאור כל העקרונות של פתרון טוב ויעיל.
אפיון צרכי המשתמש, מימוש בפועל של התהליכים העסקיים בדגש על ניטור, ביצועים טובים ויכולת גדילה של נפח הנתונים.

שירותים נוספים בתחום Integration Services - SSIS

• הסבה מ SQL Server 2000 DTS אל Integration Services
• Integration Services Performance Review - ניטור המצב הקיים, זיהוי צווארי בקבוק והמלצות לשיפור ביצועי ה Integration Services Packages
• קורסים והכשרות - בניית תוכנית הדרכה שנתית לארגונים בנושאים מתקדמים בIntegration Services והדרכתם בפועל בהתאם לצרכי הלקוח.