الدافع لتقديم البيانات في الوقت الفعلي
البيانات هي شريان الحياة للأعمال التجارية ولكن قيمتها تكمن في القدرة على تحويلها بسرعة إلى رؤى. وقد وصفته مجلة الإيكونوميست بأنه "بالنسبة لهذا القرن ، كان النفط بالنسبة للقرن الأخير: محرك للنمو والتغيير" ولكن غالبًا ما يكون من الصعب التنقيب فيه. ينصب تركيز العديد من الشركات الآن على تحسين نضج بياناتها ، من خلال النظر في كيفية تحسين بياناتها واستخدامها لتقديم رؤى في الوقت الفعلي.
هناك دافع مستمر لتقليل زمن الانتقال والوقت المستغرق للوصول إلى البصيرة من خلال استخدام الممارسات والعمليات والتقنيات ، والتي يشار إليها عادةً باسم DataOps ، والتي تسعى إلى تحسين التحليل. إنها قوة دافعة شهدت مؤخرًا إدارة البيانات رأساً على عقب. قبل ذلك ، كان النهج النموذجي هو تخزين البيانات المركزي الذي شهد استخدام عمليات تحميل وتحويل (ETL) المستخدمة لنسخها من المجالات إلى بحيرة بيانات عملاقة. لكن التركيز الآن على لامركزية البيانات لإنشاء تجمعات تبقى في ملكية المجال.
شبكة البيانات المتداولة
مثال على ذلك في العمل هو شبكة البيانات. من بنات أفكار Zhamak Dehghani الذي أسس شركة تقنية خفية تحمل نفس الاسم مخصصة لإعادة تصور منصات البيانات باستخدام تقنيات Data-Mesh الأصلية ، ترى Data Mesh أن كل مجال يتعامل مع خطوط أنابيب البيانات الخاصة به بينما توفر الشبكة الاتساق من حيث بناء الجملة والمعايير. (وهو يختلف عن Data Fabric في هذا الصدد لأنه يحتضن أيضًا نموذج تشغيل حوكمة متحد).
وصــل حديــثا
تمكن شبكة البيانات بشكل فعال من استهلاك البيانات كمنتج وقد ولدت مفهوم البنية التحتية للبيانات كمنصة. لقد تمت مقارنته بالتحول في هندسة البرمجيات إلى الخدمات المصغرة لأنه يمثل تغييرًا بحريًا في كيفية إدارة البيانات الضخمة وتخزينها ، مما دفع الشركات الكبيرة إلى الشروع في مشاريع تحويل البيانات في محاولة للوصول إلى بياناتها بسرعة أكبر وبشكل مستدام وعلى نطاق واسع. لكن الانتقال إلى Data Mesh يحتاج إلى دراسة متأنية.
يحذر Zhamak من أن تنفيذ Data Mesh ليس مجرد مهمة تكنولوجية ولكنه يتطلب تغييرًا ثقافيًا أيضًا داخل المؤسسة. تحتاج المنظمة إلى تبني سلوكيات جديدة بالإضافة إلى التكنولوجيا الجديدة لجني الفوائد بالكامل. إنه نهج يسعى إلى تسهيل مشاركة البيانات في كل مجال تشغيلي ، وبذلك يكون لديه القدرة على سد الفجوة الموجودة بين العمليات والتحليل. ولكن لكي يحدث ذلك ، يجب إشراك الممارسين والمهندسين المعماريين والقادة التقنيين وصناع القرار في اعتماده ، مما يجعله مشروعًا اجتماعيًا تقنيًا.
الطلب على مهندسي البيانات
اشتمل الإشراف على أي مشروع لتحويل البيانات دائمًا على بعض جوانب هندسة البيانات. كان مهندسو البيانات مسئولين سابقًا عن إعداد البيانات للتحليل ، ويحتلون هذه الأيام مركز الصدارة في تحويل البيانات. من تطوير أو اختيار منتجات وخدمات البيانات إلى دمجها في الأنظمة والعمليات التجارية الحالية ، فإنهم يحددون الشكل الذي ستبدو عليه حزمة البيانات الحديثة (MDS). وبالتالي ، فإن الطلب على مهندسي البيانات مرتفع الآن ، لكن التحول في اختصاصهم يعني أنهم بحاجة أيضًا إلى السعي لتحسين المهارات لضمان قدرتهم على التعاون بشكل فعال مع فرق التطوير وتلبية احتياجات محللي البيانات.
يدفع البائعون أيضًا باستمرار حدود ما يمكن تحقيقه ، مع إعادة ابتكار طرق يمكن تخزين البيانات والوصول إليها وتحليلها من أمثال Google و SAP و Select Star to DBT و Snowflake بشكل أكثر كفاءة. يمكن للأنظمة الأساسية المستندة إلى مجموعة النظراء أن تدعم العديد من أنواع البيانات وأدوات تحليل الميزات التي تتيح التحليل أثناء عملية ETL ، على سبيل المثال.
أدت الرغبة في الوصول في الوقت الفعلي إلى البيانات أيضًا إلى ظهور البيانات السريعة التي ترى البيانات يتم تحليلها عند إنشائها. ترى Fast Data أن المعالجة المجمعة قد حلت محلها أنظمة بث الأحداث ، مما يعد برؤى فورية واعدة. ولكن هناك بالطبع قضايا أخرى يجب أخذها في الاعتبار حيث يصبح كل شيء أكبر وأفضل وأسرع وأكثر.
الأمن و GRC
بصرف النظر عن المشكلات التكنولوجية - مثل التقسيم الجزئي ، ومشكلات بناء الجملة أو التناقضات ، ومراقبة أي أخطاء في البيانات أثناء عملية التحويل - هناك أيضًا حاجة إلى النظر في الأمان وإدارة البيانات.
تعد إدارة البيانات مع مراعاة أطر حوكمة البيانات أمرًا ضروريًا ويجب أيضًا مراعاة كيفية القيام بذلك في مواجهة المتطلبات التنظيمية المتغيرة. تحتاج الشركات إلى أن تكون قادرة على توثيق كيفية استخدام بياناتها ولكن في حين أن هذا كان عملية شاقة وتستغرق وقتًا طويلاً ، فهناك الآن مجموعة من الحلول المتاحة لأتمتة كل جانب من جوانب العملية. وتلخيص كل ذلك هو استراتيجية البيانات ، التي تصف كيفية إدارة الشركة لموظفيها وسياساتها وثقافتها حول بياناتها.
إذن كيف يمكنك الانتقال من بنية بيانات مركزية إلى شبكة البيانات؟ كيف يمكنك تحسين شبكة البيانات الخاصة بك؟ كيف يجب أن تبني الفريق بطريقة يعمل بها مهندسو البيانات والمحللون معًا؟ كيف تقيس مدى نضج بياناتك وتستخدمه لتوجيه المشاريع المستقبلية؟ هل البيانات السريعة مناسبة لك؟ وكيف يمكنك التأكد من استمرارك في مراقبة متطلبات الأمن والحوكمة ، لا سيما في البنية اللامركزية؟
اسمعها مباشرة من الخبراء
يتطلب العثور على إجابات لهذه الأسئلة الوصول إلى أفضل العقول في العمل. في مؤتمر ومعرض Big Data LDN ، الذي عُقد في الفترة من 21 إلى 22 سبتمبر في أولمبيا بلندن ، يمكنك الاستماع إلى أكثر من 200 متحدث خبير عبر 12 مسارحًا تقنيًا وموجهاً للأعمال ، يركزون جميعًا على كيفية بناء البيانات الديناميكية مؤسسة مدفوعة.
ستفتتح Zhamak Dehghani الحدث كمتحدث رئيسي وستقدم جلستها Rewire for Data Mesh: خطوات ذرية لإعادة توصيل العمود الفقري الاجتماعي التقني لمؤسستك في الساعة 10 صباحًا يوم 21 سبتمبر بينما سيشارك خبراء آخرون قصصًا فريدة وخبرة منقطعة النظير وحقيقية حالات استخدام العالم. Starburst ، ندفة الثلج ، LNER ، Deliveroo ، Microsoftو Actian و Confluent و Dataiku و Deloitte سيتعمقون في موضوعات تتراوح من Modern Analytics و DataOps إلى إدارة البيانات و AI & MLOPS.
حضور Big Data LDN مجاني ولكنك ستحتاج إلى التسجيل. لتأمين مكانك ، يرجى التسجيل عبر الموقع الإلكتروني bigdataldn.com.
