التوافق-عن-طريق-البناء: التخصص التالي في هندسة البيانات

لماذا ينكسر النموذج الحالي

عملت الامتثال المدفوع بالسياسات عندما كانت أنظمة البيانات أصغر وأبطأ. يمكن تنظيم عدد قليل من قواعد البيانات الأساسية، ومجموعة معروفة من الوظائف الدفعة، وبيئة تقارير مستقرة من خلال الوثائق والمراجعة الدورية.

لا تشبه المنصات الحديثة هذا. تشمل التخزين السحابي، وخطوط الأنابيب المتدفقة، والادخال القائم على واجهة برمجة التطبيقات، والتغيرات المتكررة في المخطط، والتحليلات التي تستهلكها العديد من الفرق. تتحرك البيانات أسرع من دورات الموافقة. تتغير المخططات أسرع من الوثائق. تتغير أنماط الوصول أسرع من المراجعات ربع السنوية.

المشكلة ليست نقص السياسات. إن السياسات تعيش في الوثائق بينما يعيش سلوك النظام في خطوط الأنابيب، ويفترق الاثنان بطرق لا تصبح مرئية إلا عندما يحدث شيء خاطئ.

تحتاج هندسة البيانات إلى انضباط مختلف لذلك. أسميها الامتثال-بناءً.

ماذا تعني الامتثال-بناءً

الامتثال-بناءً هو ممارسة بناء أنظمة البيانات حيث يتم ضمان خصائص الامتثال من خلال كيفية هيكلة المنصة، وليس مجرد تشجيعها من خلال السياسة.

أسهل طريقة لوصفها: يقول الامتثال بالسياسة “يجب على الفرق اتباع القاعدة.” بينما يقول الامتثال-بناءً “يجب أن تجعل المنصة من المستحيل هيكلياً، أو مرئياً على الفور، كسر القاعدة.”

يمكن أن يتم فهم السياسة بشكل خاطئ. يمكن تخطي قائمة التحقق. يمكن أن تفوت المراجعة حالة طرفية. عندما يفرض النظام قواعد المخطط في وقت الكتابة، ويخرج السلالة تلقائياً، ويطبق ضوابط الوصول في طبقة البيانات ويدعم إعادة البناء في نقطة زمنية، يصبح الامتثال جزءاً من كيفية تصرف النظام. هذا لا يزيل الحوكمة أو فرق المخاطر. بل يوقف طلبهم الاعتماد على لقطات الشاشة عندما يجب أن تكون المنصة نفسها هي التي تنتج الإثبات.

الأركان الأربعة

من خلال تجربتي، يعتمد الامتثال-بناءً على أربعة أعمدة عملية.

عقود المخطط المفروضة في وقت الكتابة

تبدأ العديد من مشكلات الامتثال عندما تدخل البيانات غير الصالحة إلى المنصة وتكتشف لاحقاً، بعد أن تتحرك بالفعل عبر التحولات والتقارير والقرارات. تعرف عقد المخطط ما يُسمح لمجموعة البيانات بأن تبدو عليه قبل قبولها. ينبغي التحقق من الحقول المطلوبة، وأنواع البيانات، وعلامات التصنيف، وعلامات السمات الحساسة في وقت الكتابة، وليس في وقت القراءة. لا يمكن التعامل مع عمود يحمل معرف العميل أو سمة صحية أو مؤشر موافقة على أنه مجرد سلسلة نصية أخرى.

السلالة كمخرج أنابيب من الدرجة الأولى

غالباً ما تكون السلالة شيئاً تعيد الفرق تأسيسه بعد أن يُطرح سؤال. في الممارسة العملية، يكون ذلك متأخراً جداً. في نموذج الامتثال-بناءً، يتم إخراج السلالة كجزء من التنفيذ. كل حركة بيانات ذات مغزى تنتج دليلاً حول المصدر، والتحويل، والوجهة، والتوقيت، والملكية. عندما يسأل المنظم كيف تم إنتاج قيمة، يجب أن لا تعتمد الإجابة على العثور على المهندس الذي يتذكر الوظيفة.

فرض السياسة في طبقة البيانات

لا تزال الكثير من ضوابط الوصول تعيش داخل منطق التطبيق. قد تعمل هذه لأحد التطبيقات، لكنها تنهار عندما يتم استهلاك نفس البيانات من خلال أدوات متعددة، ومفكرات، وخطوط أنابيب. تسمح ضوابط الوصول على مستوى الفهرس، وعلامات التصنيف، والحماية على مستوى الصفوف والأعمدة للسياسات بالسفر مع البيانات. مع اتساع التحليلات الذاتية والتدفقات الآلية، تصبح هذه الأمور أكثر أهمية.

خطوط الأنابيب الحتمية والقابلة لإعادة التشغيل

تحتاج الأنظمة المنظمة إلى الإجابة على ما حدث، ولكن ما حدث في نقطة زمنية محددة. بالاعتماد على نفس المدخلات والتكوين وإصدار الشيفرة وحالة السياسة، يجب أن تنتج خط الأنابيب نفس النتيجة. تعطي القدرة على إعادة التشغيل للفرق شيئًا أقوى من الذاكرة: طريقة لإعادة إنتاج ما حدث بالفعل.

لماذا يهم هذا الآن

تُطلب من منصات البيانات دعم أحمال عمل أكثر أهمية. الذكاء الاصطناعي هو أحد الدوافع، لكن هذه ليست مشكلة خاصة بالذكاء الاصطناعي فقط. القضية الأساسية هي البيانات المنظمة. إذا لم يستطع الأساس إثبات من أين جاءت المعلومات، ومن يمكنه الوصول إليها وكيف تغيرت مع مرور الوقت، يصبح النظام بأكمله صعب الدفاع عنه. يسأل المنظمون أسئلة أكثر حدة حول القرارات الآلية، وقابلية التفسير، والخصوصية، والمرونة التشغيلية. يجب بناء القدرة على إثبات السيطرة في المنصة.

ماذا يجب على القادة فعله بشكل مختلف

للقادة في التكنولوجيا والبيانات دور حقيقي في نقل الامتثال من الاعتماد على العمليات إلى قدرة المنصة.

• تقييم المنصات بناءً على الضمانات الهيكلية، وليس قوائم ميزات. ماذا يمكن أن تمنع المنصة أو تثبت أو تنتج كدليل تلقائيًا؟

• تمويل السلالة، والعقود، وميزات إعادة التشغيل كمستثمرات هندسية أساسية، وليس إضافات اختيارية.

• دفع تطبيق السياسة إلى طبقة البيانات أينما كان ذلك ممكنًا. قيود الاستخدام المستقلة عن تذكر فرق التطبيقات بتنفيذها.

• اعتبار إعادة البناء في نقطة زمنية متطلبًا من الدرجة الأولى؛ يجب أن تعيد المنصة إنتاج حالة البيانات، والمنطق، والوصول عند اتخاذ القرار.

• إدخال فرق الامتثال والمخاطر والهندسة في محادثات التصميم في وقت مبكر، قبل أن تضغط الإنتاج على اتخاذ اختصارات.

الامتثال كخاصية من خصائص الهندسة الجيدة

يُنظر إلى الامتثال غالبًا كضرائب على الهندسة، شيء يبطئ التسليم ويضيف عبء الوثائق. في الصناعات المنظمة، فإن هذا الإطار يغفل الواقع الهندسي. المنصة التي لا يمكنها تفسير حركة بياناتها، أو فرض قواعدها، أو إعادة بناء قراراتها تعاني من مشكلة هندسية، وليس فقط مشكلة في الامتثال.

ينقل الامتثال-بناءً العمل من مجلدات السياسة إلى المخططات والفهارس وخطوط الأنابيب وسجلات السلالة والتنفيذ القابل لإعادة التشغيل. لا تؤدي أفضل منصات البيانات المنظمة الامتثال حول النظام؛ بل تجعل الامتثال جزءًا من الطريقة التي يعمل بها النظام.​

مجلس تكنولوجيا فوربس هو مجتمع بالدعوة فقط لكبار المسؤولين عن المعلومات، والمديرين التقنيين، والتنفيذيين في التكنولوجيا. هل أؤهل؟