المنتج
تتبّع مسار البيانات على مستوى الأعمدة
خريطة حيّة لكل عمود، من الجدول المصدر حتى النماذج التي تقرأ منها لوحات المعلومات، فتعرف ما الذي سيتعطّل بسبب أي تغيير قبل أن تدمجه.
آلية العمل
تبني Tessel مسار البيانات من شيفرة SQL المُجمَّعة لديك، لا من استدعاءات ref وحدها، فتتابع كل عمود عبر إعادة التسمية وعمليات الربط (join) وتحويل الأنواع (cast). وتتحدّث الخريطة بعد كل عملية تشغيل وكل دمج، وتشمل المصادر ونماذج staging وجداول marts وexposures في dbt.
في كل طلب دمج (pull request) يمسّ أحد النماذج، تضيف Tessel تعليقاً يبيّن ما يقع بعده في المسار: النماذج والأعمدة وexposures التي تقرأ من الأعمدة المعدَّلة، ومن المسؤول عنها. فيرى المراجعون نطاق التأثير قبل الموافقة، لا بعد أن يتعطّل شيء.
ومسار البيانات نفسه هو ما يشغّل تحديد السبب الجذري وطلبات الدمج للإصلاح التلقائي، ولهذا تستطيع Tessel التمييز بين النموذج الذي فشل أولاً والأربعين نموذجاً التي فشلت بسببه.
خطوة بخطوة
-
التحليل
تُجمّع Tessel مشروعك وتحلّل شيفرة SQL في كل نموذج لتتابع كل عمود.
-
رسم الخريطة
تنضمّ المصادر والنماذج والأعمدة وexposures إلى خريطة واحدة تتحدّث بعد كل عملية تشغيل.
-
التعليق
كل طلب دمج يغيّر نموذجاً يحصل على تعليق يسرد كل ما يتأثر بعده في المسار.
بالأرقام
- لرسم خريطة مشروع من 500 نموذج
- دقيقتان
- في أول تشغيل؛ أما التحديثات اللاحقة فلا تستغرق سوى ثوانٍ
- من exposures في dbt مرتبطة بالخريطة
- 100%
- تظهر على الخريطة لوحات المعلومات المعرَّفة في dbt
- من سجلّ مسار البيانات في باقة «الفرق»
- 90 يوماً
- بلا حدود في باقة «المؤسسات»
رصدت تغييراً في المخطط عند المصدر ظلّ يُسقط صفوفاً بصمت طوال ثلاثة أسابيع.
أسئلة عن تتبّع مسار البيانات على مستوى الأعمدة
ما لهجات SQL التي يدعمها تتبّع مسار البيانات؟
يدعم Snowflake وBigQuery وPostgres، بما في ذلك قوالب Jinja ووحدات الماكرو التي تُجمَّع إليها.
هل يعمل دون dbt؟
نعم، مع مهام Airflow وDagster التي تشغّل ملفات SQL أو استعلامات SQL داخل مشغّلات Python (operators). لكن مشاريع dbt تحصل على أغنى خريطة، لأن ملف manifest يصف كل نموذج.
هل يمكننا تصدير خريطة مسار البيانات؟
نعم، بصيغة JSON عبر واجهة برمجة التطبيقات (API)، أو صورةً من شاشة عرض مسار البيانات.
شاهدها تعمل على خطوط بياناتك
عرض توضيحي مدته 30 دقيقة على نسخة من مشروعك، أو ابدأ مجاناً بما يصل إلى 25 نموذجاً.