التدريب الدقيق لنموذج جيمّا 4 على مدوّنة القوانين العُمانية

الإدارة القانونية السيادية العُمانية التي تريد نموذجاً لغوياً يصوغ ويُلخّص ويُستشهد بالقانون المحلي لا تستطيع الاعتماد على نموذج عام مفتوح الأوزان. مفردات المراسيم السلطانية، وبنية القرارات الوزارية، وعرف الاستشهاد لدى المحكمة العليا، كلّها غائبة عن أيّ خليط تدريب لنموذج رائد. الخبر السار: محوّل LoRA رفيع على Gemma 4، مدرّب على مدوّنة قانونية عُمانية مُتقنة، يُغلق الفجوة على معجّل H100 واحد في أقلّ من يوم. هذه المقالة هي الوصفة العمليّة، ذاتها التي تستند إلى المقال المرجعيّ LoRA QLoRA on-premise للضبط الدقيق. كل شيء يحدث داخل المحيط.

مدوّنة القوانين العُمانية

أيّ مجموعة تدريب موثوقة تستقي من خمسة مصادر أوّلية. لكلّ مصدر صوته وسجلّه ونمط استشهاده، وعلى المحوّل أن يحترم الخمسة جميعاً.

• المراسيم السلطانية الصادرة في الجريدة الرسمية، بما في ذلك تعديلاتها المنشورة وملاحقها التفسيرية. القانون الأساس.
• القرارات الوزارية من وزارة العدل والشؤون القانونية، ووزارة التجارة والصناعة وترويج الاستثمار، ووزارة العمل، والهيئة العامّة لسوق المال، وجهاز الضرائب. الطبقة التشغيلية التي يصير فيها المرسوم قواعد.
• أحكام المحكمة العليا ومجلّدات مبادئها السنوية. الطبقة التفسيرية التي تُثبّت معنى النصّ في الواقع العمليّ.
• تعميمات الجهات الرقابية من البنك المركزي العُمانيّ، وهيئة تنظيم الخدمات العامّة، والمركز الوطنيّ للإحصاء والمعلومات. توجيهات تشغيل قطاعية.
• مذكّرات قانونية داخلية تُسهم بها الجهة نفسها، مجهّلة الهويّة، بإذن صريح. الجسر من القانون إلى الممارسة لتلك الجهة بالذات.

للمشترين العُمانيّين، تظلّ البوّابة المرجعية للمراسيم والقرارات الوزارية هي بوّابة قانون التشريعية التي تُديرها وزارة العدل والشؤون القانونية. اسحب دائماً ملفّات PDF الرسمية ومراجع الجريدة لا النسخ المنسوخة من مواقع طرف ثالث.

إعداد البيانات

ثلاثة انضباطات تقرّر إن كان المحوّل يستحقّ الترقية.

إزالة التكرار. تُنتج المراسيم وتعديلاتها وإعادات إصدارها المُجمَّعة عناقيد ثقيلة من شبه التكرار. شغّل MinHash وJaccard على مستوى الفقرة، واحتفظ بأحدث نسخة مُجمَّعة بوصفها المثال الرسميّ، وأبقِ النسخ الأقدم فقط حيث يجب أن يتعلّم المحوّل علاقة التعديل صراحةً. بدون هذه الخطوة تنهار خسارة التدريب على أقلية صغيرة من الفقرات المكرّرة، ولا يتعلّم المحوّل الذيل الطويل أبداً.

وسم المرسوم مقابل الملخّص. يجب أن تكون المدوّنة مزدوجة. كل مصدر طويل يصير ثلاثة أمثلة تدريب على الأقل: النصّ الحرفيّ، وملخّص أمين، وسؤال يستلزم إجابة بمعزّز استشهاد ومرتكز فقرة. ضع وسماً وصفياً مهيكلاً على كل زوج (source_type، issue_year، arabic_register، citation_form) ليتسنّى للمدرّب إعادة موازنة المزيج. التوازن الذي صمد في تجاربنا الداخلية تقريباً 40% حرفيّ و30% ملخّص و30% أسئلة وأجوبة بالاستشهاد.

تنظيف OCR العربيّ. ملفّات الجريدة الرسمية القديمة مَسحٌ ضوئيّ لا نصّ PDF أصليّ. شغّل خطّ OCR حديثاً واعياً بالعربية، ثم معالجاً لاحقاً حتمياً يُصلح الأعراض الشائعة: تنوّعات الهمزة على الألف (إ، أ، آ، ا)، والتاء المربوطة مقابل الهاء (ة، ه)، وترقيم الفقرات المقلوب، وكسرات الكشيدة المنكسرة. النصّ القانونيّ العربيّ بدون تنظيف OCR يُسمّم المحوّل، إذ يتعلّم النموذج أخطاء OCR كما لو كانت عربيّة فصيحة.

وصفة LoRA على Gemma 4

أثبتت الوصفة التالية موثوقيتها في تجاربنا الداخلية، وتتبع وصفة Hugging Face PEFT الرسمية لـ Gemma. استخدم Gemma 4 26B-A4B لإنتاجية البحث القانوني، وGemma 4 31B الكثيف لأكثر المراسلات صرامة، واحفظ 100B-A11B للتقييم لا للضبط الإنتاجيّ على المواد المصنّفة.

• شكل المحوّل: رتبة 32 إلى 64، ألفا 64 إلى 128 (ألفا = 2x الرتبة هو الافتراض الآمن)، إسقاط 0.05.
• الوحدات المستهدفة: مجموعة الانتباه وMLP الكاملة، ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]. حذف وحدات MLP يُكلّف دقّة قانونية عربية يمكن قياسها.
• معدّل التعلّم: 2e-4 للضبط المُشرَف على 26B-A4B، و1e-4 لـ 31B الكثيف. تسخين خطّيّ على 3% من الخطوات، ثم تخفيض جيب التمام.
• طول التسلسل: 16K رمز لمعظم التشغيل، مع حقبة أخيرة عند 32K لتعليم سلوك الاستشهاد بالسياق الطويل.
• المُحسِّن: paged_adamw_8bit مع تراكم تدرّج 8 إلى 16. حجم دفعة فعليّ 32 إلى 64 عبر حقبتين هو نقطة الذروة لمدوّنة بثلاثين ألف مثال.
• الأطر: Hugging Face trl SFTTrainer مع peft على PyTorch، ويمكن تنسيقه عبر axolotl لتشغيلات قابلة للتكرار يقودها YAML.

العتاد

معجّل H100 80GB واحد هو المرجع العمليّ. يستهلك متغيّر 26B-A4B في وضع QLoRA بأساس 4-بت ومحوّل BF16 نحو 38 إلى 46 GB عند تسلسل 16K، ويُبقي هامشاً لمخبأ KV وحالة المُحسِّن. ويناسب 31B الكثيف الجهاز نفسه في QLoRA برتبة 32. الزمن الفعليّ لمدوّنة ثلاثين ألف مثال على حقبتين هو 12 إلى 24 ساعة بحسب المتغيّر ومزيج التسلسل. يخفّض H200 141GB ذلك بنسبة 40 إلى 50%، ويتيح الدفع إلى رتبة 128 إن استدعى ذلك مدوّنة فرعية معيّنة. تشحن حصن هذه التكوينات Tower وRack مع axolotl وpeft وtrl وbitsandbytes مثبّتة مسبقاً وصديقة للعزل.

منهج التقييم والتراجع

المحوّل الذي يستطيع المحامون الاعتماد عليه يجتاز ثلاث بوّابات قبل الترقية. المجموعات الآلية: ALUE وArabicMMLU ومجموعة اختيار من متعدّد قانونية داخلية تلتقط الانكسارات في العربية العامّة وفي المعرفة القانونية على الترتيب. تقييم RAG على مجموعة ذهبية من 500 سؤال يصيغها كبار المستشارين، تُسجَّل بتطابق الاستشهاد المباشر إضافة إلى مقياس رباعيّ النقاط، يلتقط انكسارات الاستدلال. فريق أحمر عدائيّ يطلب من المحوّل اختلاق مراسيم أو ابتكار أرقام قضايا أو تلخيص قوانين مُلغاة، يضع الأرضية الصلبة: يجب أن يقترب معدّل الاختلاق من الصفر قبل ترقية المحوّل إلى الإنتاج.

عامل كل محوّل بوصفه أصلاً مُصدَراً وموقّعاً. ثبّت أوزان Gemma 4 الأساس بـ SHA-256، ووقّع المحوّل بوحدة HSM الخاصّة بالجهة، واحفظ الزوج ضمن مسار تراجع موثّق، وأبقِ المحوّل السابق قابلاً للتبديل الساخن. حين يصدر مرسوم جديد أو يقلب حكم سابقة، تُعيد التدريب وإعادة التقييم والترقية. وإذا تراجع المحوّل الجديد على أيّ بوّابة، تُتراجع في ثوانٍ لا أيام. هذا هو شكل الضبط الدقيق السياديّ في الواقع.

إن كانت إدارتكم القانونية تُحجّم برنامج ضبط دقيق لـ Gemma 4 على المصادر العُمانية وتودّون إحاطة لمدّة ساعة مصمّمة على مدوّنتكم وتصنيفكم وميزانية العتاد، الخطوة التالية مباشرة. راسلونا على [email protected] أو على واتساب +968 9889 9100. سنأتي إليكم، ونستعرض الوصفة، ونترك خطّة موثوقة وفق جدولكم. الأسعار بحسب الطلب، ومحدّدة وفق متطلّباتكم.