ذكاء اصطناعي باللغة العربية يعمل على أرض الواقع
تتعامل نماذج اللغة التجارية الرائدة مع العربية بشكل جيد، كما أنتجت الإمارات نماذج مفتوحة خاصة بها، مثل عائلة Falcon من معهد الابتكار التكنولوجي في أبوظبي، ونموذج Jais المتخصص في العربية. ونختار النموذج حسب المهمة: واجهات API مستضافة لتسريع الوصول إلى السوق، أو نماذج مفتوحة الأوزان على بنيتك التحتية عندما يجب ألا تغادرها البيانات.
وفي RAG تحتاج العربية إلى عناية إضافية: تقنية OCR تتعامل مع الخط العربي في ملفات PDF الممسوحة ضوئيًا، وتوحيد النص قبل الفهرسة، وتضمينات متعددة اللغات حتى يجد سؤال بالإنجليزية إجابة بالعربية، وردود باللغة التي كتب بها المستخدم. ونختبر مدخلات اللهجات والعربيزي صراحةً، لأنها المواضع التي تفشل فيها الأنظمة عادةً.
