إنشاء أنظمة ذكاء مستندات متقدمة باستخدام Google LangExtract
استكشف كيفية استخدام Google LangExtract لبناء أنظمة ذكاء مستندات متقدمة باستخدام نماذج OpenAI.
في هذا الدليل، نستعرض كيفية استخدام مكتبة Google LangExtract لتحويل النصوص غير المنظمة إلى معلومات منظمة وقابلة للقراءة من قبل الآلة. سنبدأ بتثبيت المكتبات اللازمة وتكوين مفتاح API الخاص بـ OpenAI بشكل آمن للاستفادة من نماذج اللغة القوية في مهام الاستخراج. كما سنقوم ببناء خط أنابيب استخراج قابلة لإعادة الاستخدام تمكننا من معالجة مجموعة متنوعة من أنواع المستندات، بما في ذلك العقود، ملاحظات الاجتماعات، إعلانات المنتجات، وسجلات العمليات.
تجهيز البيئة وتثبيت المكتبات اللازمة
أول خطوة في إنشاء نظام ذكاء مستندات متقدم هي تجهيز البيئة. نبدأ بتثبيت المكتبات المطلوبة مثل LangExtract وPandas وIPython. يمكننا استخدام الأمر التالي في بيئة Colab:
!pip -q install -U "langextract[openai]" pandas IPython
بعد التثبيت، نقوم بطلب مفتاح API الخاص بـ OpenAI من المستخدم وتخزينه كمتغير بيئي للوصول الآمن خلال وقت التشغيل.
إنشاء خط أنابيب الاستخراج
نقوم بإنشاء دالة run_extraction التي ترسل النصوص إلى محرك LangExtract وتولد مخرجات بصيغة JSONL وHTML. هذه الدالة تدعم استخراج المعلومات من المستندات بشكل منظم. إليك مثال على كيفية تنفيذ عملية الاستخراج:
def run_extraction(text_or_documents, prompt_description, examples, output_stem):
result = lx.extract(...)
return result
نقوم أيضاً بإنشاء دالة extraction_rows لتحويل نتائج الاستخراج إلى صفوف جداول لمزيد من التحليل.
تطبيقات عملية: استخراج المعلومات من العقود وملاحظات الاجتماعات
لنقم بتطبيق هذا النظام على نوعين من المستندات: العقود وملاحظات الاجتماعات. نبدأ بعقد يتضمن شروطاً معينة، وسنقوم بصياغة تعليمات دقيقة لـ LangExtract لاستخراج المخاطر والمعلومات المهمة:
contract_prompt = textwrap.dedent("""
Extract contract-risk information...
Rules:
1. Use exact text spans from the source.
...
""")
ثم نقوم بتشغيل عملية الاستخراج على نص العقد الناتج:
contract_result = run_extraction(contract_text, contract_prompt, contract_examples, "contract_risk_extraction")
وبالمثل، يمكننا تطبيق هذا النظام على ملاحظات الاجتماعات لاستخراج العناصر الرئيسية مثل المهام والأشخاص المسؤولين.
تصور النتائج وتحليل البيانات
بعد استخراج المعلومات، يمكننا استخدام LangExtract لتصور البيانات المستخرجة وتنظيمها في مجموعات جدولية. هذا يسهل على الفرق اتخاذ قرارات مستندة إلى البيانات المستخرجة. يمكننا استخدام الدالة preview_result لعرض النتائج بطريقة تفاعلية:
def preview_result(title, result):
...
هذا يضمن أن المعلومات المستخرجة ليست فقط مفيدة ولكن أيضاً سهلة الفهم.
استنتاجات
تتيح لنا مكتبة Google LangExtract إنشاء أنظمة ذكاء مستندات متقدمة يمكنها معالجة أنواع متعددة من المستندات بفعالية. من خلال دمج OpenAI في خط أنابيب الاستخراج، نستطيع تحسين دقة الاستخراج وتقديم رؤى قيمة بناءً على البيانات المستخرجة.
المصدر: MarkTechPost