العلامة التقنية

موقع تقني عربي متخصص في أخبار التكنولوجيا والذكاء الاصطناعي

نتفليكس تطلق VOID: نموذج ذكاء اصطناعي لحذف الكائنات من الفيديوهات

بقلم: فريق تحرير العلامة التقنية التصنيف: الترفيه الرقمي
نتفليكس تطلق VOID: نموذج ذكاء اصطناعي لحذف الكائنات من الفيديوهات

نتفليكس تطلق VOID، نموذج ذكاء اصطناعي لحذف كائنات الفيديو مع الحفاظ على التفاعلات الفيزيائية.

أصبحت عمليات تحرير الفيديو تتطلب تقنيات متقدمة، حيث أن إزالة كائن من مقطع فيديو تعد عملية سهلة، لكن جعل المشهد يبدو وكأنه لم يكن يحتوي على ذلك الكائن هو أمر في غاية الصعوبة. على سبيل المثال، إذا تمت إزالة شخص يحمل آلة موسيقية، فسيظهر الكائن وكأنه معلق في الهواء، مما يتطلب جهوداً كبيرة من فرق المؤثرات البصرية في هوليوود لإصلاح هذه الأنواع من المشكلات. ولكن الآن، تمكّن فريق من الباحثين من نتفليكس وجامعة إنسايت في صوفيا من تطوير نموذج جديد يُدعى VOID (حذف الكائنات والتفاعل في الفيديو) الذي يمكنه القيام بذلك تلقائياً.

ما هي مشكلة VOID التي تحلها؟

النماذج التقليدية لتحرير الفيديو تعتمد على ملء المنطقة التي كان يوجد فيها الكائن، مما يجعلها تشبه فناني الرسم الخلفيات المتطورين. لكن ما لا تفعله هذه النماذج هو التفكير في السبب والنتيجة: إذا قمت بإزالة ممثل يحمل أداة، ماذا سيحدث لتلك الأداة؟ النماذج الحالية تركز على ملء المحتوى خلف الكائن وتعديل العيوب البصرية مثل الظلال والانعكاسات، ولكن عندما يتفاعل الكائن المزال مع كائنات أخرى، فإن هذه النماذج تفشل في تصحيح هذه التفاعلات، مما يؤدي إلى نتائج غير معقولة.

كيف يعمل نموذج VOID؟

تم بناء VOID على أساس نموذج CogVideoX وتم تحسينه لتضمين تفاعلات الكائنات باستخدام تقنية quadmask التي تعزز القدرة على فهم المشهد. إن الابتكار الرئيسي في VOID هو كيفية فهمه للمشهد — ليس فقط "ما هي البيكسلات التي يجب ملؤها؟" ولكن أيضاً "ما هو المعقول من الناحية الفيزيائية بعد اختفاء هذا الكائن؟" على سبيل المثال، إذا تمت إزالة شخص يحمل آلة موسيقية، فإن VOID أيضاً يزيل تأثير الشخص على تلك الآلة، مما يجعلها تسقط بشكل طبيعي. هذا ليس بالأمر السهل؛ حيث يجب على النموذج أن يفهم أن الآلة كانت مدعومة من قبل الشخص، وأن إزالة الشخص يعني أن الجاذبية ستسيطر.

الهيكلية والتكنولوجيا المستخدمة في VOID

يستخدم نموذج VOID نموذج CogVideoX-Fun-V1.5-5b-InP من Alibaba PAI، وهو نموذج مولد للفيديو يعتمد على Transformer. يتميز هذا النموذج بأنه يعتمد على تسلسل زمني من الإطارات بدلاً من الصور الفردية، مما يتيح له معالجة الفيديو بشكل متكامل. يستخدم النموذج تقنية quadmask، وهي قناع رباعي القيم، بدلاً من قناع ثنائي بسيط (إزالة هذا البيكسل / الاحتفاظ بهذا البيكسل). كل بيكسل في القناع يحصل على واحدة من أربع قيم: 0 (الكائن الرئيسي المزال)، 63 (التداخل بين المناطق الرئيسية والمناطق المتأثرة)، 127 (المناطق المتأثرة بالتفاعل)، و255 (الخلفية).

عملية الاستدلال ثنائية المرحلة

يستخدم VOID نقطتي تفقد، يتم تدريبهما بالتتابع. يمكنك تشغيل الاستدلال باستخدام المرحلة الأولى فقط أو ربط كلا المرحلتين للحصول على اتساق زمني أفضل. المرحلة الأولى تعتبر كافية لمعظم مقاطع الفيديو، بينما المرحلة الثانية تهدف إلى تصحيح نوع معروف من الأخطاء.

توليد بيانات تدريب مميزة

كان من الضروري تدريب النموذج لفهم التفاعلات الفيزيائية باستخدام مقاطع فيديو متزاوجة، مما يعني وجود نفس المشهد مع وبدون الكائن. تم إنشاء هذه البيانات بشكل صناعي باستخدام تقنيات مثل HUMOTO و، حيث تم استخدام بيانات الحركة البشرية لتوليد مشاهد فيزيائية صحيحة.

استنتاجات رئيسية حول VOID

  • VOID يتجاوز مجرد ملء البيكسلات، فهو يفهم السبب والنتيجة في المشهد.
  • قناع quadmask هو الابتكار الأساسي، حيث يوفر خريطة هيكلية لفهم المشهد بدلاً من مجرد تحديد موقع الكائن.
  • نموذج الاستدلال الثنائي المرحلة يحل مشكلات حقيقية تتعلق بتشوه الكائنات عبر الإطارات.
  • استخدام بيانات تدريب صناعية كان ضرورياً لتدريب النموذج على فهم التفاعلات الفيزيائية.

المصدر: MarkTechPost

أحدث في الترفيه الرقمي

مقالات سابقة في الترفيه الرقمي