تهدف أمازون إلى تحسين تقييم نماذج الذكاء الاصطناعي وتعزيز مشاركة البشر بشكل أكبر في العملية. خلال مؤتمر AWS re: Invent، قدم نائب الرئيس لقسم قواعد البيانات والتحليلات والتعلم الآلي في "AWS"، سوامي سيفاسوبرامانيان، ميزة تقييم النموذج على "بيدروك"، وهي ميزة معاينة لنماذج موجودة في مستودع "أمازون بيدروك". تتناول هذه المبادرة حاجة اختبار النماذج بشفافية لمنع المطورين من اختيار نماذج غير دقيقة أو ضخمة غير مناسبة لمشاريعهم.

‍

تتضمن تقييم النموذج مكونين: التقييم الآلي والتقييم البشري. في الإصدار الآلي، يمكن للمطورين تقييم مقاييس أداء النموذج، مثل القوة والدقة، لمهام متنوعة. يتضمن "بيدروك" نماذج ذكاء اصطناعي من جهات خارجية مثل "لاما 2" من "ميتا" و"ستابل ديفيوشن" من "ستابيليتي إي آي". بالإضافة إلى ذلك، يمكن للمستخدمين إحضار بياناتهم الخاصة إلى منصة قياس الأداء، مما يسمح لهم بفهم أفضل لسلوك النموذج وإنشاء تقارير. إذا تمت مشاركة البشر، يمكن للعملاء التعاون مع فريق تقييم بشري من أمازون أو تحديد معاييرهم الخاصة، مستفيدين من تسعير مخصص وجداول زمنية. تهدف أمازون إلى مساعدة العملاء في اختيار أنسب النماذج واكتشاف معايير الذكاء الاصطناعي المسؤولة، وتحديد مقاييس دقيقة مثل التعاطف والوداعة. على الرغم من أن ذلك ليس إلزاميًا، إلا أن قياس الأداء يعتبر مفيدًا بالنسبة للمطورين الذين يبحثون في خيارات النماذج. ستقوم AWS بتحصيل رسوم فقط عن تفسير النموذج أثناء مرحلة التقييم، مما يؤكد على هدفها في تقديم وسيلة للشركات لقياس تأثير النموذج على مشاريعها بدلاً من تقييم النماذج على نطاق واسع في مختلف الصناعات.