شنبه 08 دی 1403
Saturday, 28 December 2024
موتور جستجو مبتنی بر هوش مصنوعی ChatGPT Search اواخر ماه گذشته به‌صورت رایگان در دسترس تمام کاربران قرار گرفته بود. حالا در گزارشی گفته شده که این موتور جستجو می‌تواند کاربران را فریب بدهد و خلاصه‌های کاملا گمراه‌کننده‌ای برای آنها تولید کند.
OpenAI موتور جستجو ChatGPT که دارای قابلیت‌هایی مانند خلاصه‌کردن نقد محصولات است را با هدف مرور سریع‌تر اینترنت توسط کاربران طراحی کرده است. اکنون نشریه گاردین در گزارشی اطلاع داده که می‌توان به‌گونه‌ای ChatGPT Search را فریب داد تا نظرات منفی مربوط به یک محصول را نادید بگیره و خلاصه‌ای کاملاً مثبت برای کاربر تولید کند.
گاردین می‌گوید برای انجام این کار وب‌سایتی که محصول در آن درج شده باید دارای متن پنهانی باشد که بر عملکرد ChatGPT Search تاثیر می‌گذارد.
این محتوای پنهان می‌تواند شامل دستورالعمل‌هایی باشد که پاسخ‌های ChatGPT را تغییر می‌دهد یا می‌تواند حاوی محتوایی باشد که برای تاثیرگذاری بر پاسخ آن طراحی شده است، مانند متن بسیار زیاد و پنهانی که فقط در مورد مزایای یک محصول یا سرویس توضیح می‌دهد.
در این آزمایش‌ها، ابتدا به ChatGPT آدرس اینترنتی یک وب‌سایت جعلی داده شده که برای معرفی یک دوربین ساخته شده است. سپس از ابزار هوش مصنوعی سوال شده که آیا خرید این دوربین ارزش دارد یا خیر. در پاسخ ChatGPT یک ارزیابی مثبت اما متعادل را ارائه کرده است.
اما زمانی که یک متن پنهان حاوی نظرات مطلوب به وب‌سایت اضافه شده، پاسخ‌های ChatGPT همیشه کاملاً مثبت بوده است. حتی زمانی که نظرات منفی جعلی درباره محصول به ثبت رسیده نیز این موضوع صادق بوده است.
حملات مربوط به متن پنهان از جمله خطرات شناخته شده برای مدل‌های زبانی بزرگ است، اما به‌نظر می‌رسد که اکنون برای اولین‌بار عملکرد آن در یک محصول هوش مصنوعی نشان داده شده است. گاردین همچنین می‌گوید که گوگل در مواجهه با چنین مشکلاتی تجربه بیشتری داشته است.
