MedPaLM گوگل بر پزشکان انسانی در هوش مصنوعی پزشکی تاکید دارد

بیشتر کاربردهای هوش مصنوعی در پزشکی در استفاده از زبان شکست خورده‌اند، واقعیتی که گوگل و واحد DeepMind آن در مقاله‌ای که روز دوشنبه در مجله علمی معتبر Nature منتشر شد، به آن اشاره کردند.

اختراع آنها، MedPaLM، یک مدل زبان بزرگ مانند ChatGPT است که برای پاسخ به سؤالات مجموعه داده های پزشکی متنوعی تنظیم شده است، از جمله اختراع کاملاً جدیدی که توسط Google اختراع شده است که نشان دهنده سؤالات مصرف کنندگان در مورد سلامتی در اینترنت است. این مجموعه داده، HealthSearchQA، شامل «3173 سؤال مصرف‌کننده معمولاً جستجو شده» است که «توسط یک موتور جستجو ایجاد می‌شود»، مانند «فیبریلاسیون دهلیزی چقدر جدی است؟»

همچنین: گوگل از OpenAI پیروی می کند و تقریباً چیزی در مورد برنامه جدید هوش مصنوعی PalM 2 خود نمی گوید

محققان از حوزه‌ای که به طور فزاینده‌ای مهم از تحقیقات هوش مصنوعی، مهندسی سریع، استفاده می‌کنند، که در آن برنامه نمونه‌هایی از خروجی دلخواه را در ورودی‌های خود ارائه می‌دهد.

اگر تعجب می کنید، برنامه MedPaLM از روند اخیر گوگل و OpenAI برای پنهان کردن جزئیات فنی برنامه پیروی می کند، نه اینکه آنها را به عنوان روش استاندارد در یادگیری ماشینی هوش مصنوعی مشخص کند.

برنامه MedPaLM در هنگام پاسخ دادن به سؤالات HealthSearchQA، همانطور که توسط گروهی از پزشکان انسانی قضاوت شد، جهشی بزرگ مشاهده کرد. درصد دفعاتی که پیش‌بینی‌های آن با اجماع پزشکی مطابقت داشتند، از امتیاز 61.9 درصدی برای یک نوع از مدل زبان PalM Google شکست خورد و به 92.6 درصد رسید، درست کمتر از میانگین پزشکان انسانی، 92.9 درصد.

با این حال، هنگامی که از گروهی از افراد غیرعادی با سابقه پزشکی خواسته شد تا میزان پاسخ MedPaLM به این سوال را ارزیابی کنند، به این معنی که “آیا آنها را فعال می کند [consumers] برای نتیجه‌گیری، 80.3% مواقع MedPaLM مفید بود، در مقابل 91.1% موارد برای پاسخ‌های پزشکان انسانی. محققان این را به این معنا می‌دانند که “کار قابل توجهی برای تقریب کیفیت خروجی‌های ارائه شده باقی مانده است. توسط پزشکان انسانی.”

همچنین: 7 نکته پیشرفته نوشتن سریع که باید بدانید

مقاله “مدل های زبان بزرگ رمزگذاری دانش بالینی” توسط نویسنده اصلی کاران سینگال از گوگل و همکارانش، بر استفاده از به اصطلاح مهندسی سریع برای بهتر کردن MedPaLM از سایر مدل های زبان بزرگ تمرکز دارد.

MedPaLM مشتقی از جفت‌های پرسش و پاسخ تغذیه‌شده با PALM است که توسط پنج پزشک در ایالات متحده و بریتانیا ارائه شده است. این جفت‌های پرسش و پاسخ، فقط 65 نمونه، برای آموزش MedPaLM از طریق یک سری استراتژی‌های مهندسی سریع مورد استفاده قرار گرفتند.

سینگال و تیمش خاطرنشان کردند: روش معمولی برای اصلاح یک مدل زبان بزرگ مانند PalM یا GPT-3 OpenAI، تغذیه آن با “مقدار زیادی از داده های درون دامنه” است، “رویکردی که در اینجا با توجه به کمبود آن چالش برانگیز است. داده های پزشکی.” در عوض، برای MedPaLM، آنها بر سه استراتژی تحریک کننده تکیه می کنند.

Prompting عملی است برای بهبود عملکرد مدل “از طریق چند نمونه نمایشی که به عنوان متن فوری در زمینه ورودی کدگذاری شده است.” سه رویکرد تحریک کننده عبارتند از: “تشریح کار از طریق نمایش های مبتنی بر متن”. به‌اصطلاح زنجیره‌ای از انگیزه‌های فکری، که شامل «افزایش هر نمونه چند نمونه در دستور با تفکیک گام به گام و مجموعه‌ای منسجم از گام‌های استدلال میانی به سوی پاسخ نهایی» است. و “تشویق خودسازگاری”، که در آن چندین خروجی از برنامه نمونه برداری می شود و رای اکثریت نشان دهنده پاسخ درست است.

همچنین: شش مهارتی که برای تبدیل شدن به یک مهندس سریع هوش مصنوعی نیاز دارید

آنها می نویسند که امتیاز افزایش یافته MedPaLM نشان می دهد که “تنظیم سریع دستورالعمل یک تکنیک هم ترازی داده ها و پارامترهای کارآمد است که برای بهبود عوامل مرتبط با دقت، واقعیت، ثبات، ایمنی، آسیب، و سوگیری مفید است و به بسته شدن آن کمک می کند. با کارشناسان بالینی فاصله بگیرید و این مدل ها را به کاربردهای بالینی در دنیای واقعی نزدیک کنید.”

با این حال، آنها نتیجه می گیرند که “این مدل ها در سطح متخصص بالینی در بسیاری از محورهای مهم بالینی نیستند.” سینگال و تیمش گسترش استفاده از مشارکت انسانی متخصص را پیشنهاد می‌کنند.

آنها مشاهده می‌کنند: «تعداد پاسخ‌های مدل ارزیابی‌شده و مجموعه پزشکان و افراد عادی که آن‌ها را ارزیابی می‌کردند، محدود بود، زیرا نتایج ما بر اساس تنها یک پزشک یا متخصص بود که هر پاسخ را ارزیابی می‌کرد. این را می توان با گنجاندن یک مجموعه بسیار بزرگتر و عمداً متنوع از ارزیابی کنندگان انسانی کاهش داد.

همچنین: نحوه نوشتن دستورات ChatGPT بهتر

علیرغم کمبود MedPaLM، سینگال و تیم به این نتیجه رسیدند، “نتایج ما نشان می دهد که عملکرد قوی در پاسخ به سوالات پزشکی ممکن است یک توانایی اضطراری LLMها همراه با تنظیم سریع دستورالعمل موثر باشد.”