صفحه اصلی
کتابخانه
مدل های بنیادی برای پردازش زبان طبیعی

مدل های بنیادی برای پردازش زبان طبیعی

گروه هدف

کتاب مدل های بنیادی برای پردازش زبان طبیعی مقدمه‌ای عالی و عمیق برای مبحث مدل‌های بنیادی است که حاوی جزئیاتی در مورد کلاس‌های اصلی این مدل‌ها و استفاده از آن‌ها با متن، گفتار، تصاویر و ویدئو است.

بنابراین می تواند به عنوان یک نمای کلی برای کسانی که علاقه مند به ورود به این زمینه هستند، و همچنین یک مرجع دقیق تر برای کسانی که علاقه مند به یادگیری بیشتر در مورد رویکردهای فردی هستند مفید واقع گردد.

مقدمه کتاب

هوش مصنوعی از زبان پروفسور Stefan Wrobel

هوش مصنوعی ( AI ) و یادگیری ماشین، به طور خاص، چندین سال است که در مرکز توجه علم، تجارت و جامعه قرار داشته و برای بسیاری، ممکن است مانند یک دوست قدیمی به نظر برسند که امروزه ما به توانایی هایش دست یافته ایم.

هوش مصنوعی مبتنی بر یادگیری ماشین تقریباً در همه جا وجود دارد. الگوریتم‌های یادگیری ماشین هنگامی که به جدول زمانی خود در رسانه‌های اجتماعی نگاه می‌کنیم، وقتی به موسیقی گوش می‌دهیم یا فیلم تماشا می‌کنیم، همواره توصیه‌هایی برای ما دارند.

آنها می توانند صحبت های ما را رونویسی کنند و وقتی با دستیارهای دیجیتالی تلفن همراه خود صحبت می کنیم به سؤالات ساده پاسخ دهند.
سیستم‌های هوش مصنوعی گاهی اوقات تشخیص‌های بهتری نسبت به پزشکان انسانی در موارد خاص ایجاد می‌کنند و در پشت صحنه، بسیاری از سیستم‌های دیجیتال امروزی را در مدیریت می‌کنند.

بسیاری هستند که حتی از قابلیت‌های رانندگی نیمه خودران در جدیدترین خودروها با نیروی یادگیری ماشین استفاده می‌کنند.
به همان اندازه که این برنامه ها چشمگیر هستند، انقلاب دیگری در راه است. موج جدیدی از فناوری هوش مصنوعی در شرف تغییر کامل تصور ما از قابلیت‌های سیستم‌های هوشمند مصنوعی است: مدل‌های بنیادی.

در حالی که تاکنون، سیستم‌های هوش مصنوعی معمولاً با آموزش الگوریتم‌های یادگیری بر روی مجموعه داده‌هایی ساخته می‌شدند که به‌طور خاص برای یک کار خاص ساخته می‌شدند، محققان و مهندسان اکنون از عرضه تقریباً نامحدود داده‌ها، اسناد و تصاویر موجود در اینترنت برای آموزش مدل‌ها استفاده می‌کنند.

مستقل از وظایف احتمالی که ممکن است بعداً برای آنها استفاده شود. با استفاده از مجموعه‌های اسناد بزرگ با تریلیون‌ها کلمه، و ترکیب صدها میلیارد پارامتر، چنین مدل‌های شبکه عمیق، بازنمایی ورودی‌های خود را می‌سازند و آنها را به گونه‌ای ذخیره می‌کنند که بعداً امکان استفاده از آنها برای کارهای مختلف را فراهم می‌کنند.

مطالب پیشنهادی:

روش سنتی پردازش زبان طبیعی

پیش گفتار کتاب مدل های بنیادی برای پردازش زبان طبیعی

چهل سال پیش، زمانی که شبکه‌های عصبی عمیق پیشنهاد شدند، به عنوان یک دستگاه محاسباتی همه منظوره در نظر گرفته شدند که عملکرد مغز را تقلید می‌کند.

با این حال، به دلیل قدرت ناکافی کامپیوترها در آن زمان، آنها را تنها می توانست برای پردازش های کوچک اعمال کرد و به همین خاطر از کانون تحقیقات علمی محو شد.
تنها حدود 10 سال پیش بود که گونه‌ای به نام شبکه‌های عصبی کانولوشنال موفق شد اشیاء را در تصاویر بهتر از روش‌های دیگر شناسایی کند.
این بر اساس در دسترس بودن مجموعه آموزشی بسیار بزرگی از تصاویر حاشیه نویسی دستی، قدرت محاسباتی بالای واحدهای پردازش گرافیکی، و کارایی تکنیک های بهینه سازی جدید بود.
مدت کوتاهی پس از آن، بسیاری از مدل‌های تخصصی نوانستند عملکرد را در زمینه‌های دیگر بهبود بخشند، به عنوان مثال، شبکه‌های عصبی مکرر برای پیش‌بینی توالی یا مدل‌های یادگیری تقویتی برای کنترل بازی‌های ویدیویی.

با این حال، نتایج این شبکه‌های عصبی عمیق در اکثر موارد متوسط بود و معمولاً با عملکرد انسان مطابقت نداشت.
در حوزه پردازش زبان طبیعی به ویژه می توانست از این ایده بهره مند شود که معنای هر کلمه را با یک بردار طولانی، به عنوان یک جاسازی تعبیه کند.
این رویکرد به طور قاطع توسط مهندسان گوگل بهبود یافت. آنها این تعبیه‌ها را با تعبیه‌های کلمات دیگر مرتبط کردند، که آنها را قادر می‌سازد جاسازی‌های جدید را در لایه بعدی محاسبه کنند، که جاسازی یک کلمه را با متن تطبیق می‌دهد.

مطالب پیشنهادی:

پردازش زبان طبیعی NLP

به عنوان مثال، کلمه بانک معمولاً یک موسسه مالی نزدیک کلمه پول و یک زمین شیبدار در همسایگی رودخانه است. این عملیات خودتوجهی نامیده شد و مدل ها را قادر ساخت تا حجم بی سابقه ای از اطلاعات معنایی را به دست آورند. به جای پردازش یک متن کلمه به کلمه، همه کلمات به یکباره همبسته شدند که سرعت پردازش را افزایش می دهد.

این مدل ها می توانند به عنوان مدل های زبانی استفاده شوند که با توجه به کلمات قبلی یک متن، کلمه بعدی را پیش بینی می کنند.
آنها به حاشیه نویسی انسانی نیاز ندارند و می توانند بر روی متن ساده آموزش داده شوند، به عنوان مثال مشخص شد که هرچه این مدل‌ها بزرگتر شوند و متن آموزشی بیشتری پردازش کنند، عملکرد بهتری دارند.
یک نقطه عطف، مدل GPT-3 بود که 175 میلیارد پارامتر دارد و بر روی 570 گیگابایت متن آموزش داده شد. توانست متن‌های قانع‌کننده‌ای از لحاظ نحوی و معنایی تولید کند که تقریباً از متون تولید شده توسط انسان قابل تشخیص نبود.