(۴‑۴۰)
با بهره گرفتن از حالت بهینهسازی دوگان و جایگزینی مقادیر بالا در تابع لاگرانژ ، به تابع زیر میرسیم:
(۴‑۴۱)
با حل این مسأله بهینهسازی دوگان ضرایب لاگرانژ بدست میآیند.
برای تعدادی از Xi ها، میباشند که بیانگر بردار پشتیبان هستند.
(( اینجا فقط تکه ای از متن درج شده است. برای خرید متن کامل فایل پایان نامه با فرمت ورد می توانید به سایت feko.ir مراجعه نمایید و کلمه کلیدی مورد نظرتان را جستجو نمایید. ))
(۴‑۴۲)
۴-۳-۲-۲- رگرسیونگیری غیرخطی
SVR غیرخطی با معرفی توابع ویژگی که الگوهای ورودی را به فضای با ابعاد بیشتر نگاشت می کند، به دست می آید.
با جایگزین کردن ضرب داخلی با یک تابع کرنل به مساله بهینهسازی زیر میرسیم:
(۴‑۴۳)
مثل حالات قبل، رابطه مربوط به w نیز به شکل زیر تغییر می کند:
(۴‑۴۴)
که Xi همان بردارهای پشتیبان میباشند که ضرایب لاگرانژ غیر صفر دارند یعنی:
(۴‑۴۵)
در نهایت تابع f(X) به صورت زیر در می آید:
(۴‑۴۶)
بنابراین توابع کرنل هم کار نگاشت و هم کار ضرب داخلی بین توابع ویژگی را با هم انجام می دهند. تابع ارزش (-insensitive) استفاده شده در رگرسیون ماشین بردار پشتیبان یک پارامتر جدید را اضافه می کند که به طور قابل توجهی روی مدل و قابلیت پیش بینیاش اثر می گذارد. به جای استفاده از تابع (-insensitive) در رگرسیونگیری بردار بشتیبان، از توابع ارزش دیگری میتوان استفاده کرد. مانند توابع لاپلاس، درجه دو و هابر که در شکل (۴-۱۳) نشان داده شده است.
شکل (۴- ۱۳-a) تابع درجه دو[۴۲]، شکل (۴- ۱۳-b) تابع لاپلاس[۴۳]، شکل (۴- ۱۳-c) هابر[۴۴] و شکل (۴- ۱۳-c) همان -insensitive است.
برای تابع ارزش[۴۵] درجه دو، شکل بهینهسازی به صورت زیر در می آید:
(۴‑۴۷)
(۴‑۴۸)
حل این مسأله هم با روش بهینهسازی درجه دوم انجام می شود.
شکل ۴‑۱۳: کلیه توابع ارزش مورد استفاده در مدل ماشین بردار پشتیبان، که به ترتیب عبارتند از: (a) تابع درجه دو (b) تابع لاپلاس © تابع هابر و (d) تابع حساسیت
برای یادگیری نحوه استفاده از توابع کرنل مجموعه ای از داده ها را که یک بعدی هستند، به صورت جدول (۴-۲) در نظر میگیریم.
جدول ۴‑۲: : مثالی از داده ها برای رگرسیونگیری آنها به وسیله SVR
در شکل (۴-۱۴) دو مدل از رگرسیون بردار پشتیبان نشان داده شده است که اولی از کرنل چند جملهای از درجه ۱۰ به دست آمده و دومی با کرنل اسپلاین[۴۶] محاسبه شده است. کرنل چند جمله ای یک سری نوسان را در دو انتهای منحنی ایجاد کرده است ، همچنین دیده می شود که کرنل اسپلاین هم یک مدل نامناسب برای داده ها است. کرنل RBF هم نمیتواند یک حل قابل قبول برای رگرسیونگیری داده ها پیشنهاد دهد (رگرسیون داده ها برای کرنلRBF نشان داده نشده است).
شکل ۴‑۱۴: مدلهای SVR برای داده های جدول (۴-۲) ، با ۰٫۱= : (a) کرنل چند جملهای از درجه ۱۰ ; (b) کرنل spline.
تابع کرنل بی اسپلاین[۴۷] از درجه یک که در شکل (۴-۱۵-a) نشان داده شده است، با پارامترهای C=100 و =۰٫۱ یک مدل عالی از رگرسیون ماشین بردار پشتیبان با یک لوله رگرسیون که به دقت جزئیات داده های ورودی را دنبال می کند، را پیشنهاد می کند. حال از این کرنل استفاده میکنیم تا ببینیم با مقادیر مختلف C و ، لوله رگرسیون چه تغییراتی می کند.
با مقدار C=100 و افزایش دادن مقدار به ۳/۰، رگرسیونی را به دست میدهد که حساسیت کمتری نسبت به داده های ورودی دارند (شکل ۴-۱۵-b) و سه ناحیهای را که دارای داده های با مقادیر y تقریباً ثابت هستند، را به خوبی مدل نمیکند. این وضعیت به دلیل بزرگتر شدن قطر لوله رگرسیون است و الگوهای داخل لوله اثری روی مدل SVR ندارند (دارای خطای صفر هستند).
شکل ۴‑۱۵: مدلهای SVR با تابع هسته B spline از درجه ۱ برای مجموعه داده های جدول (۴-۲) با C=100: (a)0.1= ; (b) 0.3=
با بیشتر کردن مقدار و رساندن آن به مقدار ۵/۰، شکل مدل SVR شباهت کمتری نسبت به چیدمان داده های ورودی خواهد داشت. در این حالت لوله رگرسیون با بردارهای پشتیبان کمتری تعریف می شود ولی بیانگر شکل کلی منحنی نیستند. پس برای ما معلوم شد که پارامتر باید برای هر مسأله به خصوصی تنظیم شود چون تغییرات کوچک در این پارامتر اثرات قابل توجهی روی مدل رگرسیون دارد. حال با ثابت نگه داشتن مقدار ۰٫۱= ، تغییرات C و اثر آن را روی مدل رگرسیون بررسی میکنیم. مرجع ما در این جا مدل SVR شکل (۴-۱۵-a) است که برای C=100 به دست آمده است. با کاهش مقدار C=10 ماشین به طور دقیق نمیتواند داده های دو قلّه که مقادیر بالایی دارند، مدل کند (شکل ۴-۱۶-b). با کمتر کردن پارامتر ظرفیت C به مقدار ۱ (شکل ۴-۱۷-a) و سپس به ۱/۰ (شکل ۴-۱۷-b)، ماشین ما در مدل کردن داده های دو قلّه ناتوانتر میماند.
شکل ۴‑۱۶: مدلهای SVR با تابع هسته B spline از درجه ۱، برای مجموعه داده های جدول (۴-۲): (a) 0.5= و C=100 ; (b) 0.1= و C=10
شکل ۴‑۱۷: مدلهای SVR با تابع هسته B spline از درجه ۱ برای مجموعه داده های جدول (۴-۲): (a) 10= و C=1 ; (b) 0.1= و C=0.1
حداقل مربعات ماشین بردار پشتیبان
روش حداقل مربعات ماشین بردار پشتیبان با فرمولبندی دوباره مسأله بهینهسازی به صورت ذیل نوشته می شود:
(۴‑۴۹)
که پارامتر تنظیم بوده و بین کمینهسازی خطای برازش و یکنواختی منحنی برازش، توازن ایجاد می کند و نیز خطای مربوط به داده iام است. تابع لاگرانژ این مسأله بهینهسازی را میتوان به صورت ذیل نوشت:
(۴‑۵۰)
با مشتقگیری از تابع لاگرانژ نسبت به ، b، e و و جایگذاری مقادیر به دست آمده برای و e در تابع لاگرانژ، مسأله بهینهسازی به سیستمی از معادلات خطی تبدیل می شود (رابطه ۴-۵۱).
(۴‑۵۱)
که در این رابطه، ، ، ، IN ماتریس همانی و ماتریس کرنل میباشد. درایههای ماتریس کرنل نیز به صورت محاسبه میشوند.
الگوریتم جامعه پرندگان