در این بخش خواص پیش­گویی رگرسیون چندکی SCAD تاوانیده و رگرسیون چندکی LASSO انطباقی تاوانیده ثابت می­ شود. فرض می­ شود که داده ­های شامل مشاهده از مدل خطی زیر است:
(۱-۴)
جائی که است، و دارای شرط (i) زیر می­باشد. ، و و است. ضرایب رگرسیونی حقیقی به صورت و و در نتیجه می­باشند، به طوری که هیچ یک از مؤلفه­ های ، صفر نباشند. این مطلب به این معنی است که s متغییر پیش­گویی اول مهم هستند در حالی که p-sتای باقی­مانده، متغیرهای نوفه (noise variables) هستند.
برای نتایج تئوری، شرطهای تخصصی زیر را می­گذاریم

(( اینجا فقط تکه ای از متن درج شده است. برای خرید متن کامل فایل پایان نامه با فرمت ورد می توانید به سایت feko.ir مراجعه نمایید و کلمه کلیدی مورد نظرتان را جستجو نمایید. ))

1. 1. فرض خطا: خطاهای رگرسیونی مستقل و هم­توزیع هستند. هم­چنین دارای چندک ام صفر و چگالی مثبت و پیوسته ، اطراف صفر می­باشند.

1. 1. طرح i=1,2,…,n یک دنباله­ی تعیینی (deterministic sequence) است به طوری که یک ماتریس مثبت قطعی ∑ وجود دارد به قسمی که=∑ .

زیر ماتریس s-بعدی از ∑ که در بالا و سمت چپ قرار دارد با و زیر ماتریس (d-s)-بعدی از آن که در پایین و سمت راست قرار دارد با مشخص می­کنیم.
۴-۲- خواص مجانبی تاوان SCAD
رگرسیون چندکی SCAD تاوانیده مسئله مینیمم­گیری را که در آن

است، حل می­ کند. مشابه آنچه Fan و Li در سال ۲۰۰۱ نشان دادند، سازگاری برآوردگر SCAD تاوانیده شده را در قضیه­ی ۱ زمانی که پارامتر میزان­سازی وقتی که ، نشان می­دهیم.
قضیه ۱ (سازگاری(consistency)): نمونه­ از مدل (۱-۴) که در شرایط (i) و (ii) صدق می­ کند در نظر بگیرید. اگر ، آنگاه مینیمم موضعی وجود دارد به طوری که = .
تحت شرایط بیشتر، خاصیت تنکی =۰ برآوردگر SCAD تاوانیده به دست می ­آید.
لم ۱ (تنکی): نمونه­ از مدل (۱-۴) که در شرایط (i) و (ii) صدق می­ کند در نظر بگیرید. اگر داشته باشیم و زمانی که ، آنگاه برای هر ای که و هرC ثابت در حالت حدی () با احتمال یک داریم:
توجه کنید در شرایط لم ۱ داریم: و زمانی که ، مفهوم این شرط این است که با بزرگ شدن ، کوچک شود ولی نرخ کوچک شدن کمتر از نرخ بزرگ شدن باشد به گونه ­ای که زمانی که میل می­ کند.
قضیه­ی بعدی خواص پیش­گویی مجانبی را بیان می­ کند.
قضیه­ی ۲ (پیش­گویی): نمونه­ تصادفی از مدل(۱-۴) که در شرایط (i) و (ii) صدق می­ کند در نظر بگیرید. اگر داشته باشیم و زمانی که ، برای مینیم موضعی بر پایه­ n مشاهده در قضیه­ی ۱، در حالت حدی () با احتمال یک داریم:

1. 1. تنکی:

و

1. 1. نرمال بودن مجانبی:

که در شرط (ii) تعریف شده است.
اثبات قضایا و لم فوق در پیوست آورده شده است.
تذکر ۱: توجه داشته باشید که تفاوت اصلی بین رگرسیون چندکی تاوانیده و درستنمایی تاوانیده کلی­تر، همان طور که Fan و Li در سال ۲۰۰۱ مورد بررسی قرار دادند، این است که در رگرسیون چندکی تاوانیده، تابع زیان check function در مبدأ مشتق­پذیر نیست. برای فایق آمدن بر مشکلی که از این مشتق­ناپذیری به وجود می ­آید، لم تحدب (convexity lemma) که قبلاً توسط Pollard در سال ۱۹۹۱ مورد استفاده قرار گرفت، به کار برده می­ شود.
لم تحدب: فرض کنید یک دنباله از توابع تصادفی محدب تعریف شده روی یک زیر­مجموعه­ محدب و باز از باشد. هم­چنین فرض کنید یک تابع حقیقی مقدار روی باشد به طوری که برای هر داشته باشیم . آن­گاه برای هر زیرمجموعه فشرده k از داریم:
تابع ضرورتاً روی ، محدب است.
۴-۳- خواص مجانبی تاوان LASSO انطباقی
رگرسیون چندکی adaptive-LASSO تاوانیده، مسئله مینیمم­گیری را که در آن
است، حل می­ کند. فرض کنید جواب آن باشد.
قضیه­ی ۳ (پیش­گویی): نمونه­ تصادفی از مدل (۱-۴) که در شرایط (i) و (ii) صدق می­ کند، در نظر بگیرید. اگر و (۰< ) زمانی که ، آنگاه:

1. 1. تنکی:

و

1. 1. نرمال بودن مجانبی:

اثبات قضیه فوق در پیوست آورده شده است.
توجه کنید در شرایط قضیه ۳ داریم: و زمانی که میل می­ کند. به این مفهوم است که با بزرگ شدن ، کوچک می­ شود و نرخ کوچک شدن بیشتر از نرخ بزرگ شدن می­باشد. از طرف دیگر با توجه به اینکه ، نرخ بزرگ شدن باید بیشتر از نرخ کوچک شدن باشد.