Simulation comparison of methods for selection of explanatory variables in regression model

When creating regression models, we usually have more independent variables to our disposal than is required to determine dependant variable. It is important for us to distinguish between regressors that appear to be significant in our model and regressors that do not bring any additional information and thus can be excluded.The aim of this thesis is to compare four different, widely used methods for feature selection using real data set with the help of two data generating processes and Monte Carlo simulations of our own design that are used mostly for simulating situations that are under the influence of random effects. The data set we are using is showing different impacts on average month wage. Numerical calculations are realized in programming language R with the use of standard packages.

Regresní modely obsahují častokrát velké množství nezávisle proměnných, přičemž část z nich nemusí mít vůbec žádný vliv na závisle proměnnou. Pro nás je důležité odlišit regresory, které jsou v modelu signifikantní, od těch regresorů, které nám nepřinášejí žádnou novou informaci a můžou být z modelu vymazané. Cílem této práce je porovnat čtyři rozšířené metody pro selekci proměnných na volně dostupných datech pomocí dvou data generujících procesů a námi vytvořených Monte Carlo simulací, které jsou používané hlavně na simulování situací, které jsou pod vlivy náhodných jevů. Použitý datový soubor zobrazuje různé vlivy na průměrnou měsíční mzdu. Numerické výpočty realizujeme v jazyce R s využitím standardních balíčků.