hyperparameter optimization
Főnév
hyperparameter optimization (tsz. hyperparameter optimizations)
- (informatika) A hyperparameter optimization (magyarul: hiperparaméter-optimalizálás) a gépi tanulásban azt a folyamatot jelenti, amelynek során megkeressük azokat a hiperparaméter-értékeket, amelyek egy tanulási algoritmus teljesítményét maximalizálják egy adott feladatra.
🧠 Mi az a hiperparaméter?
A hiperparaméterek nem tanulható paraméterek. Ezeket a tanítás előtt kell beállítani, és befolyásolják az algoritmus viselkedését.
Példák:
- döntési fa mélysége
- tanulási ráta (learning rate) neurális hálóban
- regulárizációs tényező (pl. Ridge/Lasso)
- kernel típusa SVM-ben
- rejtett neuronok száma
🎯 Cél
Olyan hiperparaméter-értékek megtalálása, amelyek:
- jobb pontosságot eredményeznek
- elkerülik az overfittinget
- gyorsabb tanulást biztosítanak
🔧 Népszerű keresési módszerek
| Módszer | Leírás |
|---|---|
| Grid search | Rácsszerűen kipróbál minden kombinációt – lassú, de egyszerű |
| Random search | Véletlenszerű kombinációk – gyorsabb, gyakran hatékonyabb |
| Bayesian optimization | A korábbi eredmények alapján következtet új jó kombinációkra |
| Hyperband | Hatékony, korai leállítást használ, kevesebb erőforrást pazarol |
| Genetikus algoritmus | Evolúciós keresés, adaptív megközelítés |
🧪 Példa: GridSearchCV a scikit-learn-ben
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
param_grid = {
'n_estimators': [100, 200],
'max_depth': [5, 10, None],
'criterion': ['gini', 'entropy']
}
clf = RandomForestClassifier()
grid = GridSearchCV(clf, param_grid, cv=5)
grid.fit(X_train, y_train)
print("Legjobb paraméterek:", grid.best_params_)
🧩 Tippek
- Először durva keresés, majd finomhangolás (pl. random → grid)
- Valódi célfüggvény legyen (pl. F1-score, ne csak accuracy)
- Kereszthitelesítés (cross-validation) segít reálisabb eredményeket adni
- Automatizálható: pl.
Optuna,Ray Tune,skopt,Hyperopt
📊 Összefoglaló
| Fogalom | Jelentés |
|---|---|
| Hiperparaméter | A modell külső beállítása (pl. tanulási ráta) |
| Optimalizáció célja | Legjobb teljesítmény elérése adott metrika szerint |
| Használt technikák | Grid search, random search, Bayesian, genetikus algoritmus stb. |
| Tipikus eszközök | scikit-learn, Optuna, Hyperopt, Ray Tune, Keras Tuner |
- hyperparameter optimization - Szótár.net (en-hu)
- hyperparameter optimization - Sztaki (en-hu)
- hyperparameter optimization - Merriam–Webster
- hyperparameter optimization - Cambridge
- hyperparameter optimization - WordNet
- hyperparameter optimization - Яндекс (en-ru)
- hyperparameter optimization - Google (en-hu)
- hyperparameter optimization - Wikidata
- hyperparameter optimization - Wikipédia (angol)
