Language
Country/Area
No result found
Please try again with a different
query
"Never
Stop
Questioning"
Повторное открытие тайны ядра гильбертова пространства: почему оно привлекательнее традиционного пространства внутреннего произведения?
<р>
Методы ядра все чаще используются в области статистики и машинного обучения. Этот метод в основном основан на предположении о внутреннем пространстве произведения и улучшает эффективность прогнозирования за счет моделирования структуры сходства входных образцов. Когда мы говорим о традиционных методах, таких как машины опорных векторов (SVM), первоначальные определения этих методов и процедур их регуляризации не были основаны на байесовской точке зрения. Однако с байесовской точки зрения понимание предыстории этих методов дает важные идеи.
<р> Свойства ядра разнообразны и не обязательно полуопределены, что означает, что структура, стоящая за ним, может выходить за рамки традиционного пространства внутренних произведений и переходить к более общему пространству Гильберта повторного ядра (RKHS). В байесовской теории вероятностей ядерные методы становятся ключевым компонентом гауссовых процессов, где ядерная функция называется функцией ковариации. В прошлом ядерные методы традиционно использовались для задач контролируемого обучения, которые обычно включали векторное входное пространство и скалярное выходное пространство. В последние годы эти методы были расширены для решения задач с множественными результатами, таких как многозадачное обучение.Внедрение методов ядра не только повышает производительность различных обучающихся машин, но и открывает новые перспективы для теоретической основы машинного обучения.
Анализ проблем контролируемого обучения
<р> Основная задача контролируемого обучения — оценить выход новой входной точки на основе входных и выходных данных обучающего набора. Например, если задана новая входная точкаx', нам необходимо выучить скалярную оценку значения _f(x'), и эта оценка основана на на обучающем наборе S. Этот обучающий набор состоит из n пар вход-выход, представленных как S = (X, Y) = (x1, y1), …, (xn, yn). Распространенным методом оценки является использование симметричной и положительной двумерной функции k(⋅, ⋅), часто называемой функцией ядра.
Проблема контролируемого обучения заключается в том, как эффективно обучаться на основе известных пар вход-выход и применять это обучение к неизвестным точкам данных.
Перспектива регуляризации
<р> В регуляризованной структуре основное предположение состоит в том, что набор функцийF содержится в повторяющемся ядерном гильбертовом пространстве Hk. Свойства повторяющегося ядра гильбертова пространства делают его еще более привлекательным. Во-первых, свойство «повторяемости» здесь гарантирует, что мы можем выразить любую функцию через линейную комбинацию функций ядра. Во-вторых, эти функции находятся в пределах замыкания линейных комбинаций в заданных точках, что означает, что мы можем строить линейные и обобщенные линейные модели. В-третьих, квадратную норму этого пространства можно использовать для измерения сложности функции.
Пространство Гильберта с повторяющимся ядром не только обеспечивает гибкость в представлении функций, но и предоставляет приемлемую основу для баланса между сложностью модели.
Экспорт оценщика
<р> Явный вид оценщика получается путем решения процедуры минимизации функции регуляризации. Эта функция регуляризации состоит из двух основных частей: с одной стороны, она учитывает среднеквадратичную ошибку прогноза; с другой стороны, это норма, которая управляет сложностью модели через параметр регуляризации. Параметр регуляризацииλ определяет, насколько сильно следует штрафовать сложность и нестабильность в повторяющемся ядре гильбертова пространства.
<р> На основе объединения этих теорий принят метод оценки повторного ядра гильбертова пространства, позволяющий перейти от традиционного взгляда к байесовской перспективе. Поэтому, будь то регуляризация или байесовский вывод, мы в конечном итоге можем получить приблизительно эквивалентные оценки. Эта взаимная связь, несомненно, демонстрирует потенциал ядерных методов в разработке разнообразного семейства моделей машинного обучения. <р> Станут ли эти методы важными вехами в развитии машинного обучения в будущем, по мере роста объемов данных и вычислительной мощности?Таким образом, мы можем не только получить достоверные оценки, но и значительно снизить риск переобучения.
Trending Knowledge
Секрет байесовской статистики: почему методы ядра так важны в машинном обучении?
В области сложного машинного обучения теоретическая основа байесовской статистики всегда была горячей темой исследований. Методы ядра служат мощными инструментами, которые позволяют нам углубляться в
Как гауссовские процессы меняют игру предсказаний? Исследуйте ковариационную функцию в ее основе!
Благодаря быстрому развитию технологий машинного обучения гауссовские процессы (ГП) как метод контролируемого обучения меняют наше понимание проблем прогнозирования. Традиционные методы машинного обуч
nan
В мире электронного дизайна часто упоминаются методы тестирования неисправностей, особенно метод генерации автоматического тестового образца (ATPG). Эта технология не только позволяет инженерам захва
Математическая магия машин опорных векторов: как посмотреть на них с байесовской точки зрения?
В рамках байесовской статистической структуры машинного обучения методы ядра возникают из предположений о внутреннем пространстве продукта или структуре сходства входных данных. Первоначальное формиро