支持向量機是一個相對較新和較先進的機器學習技術，最初提出是為了解決二類分類問題，現(xiàn)在被廣泛用于解決多類非線性分類問題和回歸問題。繼續(xù)閱讀本文，你將學習到支持向量機如何工作，以及如何利用R語言實現(xiàn)支持向量機。
支持向量機如何工作？
簡單介紹下支持向量機是做什么的：
假設你的數(shù)據(jù)點分為兩類，支持向量機試圖尋找最優(yōu)的一條線（超平面），使得離這條線最近的點與其他類中的點的距離最大。有些時候，一個類的邊界上的點可能越過超平面落在了錯誤的一邊，或者和超平面重合，這種情況下，需要將這些點的權重降低，以減小它們的重要性。
這種情況下，“支持向量”就是那些落在分離超平面邊緣的數(shù)據(jù)點形成的線。
無法確定分類線（線性超平面）時該怎么辦？
此時可以將數(shù)據(jù)點投影到一個高維空間，在高維空間中它們可能就變得線性可分了。它會將問題作為一個帶約束的最優(yōu)化問題來定義和解決，其目的是為了最大化兩個類的邊界之間的距離。
我的數(shù)據(jù)點多于兩個類時該怎么辦？
此時支持向量機仍將問題看做一個二元分類問題，但這次會有多個支持向量機用來兩兩區(qū)分每一個類，直到所有的類之間都有區(qū)別。
工程實例
讓我們看一下如何使用支持向量機實現(xiàn)二元分類器，使用的數(shù)據(jù)是來自MASS包的cats數(shù)據(jù)集。在本例中你將嘗試使用體重和心臟重量來預測一只貓的性別。我們拿數(shù)據(jù)集中20%的數(shù)據(jù)點，用于測試模型的準確性（在其余的80%的數(shù)據(jù)上建立模型）。
# Setup
library(e1071)
data(cats, package="MASS")
inputData <- data.frame(cats[, c (2,3)], response = as.factor(cats$Sex)) # response as factor
線性支持向量機
傳遞給函數(shù)svm()的關鍵參數(shù)是kernel、cost和gamma。Kernel指的是支持向量機的類型，它可能是線性SVM、多項式SVM、徑向SVM或Sigmoid SVM。Cost是違反約束時的成本函數(shù)，gamma是除線性SVM外其余所有SVM都使用的一個參數(shù)。還有一個類型參數(shù)，用于指定該模型是用于回歸、分類還是異常檢測。但是這個參數(shù)不需要顯式地設置，因為支持向量機會基于響應變量的類別自動檢測這個參數(shù)，響應變量的類別可能是一個因子或一個連續(xù)變量。所以對于分類問題，一定要把你的響應變量作為一個因子。
# linear SVM
svmfit <- svm(response ~ ., data = inputData, kernel = "linear", cost = 10, scale = FALSE) # linear svm, scaling turned OFF
print(svmfit)
plot(svmfit, inputData)
compareTable <- table (inputData$response, predict(svmfit)) # tabulate
mean(inputData$response != predict(svmfit)) # 19.44% misclassification error
徑向支持向量機
徑向基函數(shù)作為一個受歡迎的內核函數(shù)，可以通過設置內核參數(shù)作為“radial”來使用。當使用一個帶有“radial”的內核時，結果中的超平面就不需要是一個線性的了。通常定義一個彎曲的區(qū)域來界定類別之間的分隔，這也往往導致相同的訓練數(shù)據(jù)，更高的準確度。
# radial SVM
svmfit <- svm(response ~ ., data = inputData, kernel = "radial", cost = 10, scale = FALSE) # radial svm, scaling turned OFF
print(svmfit)
plot(svmfit, inputData)
compareTable <- table (inputData$response, predict(svmfit)) # tabulate
mean(inputData$response != predict(svmfit)) # 18.75% misclassification error
尋找最優(yōu)參數(shù)
你可以使用tune.svm()函數(shù)，來尋找svm()函數(shù)的最優(yōu)參數(shù)。
### Tuning
# Prepare training and test data
set.seed(100) # for reproducing results
rowIndices <- 1 : nrow(inputData) # prepare row indices
sampleSize <- 0.8 * length(rowIndices) # training sample size
trainingRows <- sample (rowIndices, sampleSize) # random sampling
trainingData <- inputData[trainingRows, ] # training data
testData <- inputData[-trainingRows, ] # test data
tuned <- tune.svm(response ~., data = trainingData, gamma = 10^(-6:-1), cost = 10^(1:2)) # tune
summary (tuned) # to select best gamma and cost
# Parameter tuning of 'svm':
# - sampling method: 10-fold cross validation
#
# - best parameters:
# gamma cost
# 0.001 100
#
# - best performance: 0.26
#
# - Detailed performance results:
# gamma cost error dispersion
# 1 1e-06 10 0.36 0.09660918
# 2 1e-05 10 0.36 0.09660918
# 3 1e-04 10 0.36 0.09660918
# 4 1e-03 10 0.36 0.09660918
# 5 1e-02 10 0.27 0.20027759
# 6 1e-01 10 0.27 0.14944341
# 7 1e-06 100 0.36 0.09660918
# 8 1e-05 100 0.36 0.09660918
# 9 1e-04 100 0.36 0.09660918
# 10 1e-03 100 0.26 0.18378732
# 11 1e-02 100 0.26 0.17763883
# 12 1e-01 100 0.26 0.15055453
結果證明，當cost為100，gamma為0.001時產生最小的錯誤率。利用這些參數(shù)訓練徑向支持向量機。
svmfit <- svm (response ~ ., data = trainingData, kernel = "radial", cost = 100, gamma=0.001, scale = FALSE) # radial svm, scaling turned OFF
print(svmfit)
plot(svmfit, trainingData)
compareTable <- table (testData$response, predict(svmfit, testData)) # comparison table
mean(testData$response != predict(svmfit, testData)) # 13.79% misclassification error
F M
F 6 3
M 1 19
網(wǎng)格圖
一個2-色的網(wǎng)格圖，能讓結果看起來更清楚，它將圖的區(qū)域指定為利用SVM分類器得到的結果的類別。在下邊的例子中，這樣的網(wǎng)格圖中有很多數(shù)據(jù)點，并且通過數(shù)據(jù)點上的傾斜的方格來標記支持向量上的點。很明顯，在這種情況下，有很多越過邊界違反約束的點，但在SVM內部它們的權重都被降低了。
# Grid Plot
n_points_in_grid = 60 # num grid points in a line
x_axis_range <- range (inputData[, 2]) # range of X axis
y_axis_range <- range (inputData[, 1]) # range of Y axis
X_grid_points <- seq (from=x_axis_range[1], to=x_axis_range[2], length=n_points_in_grid) # grid points along x-axis
Y_grid_points <- seq (from=y_axis_range[1], to=y_axis_range[2], length=n_points_in_grid) # grid points along y-axis
all_grid_points <- expand.grid (X_grid_points, Y_grid_points) # generate all grid points
names (all_grid_points) <- c("Hwt", "Bwt") # rename
all_points_predited <- predict(svmfit, all_grid_points) # predict for all points in grid
color_array <- c("red", "blue")[as.numeric(all_points_predited)] # colors for all points based on predictions
plot (all_grid_points, col=color_array, pch=20, cex=0.25) # plot all grid points
points (x=trainingData$Hwt, y=trainingData$Bwt, col=c("red", "blue")[as.numeric(trainingData$response)], pch=19) # plot data points
points (trainingData[svmfit$index, c (2, 1)], pch=5, cex=2) # plot support vectors
更多信息請查看IT技術專欄
公眾號
事業(yè)單位
當前位置：
公考類
招聘類
各類考試