奇異值分解(SVD)的了解

SVD:Sigular Value Decomposition

SVD有深刻的實體含義，需要了解

• SVDSigular Value Decomposition
  • Definition
  • Properties
  • examples

1 Definition

A[m×n]=U[m×r]Σ[m×r](V[n×r])T

A:

input data matrix

　☆ m × n matrix(e.g, m documents, n terms)

U:

Left singular vectors

　☆ m × r matrix(e.g, m documents, r concepts)

Σ :

Singular values

　☆ r × r diagonal matrix (strength of each concept )(r: rank of matrix A)

V:

Right singular vectors

　☆ n × r matrix(n terms, r concepts)

2 Properties

It is always possible to decompose a real matrix A into UΣVT , where

★ U, Σ , V :

unique(唯一的)

　　i.e唯一的A, 會分解得到唯一的U, Σ , V

★U, V:

column orthonormal(列标準正交化)

　☆ UTU=I;VTV=I ( I : identity matrix)

　☆(Columns are orthogonal unit vectors)

★Σ:

diagobal(對角的)

　☆Entries(singular values) are positive,and sorted in decreasing order( σ1≥σ2≥...≥0 )

3 examples

以上是SVD的一個例子

A 是使用者對7個使用者(7 rows)對5部(5 columns)電影的打分.對A分解得到

A=U[7×3]Σ[3×3]VT[5×3]

★ U 的

每一列

“意味”着一個

concept

.

　☆ so there are 3

concepts

★ Σ 對角線上每一個元素一位置concept的強度

　☆可以看出 3th

concepts

的強度很低, 可以判斷出這一

concept

不太重要

★ V <script type="math/tex" id="MathJax-Element-31">V</script> 是”movie-to-concept” simlarity matrix.

3 rows 代表3種不同的

concept

,5 columns代表5部不同的電影. 這一矩陣表明了每一部電影與每一種

concept

的相似度,或者說, 每一部電影屬于每一種

concept

的機率.

According to first row [0.56 0.59 0.56 0.09 0.09], we can say:

similarity(movie_1, concept_1) = 0.56

similarity(movie_2, concept_1) = 0.59

similarity(movie_3, concept_1) = 0.56

similarity(movie_4, concept_1) = 0.09

similarity(movie_5, concept_1) = 0.09

本篇來自于Youtube視訊的總結學習.