Clasificación Binaria

Es un tipo de aprendizaje supervisado en el que se asignan categorías discretas a las observaciones. Predice si una observación pertenece a dos clases: positiva/negativa.

Dados $n$ pares de entrenamiento $\{(x_i, t_i)\}^n_{i=1} = \{ (x_1, t_1), \ldots, (x_n, t_n) \}$ necesitamos una función:

f(x_i) = \begin{cases} y_i = +1 , \geq 0 \\ y_i = -1 , < 0 \end{cases}

Una clasificación correcta es el producto de la etiqueta verdadera y la función de predicción: $y_if(x_i) > 0$

Separabilidad lineal

Un conjunto es linealmente separable si podemos trazar una linea o un hiperplano que separe datos de una categoría de otra.

Algoritmo del perceptrón

Es un algoritmo que encuentra un hiperplano de separación si los datos son linealmente separables.

Regresión logística

Es una aproximación probabilística al problema de clasificación. Se modela la probabilidad de que una observación pertenezca a una clase específica dadas las variables predictoras.

Se toma una combinación lineal de las variables de entrada y luego se aplica una función sigmoide para obtener una probabilidad entre 0 y 1:

p(y=1|x) = h(x) = \frac{1}{1 + e^{- \theta^T x}}

Clasificador Naive Bayes

Es un clasificador probabilístico basado en el teorema de Bayes, asumiendo independencia entre las características. Calcula la probabilidad de que una observación pertenezca a una clase dada sus características.

p(A|B) = \frac{p(B|A)p(A)}{p(B)}