Зачем линейной алгебре отдельная глава
Вы уже встречались с матрицами в школьном курсе — как с прямоугольными таблицами чисел. В современном ИИ матрица — это универсальный носитель данных.
Чёрно-белая фотография 1024\times 1024 — это матрица размера 1024\times 1024, где каждое число — яркость пикселя от 0 (чёрный) до 255 (белый). Цветная — три такие матрицы.
Текст из N слов словаря — это вектор частот длины N (модель «мешка слов»), и набор из M документов — матрица M\times N.
Социальная сеть из N пользователей — матрица N\times N, где элемент (i,j) равен 1, если i подписан на j.
Веса одного слоя нейросети — матрица W, через которую входной сигнал умножается, чтобы получить выходной.
С такими матрицами надо уметь что-то делать: сжимать, сравнивать, упорядочивать, обновлять. И почти всегда оказывается, что нужная операция выражается через одно и то же фундаментальное разложение матрицы — сингулярное. Мы изучим его и применим к четырём задачам:
Узнать лицо по фотографии — eigenfaces (§0.5).
Сжать пространство признаков — eigencats и теорема Эккарта–Янга (§0.4, §0.6).
Упорядочить весь Интернет — PageRank (§0.7).
Понять, когда нейросеть устойчива — оценки Липшицевости (§0.8).
Прежде чем перейти к сюжетам, разберёмся с одной очень земной проблемой: с тем, как компьютер хранит числа.
Наверх