Max Home IndustryКурс глубокого обучения, преподаваемый Яном Лекуном, пионером сверточных нейронных сетей и главным ученым Facebook по искусственному интеллекту, был доступен онлайн бесплатно.
Это любезно предоставлено Центром науки о данных Нью-Йоркского университета или сокращенно CDS Нью-Йоркского университета, где Янн ЛеКун преподавал курс прошлой весной под кодовым названием DS-GA 1008.Он основан на Python/Pytorch, код которого можно запускать онлайн на ноутбуках Jupyter.
Беглый взгляд на курикулум показывает, что курс является передовым и охватывает большинство методов глубокого обучения;контролируемое/самоконтролируемое обучение, методы встраивания, метрическое обучение, сверточные и рекуррентные сети и все это с практическим применением в области компьютерного зрения, понимания естественного языка и распознавания речи.
15-недельная учебная программа в полном объеме:
Неделя 1
Мотивация глубокого обучения, Его история и вдохновение
Эволюция и использование CNNs и почему глубокое обучение?
Мотивация задач, Линейная алгебра и визуализация
Неделя 2
Введение в алгоритм градиентного спуска и обратного распространения
Вычисление градиентов для модулей NN и практические приемы для обратного распространения
Искусственные нейронные сети (ANNs)
Неделя 3
Визуализация преобразования параметров нейронных сетей и фундаментальные концепции свертки
Эволюция ConvNet, Архитектуры, Детали реализации и преимущества.
Свойства естественных сигналов
Неделя 4
Линейная алгебра и свертки
Неделя 5
Методы оптимизации I
Методы оптимизации II
Понимание свертки и механизм автоматического дифференцирования
Неделя 6
Приложения сверточной сети
RNNs, GRUs, LSTMs, Attention, Seq2Seq и сети памяти
Архитектура модели RNN и LSTM
Неделя 7
Энергетические модели
SSL, EBM с подробностями и примерами
Введение в автоэнкодеры
Неделя 8
Контрастивные методы в энергетических моделях
Регуляризованные Модели На Основе Латентной Переменной Энергии
Генеративные модели — Вариационные Автоэнкодеры
Неделя 9
Дискриминативный Рекуррентный разреженный Автокодер и Групповая разреженность
Модели мира и Порождающие состязательные сети
Генеративные Состязательные сети
Неделя 10
Самостоятельное Обучение-Задачи, связанные с обучением
Самоконтролируемое обучение — ClusterFit и PIRL
Покровитель Грузовика-Верхний
Неделя 11
Функции активации и потери (часть 1)
Функции потерь (продолжение) и функции потерь для моделей, основанных на энергии
Прогнозирование и изучение политики в условиях неопределенности (PPUU)
Неделя 12
Глубокое обучение для НЛП
Модели языка декодирования
Внимание и Трансформатор
Неделя 13
Графовые Сверточные сети I
Графовые сверточные сети II
Графовые сверточные сети III
Неделя 14
Глубокое обучение для структурированного прогнозирования
Графические энергетические методы
Переоснащение и регуляризация
Неделя 15
Вывод для моделей, основанных на скрытой переменной энергии
Обучение скрытым переменным моделям на основе энергии (ebMS)
На главном веб-сайте курса можно найти весь материал курса в формате видео, текста и pdf,в то время как записанные лекции можно найти в виде списка воспроизведения на YouTube.
Хранилище записных книжек Jupyter находится на Github,материалы которого были доступны на 10 других языках, кроме английского.Помимо этих ресурсов, курс очень организован, так как у него также есть форум на Reddit.
Предостережение, это не курс для начинающих в области машинного обучения; он требует прохождения введения в науку о данных NYU DS-GA 1001, в котором рассматривается, как методы науки о данных могут быть использованы для улучшения принятия решений. Он изучает фундаментальные принципы и методы науки о данных на реальных примерах и примерах, чтобы поместить методы науки о данных в контекст,развить аналитическое мышление и проиллюстрировать, что правильное применение-это в такой же степени искусство, как и наука. Конечно, это снова основано на Python и связанных с ним библиотеках анализа данных. Однако DS-GA 1001 не является бесплатным и является частью степени магистра в области науки о данных. Однако участие в любом другом курсе машинного обучения тоже подойдет, например, когда-либо популярный бесплатный курс Эндрю Нга по Coursera или альтернативное введение в науку о данных, такое как Введение в науку о данных от IBM на edX.
В заключение мне просто нужно сказать, что этот курс отличается от других тем, что Ян Лекун является авторитетом в этой области, что подкрепляется его исключительными полномочиями. Короче говоря, Ян Лекун в настоящее время является серебряным профессором наук о данных, компьютерных наук, нейробиологии, электротехники и компьютерной инженерии в Нью-Йоркском университете, а также вице-президентом и главным ученым в области искусственного интеллекта в Facebook. Вместе с Джеффри Хинтоном и Йошуа Бенгио он был удостоен премии ACM Turing Award 2018 года с цитатой, описывающей их троих как «Отцов глубокого обучения».
Еще в 2016 году я освещал его интервью с Себастьяном Труном из Udacity в «Facebook Yann LeCun On Everything AI», в котором он высказал свое мнение об общем искусственном интеллекте :
ЛеКун начал свое выступление с общей истины о том, что для того, чтобы машины проявили здравый смысл, они сначала должны быть в состоянии понять, как устроен мир, и это произойдет только в условиях неконтролируемого обучения, а не в рамках применяемого в настоящее время контролируемого обучения, которое использует людей для аннотирования данных, с которыми работают машины. Ключом к этому процессу является предоставление машине возможности предсказывать, над чем его команда в Facebook работает с помощью программного обеспечения для прогнозирования видео.
Его мнение о том, что общий искусственный интеллект когда-нибудь вырастет из пропорций и перехитрит нас, людей, было неубедительным; однако в настоящее время он не видит причин для беспокойства.
Но он также перечислил квалификацию, необходимую для того, чтобы попасть в его команду исследователей и инженеров. В предложении исследователи требуют докторов наук, инженеры-докторов наук или бакалавров. Это уже кое-что.
Сеанс был записан для тех, кто не смог поймать его в прямом эфире, и по-прежнему доступен онлайн на странице Udacity в Facebook для всех желающих.