- Регистрация
- 20.01.2011
- Сообщения
- 7,665
- Розыгрыши
- 0
- Реакции
- 135

Большинству компаний машинное обучение кажется чем-то сверхсложным, дорогим и требующим серьёзных специалистов. И если вы намереваетесь создавать новую систему рекомендаций Netflix, то так и есть. Однако тенденция превращения всего в сервис затронула и эту сложную сферу. Начать с нуля проект ML можно без особых инвестиций, и это будет правильным решением, если ваша компания новичок в data science и хочет начать с решения самых простых задач.
Для просмотра ссылки Войди
Благодаря облачным сервисам машинного обучения вы можете начать создавать свои первые рабочие модели, делая ценные выводы из прогнозов даже при наличии небольшой команды. Мы уже говорили о Для просмотра ссылки Войди
Что такое «машинное обучение как сервис»
Machine learning as a service (MLaaS) — это зонтичный термин, объединяющий различные облачные платформы, решающие большинство инфраструктурных задач, включая предварительную обработку данных, обучение и оценку моделей с дальнейшим созданием прогнозов. Прогнозы можно связать со внутренней ИТ-инфраструктурой компании через REST API.
Сервисы Amazon Machine Learning, Azure Machine Learning, Google AI Platform и IBM Watson Machine Learning — вот четыре ведущих облачных сервиса MLaaS, обеспечивающих возможность быстрого обучения и развёртывания моделей. Если вы собираете собственную команду data science из разработчиков ПО компании, то вам стоит начать с них. Чтобы лучше понять распределение ролей, прочитайте нашу статью Для просмотра ссылки Войди
Роли в командах data science
В этой статье мы сначала представим краткий обзор основных платформ machine-learning-as-a-service компаний Amazon, Google, Microsoft и IBM, а затем сравним API машинного обучения, которые поддерживают эти компании. Стоит заметить, что в обзоре не будут представлены исчерпывающие инструкции о том, как и когда использовать эти платформы, это скорее информация о том, на что стоит смотреть при изучении их документации.

Если вам нужен интерфейс drag-and-drop, то сначала попробуйте Microsoft ML Studio. С точки зрения платформ для моделирования все четыре перечисленные выше компании предоставляют схожие продукты
Amazon Machine Learning и SageMaker
У Amazon есть два основных продукта для машинного обучения. Первая платформа называется Amazon Machine Learning, вторая, более новая — SageMaker.
Amazon Machine Learning
Для просмотра ссылки Войди
Возможности прогнозирования Amazon ML ограничены тремя вариантами: бинарной классификацией, многоклассовой классификацией и регрессией. При этом сервис Amazon ML не поддерживает методики обучения без учителя, и пользователь должен выбирать целевую переменную для её разметки в обучающем массиве данных. Кроме того, пользователь не обязан знать методики машинного обучения, поскольку Amazon выбирает их автоматически после изучения предоставленных данных.
Стоит помнить, что после 2021 года Amazon Для просмотра ссылки Войди
Прогностическая аналитика может использоваться в виде данных реального времени или по требованию при помощи двух отдельных API. Единственное, что стоит учесть — в настоящее время Amazon, похоже, делает упор на свои более мощные сервисы ML, например, на описанный ниже SageMaker.
Этот высокий уровень автоматизации является и достоинством, и недостатком при пользовании Amazon ML. Если вам нужно полностью автоматизированное, но ограниченное решение, AML соответствует вашим ожиданиям. В противном случае выберите SageMaker.
SageMaker
Для просмотра ссылки Войди
В 2021 году Amazon запустила Для просмотра ссылки Войди
Также Amazon имеет встроенные алгоритмы, оптимизированные под крупные массивы данных и вычисления в распределённых системах. В том числе:
- Linear learner — методика обучения с учителем для классификации
- Factorization machines для классификации и регрессии; предназначены для разреженных массивов данных.
- XGBoost — это алгоритм бустинга деревьев с учителем, увеличивающий точность прогнозов в задачах классификации, регрессии и ранжирования комбинированием прогнозов более простых алгоритмов.
- Image classification основан на Для просмотра ссылки Войди
или Зарегистрируйся, которая также может использоваться для трансферного обучения. - Seq2seq — это алгоритм с учителем для прогнозирования последовательностей (например, для перевода предложений, преобразования строк слов в более короткие в виде резюме, и так далее).
- K-means — это методика обучения без учителя для кластеризации
- Principal component analysis используется для снижения размерности.
- Latent Dirichlet allocation — методика без учителя, используемая для нахождения категорий в документах.
- Neural topic model (NTM) — методика без учителя, исследующая документы; выявляет слова с самым высоким рейтингом и определяет темы (пользователи не могут заранее определять темы, однако способны указывать их ожидаемое количество).
- DeepAR forecasting — это алгоритм обучения с учителем, используемый для Для просмотра ссылки Войди
или Зарегистрируйся; использует рекуррентные нейронные сети (RNN). - BlazingText — это алгоритм обработки естественного языка (NLP), созданный на основе Для просмотра ссылки Войди
или Зарегистрируйся, позволяющего сопоставлять слова в больших коллекциях текстов с векторными описаниями. - Random Cut Forest — это алгоритм распознавания аномалий без учителя, способный присваивать каждому примеру данных оценку аномальности.
- Для просмотра ссылки Войди
или Зарегистрируйся (LTR) — это плагин для Amazon Elasticsearch, позволяющий ранжировать запросы результатов поиска при помощи ML. - Для просмотра ссылки Войди
или Зарегистрируйся (k-NN) — это алгоритм на основе индексов, который можно применять в комбинации с Neural Topic Model для создания собственных сервисов рекомендаций. Кроме того, существует отдельный движок Для просмотра ссылки Войдиили Зарегистрируйся для рекомендаций в реальном времени, используемый самим сайтом Amazon.com itself.
Если вы не хотите их использовать, то можно добавить собственные методики и запускать модели при помощи SageMaker, применяя его функции развёртывания. Или же можно интегрировать SageMaker с TensorFlow, Для просмотра ссылки Войди
В общем случае, сервисы машинного обучения Amazon обеспечивают достаточную свободу как опытным дата-саентистам, так и тем, кому нужно выполнять задачи без углубления в подготовку массивов данных и моделирование. Эти сервисы могут стать надёжным вариантом для компаний, уже использующих облачные сервисы Amazon и не планирующих переходить к другим поставщикам облачных услуг.
Популярность Для просмотра ссылки Войди
Именно поэтому поставщики услуг MLaaS начали предлагать использующим MLOps компаниям инструменты для управления такими конвейерами машинного обучения. Amazon выпустила Для просмотра ссылки Войди
Microsoft Azure AI Platform
Для просмотра ссылки Войди
Azure Machine Learning
Для просмотра ссылки Войди
Платформа имеет Для просмотра ссылки Войди
Как и платформа Amazon, Azure предлагает интеграцию с Для просмотра ссылки Войди
В ML Studio есть множество функций, о которых вам нужно узнать.
- Для просмотра ссылки Войди
или Зарегистрируйся — это графический UI в стиле drag-and-drop для ML studio, предоставляющий доступ к функциям платформы и управляющий ими. В нём можно изменять данные, применять методики ML и развёртывать решения на сервере. - Для просмотра ссылки Войди
или Зарегистрируйся — это SDK, обеспечивающий обучение моделей по принципу no code или low code. По сути, Automated ML дополняет ML studio, обеспечивая высокую степень автоматизации рутинных задач и поддержку исследования данных, настройки и развёртывания моделей. Разработчики Azure указывают, что задачи классификации, регрессии и временных рядов применимы для обучения с помощью инструментов Automated ML. - SDK Для просмотра ссылки Войди
или Зарегистрируйся и Для просмотра ссылки Войдиили Зарегистрируйся полностью интегрированы в ML Studio. - Поддержка фреймворков ML наподобие PyTorch, TensorFlow и scikit-learn. Кроме того, Azure обеспечивает взаимодействие между фреймворками при помощи ONNX Runtime.
- В платформу встроены Для просмотра ссылки Войди
или Зарегистрируйся, позволяющие команде data science создавать специализированные конвейеры данных под собственный проект машинного обучения. - Поддержка проектов по Для просмотра ссылки Войди
или Зарегистрируйся, в том числе инструменты управления данными и командой, прогресса разметки, отслеживания незавершённой разметки и изучения размеченных данных. - Для просмотра ссылки Войди
или Зарегистрируйся для развёртывания моделей поддерживают различные облачные сервисы наподобие сервисов Azure Kubernetes, инстансов контейнеров и вычислительных кластеров - Имеется инструментарий MLOps для управления моделями, их развёртывания и мониторинга в рамках автоматизированных конвейеров.
Для освоения машинного обучения на основе Azure требуется обучение. Но в конечном итоге оно приводит к более глубокому пониманию основных технологий в этой сфере. Графический интерфейс Azure ML визуализирует каждый этап рабочего процесса и помогает новичкам. Возможно, основное преимущество применения Azure — разнообразие алгоритмов, с которыми можно экспериментировать.
Azure AI Gallery
Ещё одной большой частью Azure ML является Для просмотра ссылки Войди
Azure Percept
На данный момент у Azure в режиме preview открыт продукт Для просмотра ссылки Войди
Для просмотра ссылки Войди
Google AI Platform (Unified)
Для просмотра ссылки Войди
AI Platform (Classic)
Следует понять, что Для просмотра ссылки Войди
Training Service предоставляет среду для создания моделей при помощи Для просмотра ссылки Войди
Predictive Service позволяет интегрировать сгенерированные прогнозы в бизнес-приложения или любой другой сервис.
Data Labeling Service — это инструмент, требующий наличия команды людей для разметки данных. Сервис поддерживает разметку видео, текста и изображений, которые будут обработаны в соответствии с вашими инструкциями.
Для просмотра ссылки Войди
В AI Platform Notebooks пользователь может создавать инстансы виртуальных машин и управлять ими, а также конфигурировать типы памяти для обработки данных (CPU или GPU). Также инструменты заранее интегрированы с инстансами TensorFlow и PyTorch, пакетами для глубокого обучения и ноутбуком Jupyter.
Управление моделями, заданиями и конечными точками можно выполнять при помощи специального Для просмотра ссылки Войди
AI Platform Classic предназначена для опытных пользователей.
Google Cloud AutoML
Для просмотра ссылки Войди
Основную концепцию платформы Google можно описать как Для просмотра ссылки Войди
Кроме того, решения ML можно развёртывать на своём веб-сайте или в специализированной Для просмотра ссылки Войди
Если воспринимать платформу как единую сущность, то есть два типа решений, которые могут использоваться разными пользователями. AI Platform (Classic) предоставляет расширенные возможности построения собственных моделей и ручного управления алгоритмами и процессами обучения. Оно больше подходит для опытных разработчиков машинного обучения. AutoML предполагает создание моделей, использование данных и интеграцию прогнозов по принципу no code.
Фреймворк TensorFlow
Для просмотра ссылки Войди
По сути, сочетание TensorFlow и сервиса Google Cloud предполагает решения infrastructure-as-a-service и platform-as-a-service в соответствии с трёхуровневой моделью облачных сервисов. Мы рассказывали об этой концепции в своей технической статье, посвящённой Для просмотра ссылки Войди
Решение Для просмотра ссылки Войди
IBM Watson Machine Learning Studio
Платформа Для просмотра ссылки Войди
Watson Studio и AutoAI
Для просмотра ссылки Войди
Автоматизированная часть может решать три основных типа задач: двоичная классификация, многоклассовая классификация и регрессия. Можно выбрать или полностью автоматизированный подход, или вручную выбирать используемую методику ML. В настоящее время для выполнения этих трёх групп задач у IBM есть десять методик:
- Logistic regression
- Decision tree classifier
- Random forest classifier
- Gradient boosted tree classifier
- Naive Bayes
- Linear regression
- Decision tree regressor
- Random forest regressor
- Gradient boosted tree regressor
- Isotonic regression
SPSS Modeler
Для просмотра ссылки Войди
Neural Network and Deep Learning
Сервис Для просмотра ссылки Войди
Отдельно IBM предлагает рабочий процесс обучения глубоких нейронных сетей с Для просмотра ссылки Войди
Если вам нужны расширенные возможности, у IBM ML есть ноутбуки (например, Jupiter) для ручного программирования моделей при помощи популярных фреймворков наподобие TensorFlow, scikit-learn, PyTorch и других.
Подведём итог обзору платформ machine learning as a service (MLaaS): похоже, на данный момент Azure имеет наиболее гибкий набор инструментов на рынке MLaaS. Она позволяет решать большинство связанных с ML задач, предоставляет два продукта для создания собственных моделей и имеет приличный набор API для тех, кто не хочет сражаться с data science голыми руками.
Одно из Для просмотра ссылки Войди
Сравнение API машинного обучения Amazon, Microsoft, Google и IBM
Наряду с полнофункциональными платформами можно использовать и высокоуровневые API. Это сервисы, внутри которых находятся готовые обученные модели; в них можно отправить данные и получить результаты. API не требуют совершенно никакого опыта в машинном обучении. В настоящее время API этих четырёх поставщиков можно в целом разделить на три крупные группы:
1) Распознавание и перевод текстов, текстовый анализ
2) Распознавание изображений + видео, а также соответствующий анализ
3) Прочее — сюда относятся и специфические сервисы, не соответствующие какой-либо категории.

Microsoft предлагает самый богатый список функций. Однако самые важные из них предоставляют все четыре компании
API для обработки речи и текста: Amazon
Amazon предоставляет несколько API, нацеленных на решение распространённых задач в сфере анализа текстов. Кроме того, с точки зрения машинного обучения они имеют высокую автоматизацию и для работы требуют лишь правильной интеграции.
Для просмотра ссылки Войди
Для просмотра ссылки Войди
Для просмотра ссылки Войди
Для просмотра ссылки Войди
- Извлечение сущностей (распознавание имён, дат, организаций и так далее)
- Распознавание ключевых фраз
- Определение языка
- Анализ эмоционального настроя (положительный, нейтральный или негативный текст)
- Моделирование тем (определение доминантных тем с помощью анализа ключевых слов)
Для просмотра ссылки Войди
API для обработки речи и текста: Microsoft Azure Cognitive Services
Как и Amazon, компания Microsoft предлагает высокоуровневые API под названием Для просмотра ссылки Войди
Speech. Речевой набор содержит четыре API, применяющих различные типы техник NLP для распознавания естественной речи и других операций:
- Translator Speech API
- Bing Speech API для преобразования текста в речь и речи в текст
- Speaker Recognition API для задач верификации голоса
- Custom Speech Service для применения возможностей Azure NLP при использовании собственных данных и моделей
- Language Understanding Intelligent Service (LUIS) — это API, анализирующий намерения в тексте, которые должны распознаваться как команды (например, «запусти приложение YouTube» или «включи свет в гостиной»)
- Text Analysis API применяется для анализа эмоционального настроя и определения тем
- Bing Spell Check
- Translator Text API
- Web Language Model API оценивает вероятности сочетаний слов и поддерживает автоматическое завершение слов
- Linguistic Analysis API используется для разбиения предложений, разметки частей речи и разделения текстов на размеченные фразы
Хотя этот набор API в основном пересекается с тем, что предлагают Amazon и Microsoft Azure, он имеет интересные и уникальные особенности. Так как платформа AutoML пришла на смену Prediction API, теперь она расширяет возможности Google Cloud ML services. Поэтому любой API Google, относящийся к автоматизированному машинному обучению, является реальным вариантом для обучения собственных моделей.
Для просмотра ссылки Войди
Для просмотра ссылки Войди
- Определение сущностей в тексте
- Распознавание эмоционального настроя
- Анализ синтаксических структур
- Разбиение тем на категории (например, еда, новости, электроника и так далее)
- Подсказки слов позволяют настраивать распознавание под конкретный контекст и слова, которые могут произноситься (например, для лучшего понимания местного или профессионального жаргона)
- Фильтрация недопустимого контента
- Обработка шумного аудио
Для просмотра ссылки Войди
- Определение контента на английском
- Определение сущностей в тексте
- Анализ синтаксической структуры
API для обработки речи и текста: IBM Watson
IBM тоже конкурирует за рынок API. Давайте изучим список интерфейсов компании.
Для просмотра ссылки Войди
Для просмотра ссылки Войди
Для просмотра ссылки Войди
Для просмотра ссылки Войди
Для просмотра ссылки Войди
Для просмотра ссылки Войди
- Характеристики личности (например, покладистость, добросовестность, экстраверсия, эмоциональный диапазон и открытость)
- Потребности (например, любопытство, восхищение, стремление к преодолению трудностей)
- Ценности (например, помощь другим, достижение успеха, гедонизм).
Важно отметить, что развитие Personality Insights прекращено и поддержка существующих инстансов завершилась в конце 2021 года.
Для просмотра ссылки Войди
Наряду с работой над тестом и речью, Amazon, Microsoft, Google и IBM предоставляют довольно гибкие API для анализа изображений и видео.

Самый гибкий инструментарий для анализа изображений сейчас доступен в Google Cloud
Хотя анализ изображений во многом пересекается с API для видео, многие инструменты для анализа видео всё ещё находятся в разработке или на уровне бета-версий. Например, Google предоставляет обширную поддержку различных задач обработки изображений, однако компании определённо недостаёт функций анализа видео, уже доступных у Microsoft и Amazon.

Похоже, Microsoft побеждает, однако нам всё равно кажется, что Amazon обладает самыми эффективными API для анализа видео, поскольку они поддерживают потоковые видео. Эта функция существенно расширяет спектр возможных способов применения. IBM не предоставляет API для анализа видео
API для обработки изображений и видео: Amazon Rekognition
Для просмотра ссылки Войди
- Распознавание и классификация объектов (поиск и распознавание различных объектов на изображениях и определение того, чем они являются),
- В видео API может распознавать действия, например, «танец» или сложные действия например, «тушение пожара»
- Распознавание лиц (для обнаружения лиц и их сопоставления) и лицевой анализ (эта функция довольно интересна, она распознаёт улыбки, анализирует глаза и даже определяет эмоциональный настрой в видео)
- Распознавание недопустимых видео
- Распознавание знаменитостей на изображениях и в видео.
Для просмотра ссылки Войди
- Computer vision распознаёт объекты, действия (например, ходьбу), рукописный и печатный текст, а также определяет преобладающие цвета на изображениях
- Content moderator распознаёт недопустимый контент на изображениях, в текстах и видео
- Face API распознаёт лица, группирует их, определяет возраст, эмоции, гендеры, позы, улыбки и волосяной покров на лицах
- Emotion API — ещё один инструмент распознавания лиц, описывающий выражения лиц
- Custom Vision Service поддерживает создание моделей распознавания лиц на основе ваших собственных данных
- Video indexer — это инструмент для поиска людей в видео, определения эмоционального настроя речи и разметки ключевых слов.
Для просмотра ссылки Войди
- Разметка объектов
- Распознавание лиц и анализ выражений (без распознавания и идентификации конкретных лиц)
- Нахождение опознавательных объектов и описание сцены (например, «отпуск», «свадьба» и так далее)
- Нахождение текстов на изображениях и определение языков
- Преобладающие цвета
- Разметка объектов и определение действий
- Выявление контента с возрастными ограничениями
- Транскрибирование речи
- Разметка объектов и сервис разметки захвата людей
- Регистрация обученных моделей в AutoML
Хотя с точки зрения списка функций сервисам Google AI может недоставать некоторых возможностей, мощь Google API заключается в обширных массивах данных, к которым имеет Google.
API для обработки изображений: IBM Visual Recognition
Для просмотра ссылки Войди
- Распознавание объектов
- Распознавание лиц (API возвращает возраст и гендер)
- Распознавание пищи (по какой-то причине IBM разработала отдельную модель для пищи)
- Распознавание недопустимого контента
- Распознавание текста (эта часть API находится в состоянии закрытой беты, поэтому доступ к ней нужно запрашивать отдельно)
Специфические API и инструменты
Здесь мы расскажем о специфических API и инструментах Microsoft и Google. Мы не включили в этот раздел Amazon, поскольку наборы API этой компании просто соответствуют вышеупомянутым категориям анализа текста и анализа изображений+видео. Однако часть возможностей этих специфических API также присутствует в продуктах Amazon.
Для просмотра ссылки Войди
Любопытно, что Bot Service не обязательно требует машинного обучения. Так как Microsoft предоставляет пять шаблонов для ботов (простой, форма, понимание языка, проактивный и Q&A), только тип с пониманием языка требует продвинутых техник ИИ.
В настоящее время можно использовать технологии .NET и Для просмотра ссылки Войди
- Bing
- Cortana
- Skype
- Web Chat
- Office 365 email
- GroupMe
- Facebook Messenger
- Slack
- Kik
- Telegram
- Twilio
Для просмотра ссылки Войди
Для просмотра ссылки Войди
Для просмотра ссылки Войди
Для просмотра ссылки Войди
Для просмотра ссылки Войди
- API рекомендаций позволяет создавать системы рекомендаций для Для просмотра ссылки Войди
или Зарегистрируйся покупок - Knowledge Exploration Service позволяет вводить на естественном языке запросы для извлечения данных из баз данных, визуализации данных и автозаполнения
- Entity Linking Intelligence API предназначен для выделения имён и фраз, обозначающих реальные сущности (например, «Великие географические открытия»), и для устранения неоднозначностей
- Academic Knowledge API выполняет автозаполнение слов, находит сходства в документах по словам и концепциям, а также ищет в документах паттерны графиков
- QnA Maker API можно использовать для сопоставления вариаций вопросов с ответами с целью создания чат-ботов и приложений служб поддержки
- Custom Decision Service — это инструмент обучения с подкреплением для персонализации и ранжирования различных типов контента (например, ссылок, рекламы и так далее) в зависимости от предпочтений пользователя
- Исправление орфографических ошибок в запросах поиска работы
- Сопоставление желаемого уровня опыта
- Нахождение релевантных вакансий, содержащих варьирующиеся выражения и отраслевой жаргон (например, возврат «barista» по запросу «server» вместо «network specialist»; или «engagement specialist» по запросу «biz dev»)
- Обработка аббревиатур (например, возврат «human resources assistant» по запросу «HR»)
- Сопоставление варьирующихся описаний адресов
Инженеры могут использовать встроенную поддержку Facebook Messenger и Slack, или создать клиентское приложение для запуска бота в нём.
Четыре описанные в статье платформы предоставляют исчерпывающую документацию для экспериментов с машинным обучением и развёртывания обученных моделей в корпоративной инфраструктуре. Существует также множество других решений ML-as-a-Service, предлагаемых различными стартапами и нашедших своё признание у дата-саентистов, например, Для просмотра ссылки Войди
Следующий шаг
В разнообразии имеющихся решений легко потеряться. Они различаются с точки зрения алгоритмов, требуемого уровня навыков и задач. Такая ситуация достаточно типична для столь юного рынка, и даже четыре рассмотренных решения не полностью конкурируют друг с другом. Кроме того, впечатляет скорость изменений. Есть большая вероятность того, что вы выберете одного поставщика, но внезапно другой неожиданно выпустит нечто, соответствующее потребностям вашего бизнеса.
Правильно будет как можно раньше сформулировать то, чего вы хотите достичь при помощи машинного обучения. Это непросто. Создать мост между data science и ценностью для бизнеса бывает сложно, если у вас нет опыта в data science или недостаточно знаний в своей предметной области. Наша компания часто сталкивается с этой проблемой при обсуждении применения машинного обучения с нашими клиентами. Обычно её можно решить, упростив всю проблему до одного атрибута. Это может быть прогнозирование цен или другого числового значения, класс объекта или разделение объектов на несколько групп. Найдя этот атрибут, вам будет проще выбрать поставщика и нужный продукт.
Сооснователь DCVC Брэдфорд Кросс заявляет, что Для просмотра ссылки Войди
source: habr.com/ru/post/699436