Предисловие

Благодаря своим исключительным способностям Python в наши дни является наиболее часто используемым языком программирования в области науки о данных. Хотя Python предоставляет множество функций, доступность различных многоцелевых, готовых к использованию библиотек - вот что делает язык лучшим выбором для специалистов по данным. Некоторые из этих библиотек хорошо известны и широко используются, в то время как другие не так распространены. В этой статье я попытался составить список библиотек Python и распределить их по категориям в соответствии с их функциональностью.

Базовые библиотеки

Эти библиотеки являются частью стандартного пакета Python и могут быть просто импортированы, если пользователи хотят использовать их функции.

NumPy

Сокращенно от Numerical Python, NumPy был разработан специально для математических операций. Он в первую очередь поддерживает многомерные массивы и векторы для сложных арифметических операций. Помимо структур данных, библиотека имеет богатый набор функций для выполнения алгебраических операций с поддерживаемыми типами данных.

Еще одним преимуществом библиотеки является ее совместимость с другими языками программирования, такими как C / C ++, FORTRAN и системами управления базами данных. Кроме того, поскольку набор предоставленных функций предварительно скомпилирован, вычисления выполняются эффективно.

SciPy

Библиотека Scientific Python, основанная на NumPy, расширяет свои возможности, предлагая расширенные операции, такие как интеграция, регрессия и вероятность, и это лишь некоторые из них. Чтобы использовать SciPy , мы должны сначала установить NumPy, поскольку он использует базовые модули. Что делает SciPy одной из широко используемых библиотек, так это иерархия, в которой организованы подмодули, а руководства отлично справляются с объяснением значения и удобства использования экспортируемых модулей.

Панды

Библиотека анализа данных Python - это библиотека с открытым исходным кодом, которая помогает организовать данные по различным параметрам в зависимости от требований. Разнообразие встроенных типов данных, таких как серии, фреймы и панели, делает Pandas любимой библиотекой среди специалистов по анализу данных. Табличный формат фреймов позволяет выполнять операции добавления / удаления данных, аналогичные базам данных, что упрощает группировку.

Кроме того, Panda предоставляет трехмерную структуру данных панели, которая помогает лучше визуализировать типы данных. Гибкость библиотеки поддерживает несколько форматов данных, включая отсутствующие данные.

Статистика

Модуль StatsModels позволяет пользователям выполнять статистическое моделирование данных, используя поддержку моделирования и построения графиков библиотеки. Модели могут использоваться для прогнозирования в различных областях. Поддерживаемые типы моделей включают линейные, а также регрессионные модели.

StatsModels также поддерживает возможности анализа временных рядов, которые особенно популярны в финансовых организациях, например, для поддержания информации о фондовом рынке в удобном формате. Кроме того, модели достаточно быстры, чтобы их можно было использовать для больших наборов данных, что делает их оптимальным выбором для них.

Сюжет

Важной функцией любой библиотеки будет способность представлять результат сложных операций, выполняемых с данными, в удобном для понимания формате. Библиотеки, перечисленные в этом разделе, сосредоточены на этом аспекте процесса.

Матплотлиб

Matplotlib, являющийся частью основного пакета SciPy, используется для графического представления обработанных данных в соответствии с требованиями пользователя. Мы можем создавать различные типы графиков, включая гистограммы, круговые диаграммы или простую гистограмму. Он предоставляет объектно-ориентированный интерфейс, подобный MATLAB, для пользователей, позволяющих выполнять желаемые операции с данными. Важной особенностью библиотеки является ее способность предлагать настройку почти каждой доступной функции, что делает использование очень гибким для пользователей.

Боке

Библиотека Bokeh - это отдельная библиотека, которая позволяет пользователям отображать данные с помощью интерфейса веб-браузера. Внутри он использует инфраструктуру JavaScript и поэтому не зависит от Matplotlib. Важным аспектом библиотеки Bokeh является упор на виджеты, которые позволяют пользователям представлять данные в различных поддерживаемых форматах, таких как графики, графики и метки.

Кроме того, он также поддерживает интерактивную визуализацию через «обратные вызовы», которые позволяют подключаться к методам Bokeh с помощью JavaScript.

Сюжетно

В первую очередь ориентированный на трехмерное построение, Plotly может быть безупречно интегрирован с веб-приложениями и предоставляет ряд полезных API-интерфейсов для импорта языков. Он использует документы, управляемые данными, в своей основе для представления данных в реальном времени, и пользователи могут настроить его для обработки графики на стороне сервера и отправки результатов клиенту или иным образом. При необходимости мы также можем поделиться данными с другими через платформу. Также существует возможность взаимодействия между форматами данных Plotly и Matplotlib.

Машинное обучение

Машинное обучение стало важной областью вычислений в последние несколько лет, и специалистам по данным нужны инструменты, чтобы максимально использовать грядущие тенденции в этой области. Здесь перечислены несколько библиотек Python, которые обеспечивают функциональность машинного обучения.

Чтобы получить более подробный обзор самых популярных статей о машинном обучении, ознакомьтесь с этой статьей .

Scikit-Learn

Scikit-Learn, лицензированный под BSD, представляет собой набор инструментов для машинного обучения с открытым исходным кодом, созданный на основе NumPy и SciPy. В нем представлены часто используемые алгоритмы машинного обучения для предварительной обработки, классификации, регрессии, а также кластеризации. Алгоритмы включают поддержку векторных машин , гребневую регрессию, поиск по сетке , кластеризацию k-средних и многое другое.

Наряду с алгоритмами в комплекте также представлены образцы наборов данных для экспериментов. Хорошо документированные API просты в использовании как для новичков, так и для опытных пользователей. Благодаря хорошей производительности практически на всех платформах, он популярен как в академических, так и в коммерческих целях.

Сёгун

Shogun, реализованный на C ++, представляет собой набор инструментов с открытым исходным кодом, используемый для машинного обучения, предоставляющий унифицированный интерфейс для нескольких языков и платформ, включая Python. Он фокусируется на масштабируемых методах ядра для решения задач регрессии и классификации.

Основное внимание при разработке уделялось биоинформатике, поэтому Shogun может масштабироваться для обработки более 10 миллионов выборок данных при сохранении точности.

Глубокое обучение

Глубокое обучение - продвинутая область в области машинного обучения, которая открывает множество неизведанных возможностей для исследователей, использующих контролируемое обучение, нейронные сети и обработку естественного языка.

TensorFlow

В первую очередь ориентированная на нейронные сети, TensorFlow - это библиотека глубокого обучения, разработанная инженерами Google. Библиотека очень расширяема и поддерживает множество платформ, включая поддержку графического процессора для лучшей визуализации. Классы алгоритмов включают в себя классификацию, модели оценки и дифференциацию, и это лишь некоторые из них.

Его богатая поддержка API делает его лучшим выбором для обучения нейронных сетей и распознавания речи с использованием обработки естественного языка.

Theano

Theano - это комбинация библиотеки и компилятора, предназначенная для решения сложных математических уравнений в области DL. Он использует многомерную матрицу с использованием NumPy для выполнения операций. Учитывая производительность, Theano очень тесно связан с NumPy и предварительно скомпилирован, следовательно, не зависит от платформы и также использует графический процессор. Наряду с этими функциями он также предоставляет среду модульного тестирования для обнаружения и устранения ошибок.

Керас

Keras - это библиотека нейронной сети, которая может выполняться поверх TensorFlow от Google или CNTK (Cognitive Toolkit) от Microsoft. Он разработан как абстрактный по своей природе и действует больше как плагин для других библиотек глубокого обучения.

Keras может поддерживать стандартные, сверточные, а также рекуррентные нейронные сети и предоставляет распределенные интерфейсы для моделей на кластерах графических процессоров. Его простой в использовании интерфейс идеально подходит для быстрого создания прототипов и их развертывания на поддерживаемых платформах.

Обработка естественного языка

В последнее время мы наблюдаем резкий рост приложений для распознавания речи благодаря исследованиям в области обработки естественного языка . Неудивительно, что библиотек в этой области предостаточно.

НЛТК

Набор инструментов для естественного языка поддерживает обычно необходимые функции для обработки на английском языке, такие как классификация, токенизация, синтаксический анализ и семантический анализ. После разбиения слов на токены с помощью синтаксического анализа набор формирует древовидную структуру с использованием семантики языка и сохраняет данные в своих моделях. Поддерживаемый на всех основных платформах, NLTK - это проект, поддерживаемый сообществом с открытым исходным кодом. Приложения имеют широкий охват, например, анализ настроений и механизмы защиты от спама.

Gensim

Масштабируемая, надежная и независимая от платформы библиотека для NLP, Gensim использует пакеты NumPy и SciPy. Сокращенно от «Generate Similar», он предназначен для хранения большого количества данных в памяти и, следовательно, ориентирован на производительность. Он отличается от других пакетов реализацией тем, что использует данные каскадно, а не группирует их вместе.

Благодаря своей эффективности он широко используется в таких областях, как здравоохранение и финансовые учреждения.

SpaCy

Еще одна библиотека с открытым исходным кодом, ориентированная на НЛП, SpaCy включает модели нейронных сетей для различных языков, а именно. Английский, немецкий, французский, итальянский, голландский и 30 других языков. В отличие от других библиотек NLP, используемых в основном в академических целях, SpaCy ориентирована на коммерческое использование.

Он также предоставляет расширения для машинного обучения, а также API глубокого обучения. Некоторые популярные технологические компании, такие как Airbnb и Quora, используют SpaCy как часть своих платформ. Что отличает его от других библиотек, так это его способность обрабатывать документы, а не обрабатывать данные как несколько токенов.

Соскабливание

Поскольку размер содержимого, загружаемого в Интернет, многократно увеличивается с каждым днем, веб-скрапинг приобрел большое значение для решения проблем, связанных с индексированием и сканированием данных. Из-за утомительного характера этой работы автоматизация - идеальное решение для нее. Существуют библиотеки Python для эффективного сканирования данных через веб-страницы.

Scrapy

В соответствии со своим названием, Scrapy - это фреймворк с открытым исходным кодом, предназначенный для сбора данных во всемирной паутине. Первоначально разработанный для извлечения данных с использованием экспортированных функций, он превратился в структуру, которая используется для разработки поисковых роботов для анализа веб-страниц и хранения их данных в структурированном формате. Следуя философии объектно-ориентированного программирования и повторного использования Python, Scrapy структурирован вокруг базового класса с именем Spider и по мере необходимости продолжает добавлять вокруг него уровни функциональности.

Сбор данных

Интеллектуальный анализ данных - это поток вычислений, в котором мы пытаемся найти закономерности в огромном количестве данных для аналитических целей. Давайте посмотрим на популярную библиотеку Orange, часто используемую при интеллектуальном анализе данных.

апельсин

Наряду с поддержкой машинного обучения набор инструментов Orange также включает визуальную аналитическую платформу для интерактивного интеллектуального анализа данных. Это пакет с открытым исходным кодом, выпущенный под Стандартной общественной лицензией и разработанный с использованием C ++ с оболочками Python наверху.

Пакет Orange включает набор виджетов для визуализации, классификации, регрессии и оценки наборов данных. Области, в которых часто используется Orange, варьируются от исследований ДНК до анализа фармацевтической области.

Разнообразный

Вот библиотека, которая не попадает ни в одну из предыдущих категорий, но заслуживает упоминания.

SymPy

Хотя SymPy не используется напрямую для науки о данных и аналитики, это библиотека Python для символьных вычислений, предназначенная для алгебраических вычислений. Многие специалисты по данным используют эту библиотеку для промежуточного математического анализа своих данных, который впоследствии будет использоваться другими библиотеками, такими как построение графиков или машинное обучение.

Резюме

Из множества библиотек Python, доступных для исследовательских целей в области науки о данных, я попытался выделить и классифицировать наиболее часто используемые. Я надеюсь, что эта статья поможет энтузиастам Data Science глубоко погрузиться в эту область и максимально использовать возможности этих библиотек.