Клетка тетрадь картинка: D0 ba d0 bb d0 b5 d1 82 d0 ba d0 b0 d1 82 d0 b5 d1 82 d1 80 d0 b0 d0 b4 d1 8c d1 82 d0 b5 d0 ba d1 81 d1 82 d1 83 d1 80 d0 b0: стоковые картинки, бесплатные, роялти-фри фото D0 ba d0 bb d0 b5 d1 82 d0 ba d0 b0 d1 82 d0 b5 d1 82 d1 80 d0 b0 d0 b4 d1 8c d1 82 d0 b5 d0 ba d1 81 d1 82 d1 83 d1 80 d0 b0

Как использовать Jupyter Notebook в 2020 году: учебное пособие для начинающих

Что такое Jupyter Notebook?

Jupyter Notebook - невероятно мощный инструмент для интерактивной разработки и представления проектов в области науки о данных.В этой статье вы узнаете, как использовать Jupyter Notebooks для проектов по науке о данных и как настроить его на локальном компьютере.

Но сначала: , что такое «блокнот»?

Записная книжка объединяет код и его выходные данные в единый документ, который объединяет визуализации, повествовательный текст, математические уравнения и другие мультимедийные материалы. Другими словами: это единый документ, в котором вы можете запускать код, отображать вывод, а также добавлять пояснения, формулы, диаграммы и делать вашу работу более прозрачной, понятной, повторяемой и доступной для совместного использования.

Использование записных книжек в настоящее время является важной частью рабочего процесса по обработке и анализу данных в компаниях по всему миру. Если ваша цель - работать с данными, использование Блокнота ускорит ваш рабочий процесс и упростит общение и обмен результатами.

Лучше всего то, что как часть проекта Jupyter с открытым исходным кодом, Jupyter Notebooks полностью бесплатны. Вы можете загрузить программное обеспечение отдельно или как часть набора инструментов для анализа данных Anaconda.

Хотя в Jupyter Notebooks можно использовать множество разных языков программирования, в этой статье основное внимание будет уделено Python, так как это наиболее распространенный вариант использования.(Среди пользователей R R Studio, как правило, является более популярным выбором).

Как следовать этому руководству

Чтобы извлечь максимальную пользу из этого руководства, вы должны быть знакомы с программированием - в частности, с Python и pandas. Тем не менее, если у вас есть опыт работы с другим языком, Python в этой статье не должен быть слишком загадочным и все равно поможет вам настроить блокноты Jupyter локально.

Jupyter Notebooks также может выступать в качестве гибкой платформы для освоения pandas и даже Python, как станет очевидно из этого руководства.

Мы будем:

• Расскажем об основах установки Jupyter и создании вашего первого ноутбука.
• Погрузитесь глубже и изучите всю важную терминологию.
• Узнайте, как легко делиться записными книжками и публиковать их в Интернете.

(Фактически, эта статья была написана как Jupyter Notebook! Она опубликована здесь только для чтения, но это хороший пример того, насколько универсальными могут быть записные книжки. Фактически, большинство наших руководств по программированию и даже наш Python курсы были созданы с использованием Jupyter Notebooks).

Пример анализа данных в Jupyter Notebook

Сначала мы рассмотрим настройку и анализ образца, чтобы ответить на реальный вопрос. Это продемонстрирует, как поток записной книжки делает задачи по анализу данных более интуитивно понятными для нас, когда мы работаем, и для других, когда пришло время поделиться своей работой.

Итак, допустим, вы аналитик данных, и вам было поручено выяснить, как исторически менялись прибыли крупнейших компаний США. Вы найдете набор данных компаний из списка Fortune 500, охватывающий более 50 лет с момента первой публикации списка в 1955 году, собранных из публичного архива Fortune.Мы пошли дальше и создали CSV-файл с данными, которые вы можете здесь использовать.

Как мы покажем, ноутбуки Jupyter идеально подходят для этого исследования. Во-первых, давайте установим Jupyter.

Установка

Самый простой способ для новичка начать работу с Jupyter Notebooks - это установить Anaconda.

Anaconda - наиболее широко используемый дистрибутив Python для науки о данных, который поставляется с предустановленными всеми наиболее популярными библиотеками и инструментами.

Некоторые из крупнейших библиотек Python, включенных в Anaconda, включают NumPy, pandas и Matplotlib, хотя полный список 1000+ является исчерпывающим.

Anaconda, таким образом, позволяет нам приступить к работе с полностью укомплектованным семинаром по науке о данных, не беспокоясь об управлении бесчисленными установками и не беспокоясь о зависимостях и проблемах установки, связанных с ОС (читай: для Windows).

Чтобы получить Anaconda, просто:

1. Загрузите последнюю версию Anaconda для Python 3.8.
2. Установите Anaconda, следуя инструкциям на странице загрузки и / или в исполняемом файле.

Если вы более опытный пользователь с уже установленным Python и предпочитаете управлять своими пакетами вручную, вы можете просто использовать pip:

  pip3 install jupyter  

Создание вашей первой записной книжки

В этом разделе мы собираюсь научиться запускать и сохранять записные книжки, знакомиться с их структурой и понимать интерфейс.Мы познакомимся с некоторой базовой терминологией, которая направит вас к практическому пониманию того, как самостоятельно использовать Jupyter Notebooks, и настроим нас для следующего раздела, в котором рассматривается пример анализа данных и воплощается в жизнь все, что мы здесь узнаем.

Запуск Jupyter

В Windows вы можете запустить Jupyter с помощью ярлыка, который Anaconda добавляет в ваше меню «Пуск», которое откроет новую вкладку в вашем веб-браузере по умолчанию, которая должна выглядеть примерно так, как на следующем снимке экрана.

Это еще не ноутбук, но не паникуйте! В этом нет ничего особенного. Это панель инструментов Notebook, специально разработанная для управления вашими Jupyter Notebooks. Думайте об этом как о стартовой панели для изучения, редактирования и создания ваших записных книжек.

Имейте в виду, что панель управления предоставит вам доступ только к файлам и подпапкам, содержащимся в каталоге запуска Jupyter (т.е. туда, где установлен Jupyter или Anaconda). Однако каталог запуска можно изменить.

Также можно запустить приборную панель в любой системе через командную строку (или через терминал в системах Unix), введя команду jupyter notebook ; в этом случае текущий рабочий каталог будет стартовым каталогом.

Открыв Jupyter Notebook в вашем браузере, вы могли заметить, что URL-адрес панели управления выглядит примерно так: https: // localhost: 8888 / tree . Localhost не является веб-сайтом, но указывает, что контент обслуживается с вашего локального компьютера : вашего собственного компьютера.

Блокноты и информационная панель Jupyter представляют собой веб-приложения, и Jupyter запускает локальный сервер Python для обслуживания этих приложений в вашем веб-браузере, делая его по существу независимым от платформы и открывая двери для более легкого обмена в Интернете.

(Если вы этого еще не понимаете, не волнуйтесь - важно то, что, хотя Jupyter Notebooks открывается в вашем браузере, он размещается и запускается на вашем локальном компьютере. На самом деле ваши записные книжки не в Интернете пока вы не решите поделиться ими.)

Интерфейс панели инструментов в основном не требует пояснений, хотя мы вернемся к нему вкратце позже. Так чего же мы ждем? Перейдите к папке, в которой вы хотите создать свою первую записную книжку, нажмите кнопку раскрывающегося списка «Создать» в правом верхнем углу и выберите «Python 3»:

Привет, готово! Ваша первая записная книжка Jupyter откроется в новой вкладке - каждая записная книжка использует свою собственную вкладку, потому что вы можете открывать несколько записных книжек одновременно.

Если вы снова переключитесь на панель управления, вы увидите новый файл Untitled.ipynb , и вы должны увидеть зеленый текст, указывающий на то, что ваш ноутбук работает.

Что такое файл ipynb?

Краткий ответ: каждый файл .ipynb - это одна записная книжка, поэтому каждый раз, когда вы создаете новую записную книжку, будет создаваться новый файл .ipynb .

Более подробный ответ: каждый файл .ipynb представляет собой текстовый файл, описывающий содержимое записной книжки в формате JSON. Каждая ячейка и ее содержимое, включая вложения изображений, которые были преобразованы в строки текста, перечислены в ней вместе с некоторыми метаданными.

Вы можете отредактировать это сами - если знаете, что делаете! - выбрав «Правка> Изменить метаданные записной книжки» в строке меню записной книжки. Вы также можете просмотреть содержимое файлов записной книжки, выбрав «Редактировать» в элементах управления на приборной панели.

Однако ключевое слово может. В большинстве случаев нет причин, по которым вам когда-либо понадобится редактировать метаданные записной книжки вручную.

Интерфейс ноутбука

Теперь, когда перед вами открытый ноутбук, мы надеемся, что его интерфейс не будет выглядеть совсем чужим.В конце концов, Jupyter - это просто продвинутый текстовый процессор.

Почему бы не осмотреться? Ознакомьтесь с меню, чтобы почувствовать это, особенно потратьте несколько минут, чтобы прокрутить список команд на палитре команд, которая представляет собой небольшую кнопку со значком клавиатуры (или Ctrl + Shift + P ).

Вы должны обратить внимание на два довольно известных термина, которые, вероятно, для вас новы: ячейки и ядра являются ключевыми как для понимания Jupyter, так и для того, что делает его больше, чем просто текстовый процессор.К счастью, эти концепции нетрудно понять.

• Ядро - это «вычислительный механизм», который выполняет код, содержащийся в документе записной книжки.
• Ячейка - это контейнер для текста, который будет отображаться в записной книжке, или кода, который будет выполняться ядром записной книжки.

Ячейки

Мы вернемся к ядрам чуть позже, но сначала давайте разберемся с ячейками. Клетки образуют корпус записной книжки. На снимке экрана новой записной книжки в разделе выше это поле с зеленым контуром представляет собой пустую ячейку.Мы рассмотрим два основных типа ячеек:

• Ячейка кода содержит код, который должен выполняться в ядре. Когда код запускается, записная книжка отображает результат под ячейкой кода, которая его сгенерировала.
• Ячейка Markdown содержит текст, отформатированный с использованием Markdown, и отображает его вывод на месте при запуске ячейки Markdown.

Первая ячейка в новой записной книжке всегда является ячейкой кода.

Давайте проверим это на классическом примере hello world: введите print ('Hello World!') в ячейку и нажмите кнопку запуска на панели инструментов выше или нажмите Ctrl + Enter .

Результат должен выглядеть так:

  Hello World!  

Когда мы запускаем ячейку, ее выходные данные отображаются ниже, а метка слева от нее изменится с In [] на In [1] .

Вывод ячейки кода также является частью документа, поэтому вы можете увидеть его в этой статье. Вы всегда можете определить разницу между кодом и ячейками Markdown, потому что ячейки кода имеют эту метку слева, а ячейки Markdown - нет.

Часть метки «In» - это просто сокращение от «Input», в то время как номер метки указывает , когда ячейка была выполнена в ядре - в этом случае ячейка была выполнена первой.

Запустите ячейку еще раз, и метка изменится на В [2] , потому что теперь ячейка была второй, запускаемой в ядре. Почему это так полезно, станет яснее позже, когда мы более подробно рассмотрим ядра.

В строке меню нажмите Вставить и выберите Вставить ячейку ниже , чтобы создать новую ячейку кода под вашей первой, и попробуйте следующий код, чтобы увидеть, что произойдет.Вы замечаете что-нибудь другое?

  импортное время
time.sleep (3)  

Эта ячейка не производит никакого вывода, но выполнение занимает три секунды. Обратите внимание, как Jupyter указывает, что ячейка в настоящее время работает, изменяя ее метку на In [*] .

Как правило, вывод ячейки происходит из любых текстовых данных, специально напечатанных во время выполнения ячейки, а также значения последней строки в ячейке, будь то одиночная переменная, вызов функции или что-то еще.Например:

  def say_hello (получатель):
    вернуть формат 'Hello, {}!' (получатель)

say_hello ('Tim')  

  'Привет, Тим!'  

Вы обнаружите, что почти постоянно используете это в своих собственных проектах, и позже мы увидим еще больше.

Сочетания клавиш

И последнее, что вы, возможно, заметили при запуске своих ячеек, - это то, что их граница становится синей, тогда как во время редактирования она была зеленой. В Jupyter Notebook всегда есть одна «активная» ячейка, выделенная рамкой, цвет которой обозначает ее текущий режим:

• Зеленый контур - ячейка находится в «режиме редактирования»
• Синий контур - ячейка находится в " командный режим "

Итак, что мы можем сделать с ячейкой, когда она находится в командном режиме? До сих пор мы видели, как запустить ячейку с помощью Ctrl + Enter , но есть много других команд, которые мы можем использовать.Лучше всего их использовать с помощью сочетаний клавиш.

Сочетания клавиш - очень популярный аспект среды Jupyter, поскольку они облегчают быстрый рабочий процесс на основе ячеек. Многие из этих действий можно выполнять с активной ячейкой, когда она находится в командном режиме.

Ниже вы найдете список некоторых быстрых клавиш Jupyter. Вам не нужно сразу запоминать их все, но этот список должен дать вам хорошее представление о том, что возможно.

• Переключение между режимами редактирования и команд с помощью Esc и Введите соответственно.
• В командном режиме:
  • Прокрутите ячейки вверх и вниз с помощью клавиш Вверх и Вниз .
  • Нажмите A или B , чтобы вставить новую ячейку выше или ниже активной ячейки.
  • M преобразует активную ячейку в ячейку Markdown.
  • Y установит активную ячейку в ячейку кода.
  • D + D ( D дважды) удалит активную ячейку.
  • Z отменит удаление ячейки.
  • Удерживайте Shift и нажмите Вверх или Вниз , чтобы выбрать несколько ячеек одновременно. Если выбрано несколько ячеек, Shift + M объединит ваш выбор.
• Ctrl + Shift + - , в режиме редактирования, разделит активную ячейку на курсоре.
• Вы также можете щелкнуть и Shift + щелкнуть на поле слева от ячеек, чтобы выделить их.

Попробуйте сами в своем ноутбуке.Когда вы будете готовы, создайте новую ячейку Markdown, и мы научимся форматировать текст в наших записных книжках.

Markdown

Markdown - это легкий, простой в освоении язык разметки для форматирования обычного текста. Его синтаксис однозначно соответствует тегам HTML, поэтому некоторые предварительные знания здесь были бы полезны, но определенно не являются обязательными.

Помните, что эта статья была написана в блокноте Jupyter, поэтому весь текст и изображения, которые вы видели до сих пор, были записаны в Markdown.Давайте рассмотрим основы на небольшом примере:

  # Это заголовок уровня 1

## Это заголовок 2 уровня

Это простой текст, образующий абзац. Сделайте акцент с помощью ** полужирным ** и __bold__ или * курсивом * и _italic_.

Абзацы должны разделяться пустой строкой.

* Иногда мы хотим включить списки.
* Которые могут быть помечены звездочками.

1. Списки также можно нумеровать.
2. Если нам нужен упорядоченный список.

[Можно включать гиперссылки] (https://www.example.com)

Встроенный код использует одиночные обратные кавычки: `foo ()`, а блоки кода используют тройные обратные кавычки:
`` ''
бар()
`` ''
Или может быть с отступом на 4 пробела:

    foo ()
    
И, наконец, добавить изображения очень просто:! [Альтернативный текст] (https: // www.example.com/image.jpg)  

Вот как этот Markdown будет выглядеть после того, как вы запустите ячейку для ее визуализации:

(Обратите внимание, что здесь отображается альтернативный текст для изображения, потому что мы фактически не использовали действительный URL изображения в нашем примере)

При прикреплении изображений у вас есть три варианта:

• Использовать URL-адрес изображения в Интернете.
• Используйте локальный URL-адрес для изображения, которое вы будете хранить рядом с записной книжкой, например, в том же репозитории git.
• Добавьте вложение через «Правка> Вставить изображение»; это преобразует изображение в строку и сохранит ее в записной книжке .ipynb файл. Обратите внимание, что при этом ваш файл .ipynb будет намного больше!

В Markdown есть еще много всего, особенно в отношении гиперссылок, а также можно просто включить простой HTML. Как только вы обнаружите, что выходите за рамки описанных выше основ, вы можете обратиться к официальному руководству от создателя Markdown Джона Грубера на его веб-сайте.

Ядра

За каждым ноутбуком работает ядро. Когда вы запускаете ячейку кода, этот код выполняется внутри ядра.Любой вывод возвращается обратно в ячейку для отображения. Состояние ядра сохраняется во времени и между ячейками - оно относится к документу в целом, а не к отдельным ячейкам.

Например, если вы импортируете библиотеки или объявляете переменные в одной ячейке, они будут доступны в другой. Давайте попробуем это почувствовать. Сначала мы импортируем пакет Python и определим функцию:

  import numpy as np
def квадрат (x):
    return x * x  

После того, как мы выполнили приведенную выше ячейку, мы можем ссылаться на np и на квадрат в любой другой ячейке.

  x = np.random.randint (1, 10)
у = квадрат (х)
print ('% d в квадрате равно% d'% (x, y))  

  1 в квадрате равно 1  

Это будет работать независимо от порядка ячеек в вашей записной книжке. Пока ячейка запущена, любые объявленные вами переменные или импортированные библиотеки будут доступны в других ячейках.

Можете попробовать сами, давайте еще раз распечатаем наши переменные.

  print ('% d в квадрате% d?'% (X, y))  

  1 в квадрате 1?  

Никаких сюрпризов! Но что будет, если мы изменим значение y?

  у = 10
print ('% d в квадрате - это% d?'% (x, y))  

Если мы запустим ячейку выше, что, по вашему мнению, произойдет?

Мы получим следующий результат: 4 в квадрате 10? .Это связано с тем, что после того, как мы запустили ячейку кода y = 10 , y больше не равно квадрату x в ядре.

В большинстве случаев при создании записной книжки поток будет идти сверху вниз. Но обычно возвращаются, чтобы внести изменения. Когда нам действительно нужно внести изменения в более раннюю ячейку, порядок выполнения, который мы видим слева от каждой ячейки, например В [6] , может помочь нам диагностировать проблемы, видя, в каком порядке выполнялись ячейки.

И если мы когда-нибудь захотим что-то сбросить, в меню ядра есть несколько невероятно полезных опций:

• Перезагрузка: перезапускает ядро, таким образом очищая все переменные и т. Д., Которые были определены.
• Перезагрузка и очистка вывода: то же, что и выше, но также стирает вывод, отображаемый под ячейками кода.
• Перезагрузить и запустить все: то же, что и выше, но также запустит все ваши ячейки в порядке от первого до последнего.

Если ваше ядро ​​когда-либо зависает на вычислении, и вы хотите его остановить, вы можете выбрать опцию «Прерывание».

Выбор ядра

Возможно, вы заметили, что Jupyter дает вам возможность изменить ядро, и на самом деле существует множество различных вариантов на выбор.Когда вы создавали новую записную книжку на панели управления, выбирая версию Python, вы фактически выбирали, какое ядро ​​использовать.

Есть ядра для разных версий Python, а также для более чем 100 языков, включая Java, C и даже Fortran. Специалистов по обработке данных могут особенно заинтересовать ядра для R и Julia, а также imatlab и ядро ​​Calysto MATLAB для Matlab.

Ядро SoS обеспечивает многоязычную поддержку в одном ноутбуке.

Каждое ядро ​​имеет свои собственные инструкции по установке, но, вероятно, потребует от вас запуска некоторых команд на вашем компьютере.

Пример анализа

Теперь мы рассмотрели , что такое Jupyter Notebook, пришло время взглянуть на , как они используются на практике, что должно дать нам более четкое представление о , почему они так популярны.

Наконец-то пора начать работу с набором данных из списка Fortune 500, упомянутым ранее. Помните, наша цель - узнать, как исторически менялись прибыли крупнейших компаний США .

Стоит отметить, что у каждого будут свои предпочтения и стиль, но общие принципы все равно применимы.Вы можете следить за этим разделом в своей записной книжке, если хотите, или использовать его как руководство для создания собственного подхода.

Присвоение имен блокнотам

Прежде чем вы начнете писать свой проект, вы, вероятно, захотите дать ему осмысленное имя. имя файла Без названия в верхнем левом углу экрана введите новое имя файла и нажмите значок «Сохранить» (который выглядит как дискета) под ним, чтобы сохранить.

Обратите внимание, что закрытие вкладки блокнота в браузере , а не «закроет» блокнот, как закрытие документа в традиционном приложении.Ядро ноутбука будет продолжать работать в фоновом режиме, и его необходимо выключить, прежде чем он действительно «закроется» - хотя это очень удобно, если вы случайно закроете вкладку или браузер!

Если ядро ​​выключено, вы можете закрыть вкладку, не беспокоясь о том, работает оно по-прежнему или нет.

Самый простой способ сделать это - выбрать «Файл> Закрыть и остановить» в меню записной книжки. Однако вы также можете выключить ядро, выбрав «Ядро> Завершение работы» в приложении для ноутбука или выбрав записную книжку на панели инструментов и нажав «Завершение работы» (см. Изображение ниже).

Настройка

Обычно начинают с ячейки кода специально для импорта и настройки, так что, если вы решите добавить или изменить что-либо, вы можете просто отредактировать и повторно запустить ячейку без каких-либо побочных эффектов.

 % встроенная библиотека matplotlib
импортировать панд как pd
импортировать matplotlib.pyplot как plt
import seaborn как sns sns.set (style = "darkgrid")  

Мы импортируем pandas для работы с нашими данными, Matplotlib для построения диаграмм и Seaborn, чтобы сделать наши диаграммы красивее.Также распространено импортировать NumPy, но в этом случае pandas импортирует его для нас.

Эта первая строка не является командой Python, но использует так называемую линейную магию, чтобы инструктировать Jupyter захватить графики Matplotlib и отобразить их в выходных данных ячейки. Мы поговорим немного больше о линейной магии позже, и они также рассматриваются в нашем расширенном руководстве по Jupyter Notebooks.

А пока давайте загрузим наши данные.

  df = pd.read_csv ('fortune500.csv')  

Разумно также сделать это в одной ячейке, на случай, если нам понадобится перезагрузить ее в любой момент.

Сохранение и контрольная точка

Теперь, когда мы начали, рекомендуется регулярно сохранять. Нажатие Ctrl + S сохранит нашу записную книжку, вызвав команду «Сохранить и контрольную точку», но что это за контрольная точка?

Каждый раз, когда мы создаем новую записную книжку, вместе с файлом записной книжки создается файл контрольной точки. Он находится в скрытом подкаталоге места сохранения под названием .ipynb_checkpoints , а также является файлом .ipynb .

По умолчанию Jupyter автоматически сохраняет записную книжку каждые 120 секунд в этот файл контрольной точки без изменения вашего основного файла записной книжки.Когда вы «Сохранить и контрольную точку», обновляются файлы записной книжки и контрольной точки. Следовательно, контрольная точка позволяет вам восстановить несохраненную работу в случае неожиданной проблемы.

Вы можете вернуться к контрольной точке из меню через «Файл> Вернуться к контрольной точке».

Изучение нашего набора данных

Теперь мы действительно в действии! Наша записная книжка надежно сохранена, и мы загрузили наш набор данных df в наиболее часто используемую структуру данных pandas, которая называется DataFrame и в основном выглядит как таблица.На что похож наш?

Хорошо выглядит. У нас есть нужные столбцы, и каждая строка соответствует одной компании за один год.

Давайте просто переименуем эти столбцы, чтобы мы могли ссылаться на них позже.

  df.columns = ['год', 'рейтинг', 'компания', 'выручка', 'прибыль']  

Затем нам нужно изучить наш набор данных. Он полный? Панды прочитали это так, как ожидалось? Отсутствуют ли какие-либо значения?

  25500  

Хорошо, выглядит неплохо - это 500 строк на каждый год с 1955 по 2005 год включительно.

Давайте проверим, был ли наш набор данных импортирован так, как мы ожидали. Простая проверка - увидеть, правильно ли интерпретированы типы данных (или dtypes).

  год int64 ранг int64 объект компании выручка float64 объект прибыли dtype: объект  

Ой ой. Похоже, что-то не так со столбцом прибыли - мы ожидали, что это будет float64 , как столбец доходов. Это указывает на то, что он, вероятно, содержит некоторые нецелочисленные значения, так что давайте посмотрим.0-9.-] ') df.loc [non_numberic_profits] .head ()

Как мы и подозревали! Некоторые значения представляют собой строки, которые использовались для обозначения отсутствующих данных. Есть ли еще какие-то ценности?

  set (df.profit [non_numberic_profits])  

  {'N.A.'}  

Это упрощает интерпретацию, но что нам делать? Ну, это зависит от того, сколько значений отсутствует.

  len (df.profit [non_numberic_profits])  

  369  

Это небольшая часть нашего набора данных, хотя и не совсем несущественная, поскольку она все еще составляет около 1.5%.

Если строки, содержащие N.A. , примерно равномерно распределены по годам, самым простым решением было бы просто удалить их. Итак, давайте взглянем на распределение.

  bin_sizes, _, _ = plt.hist (df.year [non_numberic_profits], bins = range (1955, 2006))  

С первого взгляда мы видим, что самые недопустимые значения за один год меньше 25, и, поскольку существует 500 точек данных в год, удаление этих значений будет составлять менее 4% данных для худших лет.Действительно, за исключением всплеска около 90-х годов, в большинстве лет пропущенные значения пика меньше половины.

Для наших целей допустим, что это приемлемо, и удалим эти строки.

  df = df.loc [~ non_numberic_profits]
df.profit = df.profit.apply (pd.to_numeric)  

Мы должны проверить, что сработало.

  год int64 ранг int64 компания объект выручка float64 прибыль float64 dtype: объект  

Отлично! Мы закончили настройку нашего набора данных.

Если бы мы собирались представить вашу записную книжку в виде отчета, мы могли бы избавиться от созданных нами исследовательских ячеек, которые включены здесь в качестве демонстрации потока работы с записными книжками, и объединить соответствующие ячейки (см. Раздел Расширенные функции ниже для получения дополнительной информации), чтобы создать единую ячейку настройки набора данных.

Это будет означать, что если мы когда-нибудь испортим наш набор данных в другом месте, мы можем просто перезапустить ячейку настройки, чтобы восстановить его.

Построение графиков с помощью matplotlib

Затем мы можем перейти к решению поставленного вопроса, построив график средней прибыли по годам.Мы также можем построить график дохода, поэтому сначала мы можем определить некоторые переменные и метод сокращения нашего кода.

  group_by_year = df.loc [:, ['год', 'выручка', 'прибыль']]. Groupby ('год')
avgs = group_by_year.mean ()
x = avgs.index
y1 = avgs.profit
def plot (x, y, ax, title, y_label):
    ax.set_title (заголовок)
    ax.set_ylabel (y_label)
    ax.plot (x, y)
    ax.margins (x = 0, y = 0)  

  fig, ax = plt.subplots ()
plot (x, y1, ax, 'Увеличение средней прибыли компании из списка Fortune 500 с 1955 по 2005 год', 'Прибыль (в миллионах)')  

Вау, это похоже на экспоненту, но есть несколько огромных провалов.Они должны соответствовать спаду начала 1990-х и пузырю доткомов. Довольно интересно видеть это в данных. Но как получается, что после каждой рецессии прибыль восстанавливается до еще более высоких уровней?

Может быть, доходы расскажут нам больше.

  y2 = средн. Выручка
fig, ax = plt.subplots ()
plot (x, y2, ax, 'Увеличение среднего дохода компании из списка Fortune 500 с 1955 по 2005 год', 'Доход (в миллионах)')  

Это добавляет еще одну сторону к истории. Доходы пострадали не так сильно - это отличная бухгалтерская работа со стороны финансовых отделов.

С небольшой помощью Stack Overflow мы можем наложить эти графики с +/- их стандартными отклонениями.

  def plot_with_std (x, y, stds, ax, title, y_label):
    ax.fill_between (x, y - стандартное значение, y + стандартное значение, альфа = 0,2)
    сюжет (x, y, топор, заголовок, y_label)
fig, (ax1, ax2) = plt.subplots (ncols = 2)
title = 'Увеличение среднего и стандартного показателя компаний из списка Fortune 500 с 1955 по 2005 год'
stds1 = group_by_year.std (). profit.values
stds2 = group_by_year.std (). доход.значения
plot_with_std (x, y1.values, stds1, ax1, title% 'profits', 'Profit (миллионы)')
plot_with_std (x, y2.values, stds2, ax2, title% 'доход', 'доход (в миллионах)')
fig.set_size_inches (14, 4)
fig.tight_layout ()  

Поразительно, стандартные отклонения огромны! Некоторые компании из списка Fortune 500 зарабатывают миллиарды, в то время как другие теряют миллиарды, и с годами риск увеличивался вместе с ростом прибыли.

Возможно, одни компании работают лучше, чем другие; является ли прибыль 10% самых прибыльных компаний более или менее изменчивой, чем 10% самых бедных?

Есть много вопросов, на которые мы могли бы ответить дальше, и легко увидеть, как поток работы в записной книжке может соответствовать собственному мыслительному процессу.Для целей этого руководства мы остановим наш анализ на этом, но не стесняйтесь продолжать копаться в данных самостоятельно!

Этот поток помог нам легко исследовать наш набор данных в одном месте без переключения контекста между приложениями, и наша работа немедленно доступна для совместного использования и воспроизводится. Если бы мы хотели создать более сжатый отчет для определенной аудитории, мы могли бы быстро реорганизовать нашу работу, объединив ячейки и удалив промежуточный код.

Совместное использование записных книжек

Когда люди говорят о совместном использовании своих записных книжек, обычно они могут рассматривать две парадигмы.

Чаще всего люди делятся конечным результатом своей работы, как и сама эта статья, что означает совместное использование неинтерактивных, предварительно обработанных версий своих записных книжек. Тем не менее, также можно сотрудничать с ноутбуками с помощью систем контроля версий, таких как Git, или онлайн-платформ, таких как Google Colab.

Перед тем, как предоставить общий доступ

Общая записная книжка будет отображаться точно в том состоянии, в котором она была при экспорте или сохранении, включая вывод любых ячеек кода.Следовательно, чтобы убедиться, что ваш блокнот готов к совместному использованию, так сказать, есть несколько шагов, которые вы должны предпринять перед тем, как поделиться:

1. Нажмите «Ячейка> Все выходные данные> Очистить»
2. Нажмите «Ядро> Перезагрузить и запустить все»
3. Дождитесь завершения выполнения ячеек кода и проверьте правильность выполнения.

Это гарантирует, что ваши записные книжки не содержат промежуточных выходных данных, имеют устаревшее состояние и выполняются по порядку во время совместного использования.

Экспорт записных книжек

Jupyter имеет встроенную поддержку экспорта в HTML и PDF, а также в несколько других форматов, которые вы можете найти в меню «Файл> Загрузить как».”

Если вы хотите поделиться своими ноутбуками с небольшой частной группой, эта функция вполне может быть всем, что вам нужно. Действительно, поскольку многим исследователям в академических учреждениях предоставляется некоторое общедоступное или внутреннее веб-пространство, и поскольку вы можете экспортировать блокнот в файл HTML, блокноты Jupyter могут быть особенно удобным способом для исследователей делиться своими результатами со своими коллегами.

Но если совместное использование экспортированных файлов вас не устраивает, есть также несколько чрезвычайно популярных методов обмена .Файлы ipynb можно найти прямо в Интернете.

GitHub

Поскольку к началу 2018 года количество общедоступных записных книжек на GitHub превысило 1,8 миллиона, это, безусловно, самая популярная независимая платформа для обмена проектами Jupyter со всем миром. GitHub имеет встроенную поддержку для рендеринга файлов .ipynb непосредственно как в репозиториях, так и в gists на своем веб-сайте. Если вы еще не знаете, GitHub - это платформа для размещения кода для управления версиями и совместной работы для репозиториев, созданных с помощью Git.Вам понадобится учетная запись, чтобы пользоваться их услугами, но стандартные учетные записи бесплатны.

Если у вас есть учетная запись GitHub, самый простой способ поделиться записной книжкой на GitHub вообще не требует Git. С 2008 года GitHub предоставляет свой сервис Gist для размещения и обмена фрагментами кода, каждый из которых получает свой собственный репозиторий. Чтобы поделиться записной книжкой с помощью Gists:

1. Войдите в систему и перейдите на gist.github.com.
2. Откройте файл .ipynb в текстовом редакторе, выделите все и скопируйте JSON внутрь.
3. Вставьте JSON записной книжки в суть.
4. Дайте вашему Gist имя файла, не забудьте добавить .iypnb , иначе это не сработает.
5. Нажмите «Создать секретную сущность» или «Создать общедоступную сущность».

Это должно выглядеть примерно так:

Если вы создали общедоступный Gist, теперь вы сможете поделиться его URL-адресом с кем угодно, а другие смогут разветвлять и клонировать вашу работу.

Создание собственного репозитория Git и публикация его на GitHub выходит за рамки этого руководства, но GitHub предоставляет множество руководств, чтобы вы могли начать работу самостоятельно.

Дополнительным советом для тех, кто использует git, является добавление исключения в ваш .gitignore для тех скрытых .ipynb_checkpoints каталогов, которые создает Jupyter, чтобы не передавать файлы контрольных точек без необходимости в ваше репо.

Nbviewer

К 2015 году NBViewer стал самым популярным средством визуализации записных книжек в сети, которое к 2015 году выросло до сотен тысяч ноутбуков каждую неделю. Если у вас уже есть где-нибудь разместить свои записные книжки Jupyter в Интернете, будь то GitHub или где-то еще, NBViewer отобразит вашу записную книжку и предоставит совместно используемый URL-адрес.Предоставляется как бесплатная услуга в рамках Project Jupyter и доступна по адресу nbviewer.jupyter.org.

Первоначально разработанный до интеграции GitHub с Jupyter Notebook, NBViewer позволяет любому вводить URL, Gist ID или имя пользователя / репо / файл GitHub, и он будет отображать записную книжку как веб-страницу. Идентификатор Gist - это уникальный номер в конце его URL; например, строка символов после последней обратной косой черты в https://gist.github.com/username/50896401c23e0bf417e89cd57e89e1de .Если вы введете имя пользователя GitHub или имя пользователя / репозиторий, вы увидите минимальный файловый браузер, который позволяет вам исследовать репозитории пользователя и их содержимое.

URL-адрес, отображаемый NBViewer при отображении записной книжки, является константой на основе URL-адреса записной книжки, которую он отображает, поэтому вы можете поделиться им с кем угодно, и он будет работать, пока исходные файлы остаются в сети - NBViewer не кэширует файлы очень долго.

Если вам не нравится Nbviewer, есть и другие похожие варианты - вот ветка с некоторыми из участников нашего сообщества, которые стоит рассмотреть.

Дополнительно: Jupyter Notebook Extensions

Мы уже рассмотрели все, что вам нужно, чтобы начать работать с Jupyter Notebooks.

Что такое расширения?

Расширения - это именно то, на что они похожи - дополнительные функции, расширяющие функциональность Jupyter Notebooks. В то время как базовый блокнот Jupyter может очень много делать, расширения предлагают некоторые дополнительные функции, которые могут помочь в определенных рабочих процессах или просто улучшить взаимодействие с пользователем.

Например, одно расширение под названием «Table of Contents» генерирует оглавление для вашей записной книжки, чтобы упростить визуализацию больших записных книжек и навигацию по ним.

Другой, называемый Variable Inspector, покажет вам значение, тип, размер и форму каждой переменной в вашей записной книжке для облегчения быстрой справки и отладки.

Другой, ExecuteTime, позволяет узнать, когда и как долго выполнялась каждая ячейка - это может быть особенно удобно, если вы пытаетесь ускорить фрагмент кода.

Это лишь верхушка айсберга; доступно множество расширений.

Где взять расширения?

Чтобы получить расширения, вам необходимо установить Nbextensions.Вы можете сделать это с помощью pip и командной строки. Если у вас есть Anaconda, может быть лучше сделать это через Anaconda Prompt, а не через обычную командную строку.

Закройте Jupyter Notebooks, откройте Anaconda Prompt и выполните следующую команду: pip install jupyter_contrib_nbextensions && jupyter contrib nbextension install .

Как только вы это сделаете, запустите записную книжку, и вы должны увидеть вкладку Nbextensions. Щелкнув эту вкладку, вы увидите список доступных расширений.Просто установите флажки рядом с расширениями, которые хотите включить, и вперед в гонки!

Установка расширений

После установки самого Nbextensions нет необходимости в дополнительной установке каждого расширения. Однако, если вы уже установили Nbextensons, но не видите вкладку, вы не одиноки. В этой ветке на Github подробно описаны некоторые распространенные проблемы и решения.

Дополнительно: Line Magics в Jupyter

Мы упоминали магические команды ранее, когда использовали % matplotlib inline , чтобы визуализировать диаграммы Matplotlib прямо в нашем блокноте.Есть много других магических способностей, которые мы можем использовать.

Как использовать магию в Jupyter

Хороший первый шаг - открыть Jupyter Notebook, ввести % lsmagic в ячейку и запустить ячейку. Это выведет список доступных линейной магии и клеточной магии, а также сообщит вам, включена ли «автоматическая магия».

• Линейная магия работает с одной строкой ячейки кода
• Ячейка магии работает со всей ячейкой кода, в которой они называются

Если автоматическая магия включена, вы можете запустить магию, просто набрав ее в отдельной строке в ячейке кода и запускает ячейку.Если он выключен, вам нужно будет поставить % перед линейной магией и %% перед клеточной магией, чтобы использовать их.

Многие магии требуют дополнительного ввода (подобно тому, как функция требует аргумента), чтобы сообщить им, как действовать. Мы рассмотрим пример в следующем разделе, но вы можете увидеть документацию по любой магии, поставив ее со знаком вопроса, например:

Когда вы запустите указанную выше ячейку в записной книжке, появится длинная строка документации. на экране с подробностями о том, как вы можете использовать магию.

Несколько полезных магических команд

Мы рассмотрим больше в расширенном руководстве по Jupyter, но вот несколько, которые помогут вам начать:

Там есть еще много чего.Зайдите в Jupyter Notebooks и начните исследовать с помощью % lsmagic !

Заключительные мысли

Начав с нуля, мы вплотную подошли к естественному рабочему процессу Jupyter Notebooks, углубились в более продвинутые функции IPython и, наконец, узнали, как делиться своей работой с друзьями, коллегами и всем миром. И все это мы сделали из самого ноутбука!

Должно быть понятно, как записные книжки способствуют продуктивному рабочему опыту, уменьшая переключение контекста и имитируя естественное развитие мыслей во время проекта.