Быстрая передача данных в Amazon S3 с помощью AWS Import Export

Если у вас дома есть сотни гигабайт или даже терабайт данных в локальной сети, вероятно, все они хранятся на компьютере, внешнем жестком диске или устройстве NAS (сетевое хранилище). Резервное копирование ваших данных чрезвычайно важно, но иметь их все в одном месте никогда не является хорошей идеей.

Я понял это сам, когда увидел, что у меня на локальном NAS хранится более 2 ТБ фотографий, видео, резервных копий и т. Д. Конечно, у него 4 жестких диска, и в случае сбоя ни одна из моих данных не будет потеряна. Однако, если мой дом сгорит или затопится, все будет потеряно вместе с NAS. Поэтому я решил сделать резервную копию данных в облаке.

Я проверил Dropbox, SkyDrive, Google Drive, CrashPlan и Amazon S3 и Glacier, прежде чем, наконец, остановился на Amazon S3. Почему амазон? Ну, у них есть классный сервис, где вы можете отправлять на внешний жесткий диск размером до 16 ТБ и загружать его непосредственно на свои серверы, что позволяет обойти огромную проблему, связанную с попыткой выгрузить эти данные через ваше медленное интернет-соединение..

С AT & T в моем районе я получаю колоссальную скорость загрузки 1,4 Мбайт / с. Чтобы загрузить 2,5 ТБ данных, которые я хранил на NAS, потребовалось бы много месяцев. С Amazon Import / Export вы можете оплатить сервисный сбор в размере 80 долларов и заставить их загрузить все эти данные за вас за один день. Я закончил тем, что сделал видеоурок, который проведет вас через весь процесс от регистрации в Amazon Web Services до упаковки вашего жесткого диска и доставки его в Amazon.

Вот полная стенограмма видео:

Привет всем. Это Aseem Kishore из Tech Tech Tips. Я собираюсь сделать что-то новое сегодня. Я собираюсь сделать видеоруководство по функциям экспорта-импорта Amazon Web Services. Так что же такое функция импорта и экспорта? Ну, это в основном способ получить большой объем данных в корзину Amazon S3 или в хранилище Glacier. Amazon S3 и Glacier - это, по сути, два варианта хранения данных для резервного копирования и архивирования данных с помощью Amazon. Так почему вы хотите использовать этот сервис от Amazon?

Ну, это в основном позволяет очень быстро перемещать большие объемы данных в облако. Если вы такой же, как я, у вас могут быть сотни гигабайт фотографий и видео, хранящихся локально на вашем компьютере или на внешнем жестком диске. Попытка загрузить 100 ГБ или 500 ГБ или даже терабайт данных в облако займет несколько недель, если не месяцев, при медленном соединении с загрузкой. Вместо этого вы можете скопировать эти данные на внешний жесткий диск размером до 16 терабайт и просто отправить их в Amazon, где они перенесут их в свой центр обработки данных и загрузят прямо в ваше хранилище или хранилище, а затем вы можно пойти дальше и получить доступ к этому из Интернета.

Итак, для начала, первое, что вам нужно сделать, это создать учетную запись веб-сервисов Amazon. Чтобы сделать это, вы перейдете на aws.amazon.com, и вы собираетесь пойти дальше и нажать кнопку «Зарегистрироваться». Затем введите свой адрес электронной почты и выберите «Я новый пользователь», если у вас еще нет учетной записи Amazon. Если вы это сделаете, выберите «Я возвращающийся пользователь», и вы можете использовать свою текущую учетную запись Amazon, чтобы подписаться на Amazon Web Services..

После того, как вы создали свою учетную запись Amazon Web Services, вам нужно будет загрузить инструмент Import Export. Этот инструмент очень прост в использовании. Требуется небольшая конфигурация, которую я собираюсь продолжить и объяснить. Но вы можете видеть на экране, есть ссылка для загрузки, которую я собираюсь добавить в подписи внизу этого видео. Итак, скачайте его, а затем распакуйте в каталог на вашем компьютере..

Теперь, когда вы скачали этот инструмент и распаковали его, у вас должен быть каталог, который выглядит следующим образом. На этом этапе нам потребуется отредактировать файл с именем «Учетные данные AWS». Он содержит два значения: идентификатор ключа доступа и секретный ключ. По сути, это два значения, которые Amazon использует для привязки к вашей учетной записи. Вы можете получить эти два значения из своей учетной записи Amazon Web Services, перейдя по следующему адресу. Это aws.amazon.com/securitycredentials. На странице «Учетные данные безопасности» вы собираетесь пойти дальше и нажать «Ключи доступа»..

Теперь это становится немного запутанным здесь. Если вы уже использовали Amazon Web Services и уже создали ключи в прошлом, вы не сможете увидеть здесь свой секретный ключ. Это своего рода новый интерфейс от Amazon, и для того, чтобы увидеть ваши существующие секретные ключи, вы должны нажать на ссылку Security Credentials, которая приведет вас к старой странице Legacy.

Если вы только что создали новую учетную запись, вы сможете создать новый корневой ключ. Эта кнопка будет активной. В этот момент вы получите идентификатор ключа доступа и секретный ключ, который даст вам оба значения. И это страница Legacy Security, где вы можете получить доступ к своим секретным ключам, если вы уже создали идентификатор ключа доступа для Amazon Web Services. Итак, как вы можете видеть здесь, у меня есть два ключа доступа, и если я хочу пойти дальше и увидеть свой секретный ключ, я могу пойти дальше и нажать кнопку Показать, а затем я могу скопировать эти два значения в файл учетных данных AWS, который я показал ты раньше. Итак, вы хотите пойти дальше и вставить здесь ключ доступа ID и вставить секретный ключ здесь.

Теперь, если вас смущают идентификатор ключа доступа и ключ секретного доступа, ничего страшного. Вам действительно не нужно знать, кто они, или заботиться о них каким-либо образом. Все, что вам нужно сделать, это подписать и получить значения, скопировать и вставить их в этот файл.

Следующее, что мы собираемся сделать, это создать работу по импорту. Теперь следующие две части - две самые сложные части всей этой процедуры. Чтобы создать задание импорта для Amazon S3, мы собираемся создать файл манифеста. Этот файл манифеста в основном содержит некоторую информацию о вашем устройстве. Где вы хотите хранить данные и куда вы хотите, чтобы устройство было отправлено обратно.

Теперь хорошо то, что нам не нужно создавать этот файл манифеста самостоятельно. Это уже создано для нас, мы просто должны идти вперед и заполнить его. Итак, что вы хотите сделать, это перейти в каталог, где у вас есть инструмент импорта-экспорта, и нажать «Примеры». Здесь вы собираетесь пойти дальше и открыть манифест импорта S3. Как вы можете видеть здесь, я уже пошел дальше и заполнил информацию для моей работы по импорту. Итак, давайте продолжим и посмотрим на это немного более внимательно.

Как видите, первое, что вам нужно сделать, это снова ввести свой идентификатор ключа доступа. Вы должны избавиться от скобок, и вы просто вставляете его прямо после двоеточия. Следующее, что вы захотите сделать, это ввести имя корзины. Вам нужно будет пойти дальше и создать ведро, которое я собираюсь показать и показать после этого, а пока идите вперед и введите любое имя, которое вы захотите, где будут ваши данные. сохраняются. Таким образом, если вы создадите папку с именем «Резервное копирование», то все, что у вас есть на вашем устройстве, любые папки или что-то там, будет находиться под этим именем корзины..

Следующее, что вы хотите сделать, это ввести идентификатор вашего устройства. По сути, это уникальный идентификатор вашего внешнего жесткого диска. Это может быть серийный номер на задней панели жесткого диска. Если у вас нет серийного номера на задней панели жесткого диска, вы можете просто создать собственный номер или идентификатор. Просто напишите это на наклейке, которую вы можете наклеить на свое устройство, а затем просто введите это значение здесь. Просто должно быть что-то одинаковое на устройстве и в этом файле. Стереть устройство, оно уже установлено на Нет, так что вы собираетесь оставить это. Вы можете оставить следующий. Уровень обслуживания является стандартным, вы можете оставить это. И обратный адрес, вы идете дальше и заполните свой адрес, как я сделал здесь. В исходном файле есть несколько необязательных полей. Вы должны пойти дальше и удалить их, если не собираетесь их использовать. Так что вы можете просто пойти дальше и удалить эти строки.

Итак, следующая вещь, которую мы собираемся сделать после заполнения файла манифеста, - сохранить его в соответствующем каталоге. Чтобы сделать это, мы собираемся пойти дальше и щелкнуть Файл, Сохранить как, и мы вернемся обратно в каталог инструментов импорта-экспорта. Это также местоположение файла свойств точек, который мы заполнили ранее. Здесь вы должны начать и назвать свой файл «my import manifest.txt. «Поскольку ваш тип сохранения как уже является txt, вам не нужно вводить это в имя файла. Идите вперед и нажмите Сохранить.

Теперь, когда мы отредактировали файл учетных данных AWS и добавили в него файл My Import Manifest, мы можем приступить к созданию корзины в Amazon S3. Это очень просто сделать. То, что вы собираетесь сделать, - это перейти на сайт aws.amazon.com. Далее вы перейдете в консоль Моя учетная запись и затем нажмите Консоль управления AWS. После того, как вы войдете в систему, у вас должен появиться экран, похожий на этот, со всеми различными веб-сервисами Amazon. На данный момент все, что нас волнует, это Amazon S3, который находится здесь внизу слева. Нажмите на него, и он пойдет вперед и загрузит консоль S3. И, как вы можете видеть здесь, ничего особенного, кроме ведер. Итак, у меня есть две корзины, это моя резервная копия моего Synology NAS, который является устройством хранения сетевого типа.

То, что вы хотите сделать, - это нажать «Создать корзину», и подумать, что вы собираетесь пойти дальше и дать вашему корзине имя корзины. Вы также можете выбрать другой регион, но я предлагаю вам просто перейти в тот регион, который он заполняет для вас автоматически. Имя корзины может содержать только точки, и оно должно быть уникальным во всем регионе, где оно хранится. Так что, если у кого-то еще есть это имя, оно выдаст вам ошибку. Например, если я скажу «nasbackup» и скажу «создать», это выдаст ошибку, что запрошенное имя сегмента недоступно. В этом случае вы можете использовать точки, чтобы вы могли поставить 'точку' и все остальное, что вы хотите, и нажать кнопку «Создать», и, если это уникально, тогда он пойдет дальше и создаст это имя сегмента. Таким образом, вы можете пойти дальше и создать ведро, то есть мы будем хранить данные на всем внешнем жестком диске..

В этот момент вам может быть интересно, что еще нужно сделать. Итак, давайте посмотрим на то, что мы сделали до сих пор. Мы подписались на сервис AWS. Мы скачали и распаковали инструмент. Мы отредактировали файл и ключи редактора. Мы пошли дальше и создали файл манифеста, сохранили его в манифесте импорта в том же каталоге, что и файл учетных данных, и мы создали корзину на Amazon S3. Так что есть еще пара вещей, чтобы сделать это.

Следующее, что нам нужно сделать, это создать запрос на работу, используя инструмент командной строки Java. Это немного технически, и это, вероятно, самая техническая вещь, которую вам придется делать, но на самом деле это не так сложно. Теперь, чтобы создать этот запрос на работу, мы должны запустить команду Java в командной строке. Но для этого у нас должен быть установлен комплект разработки Java. Это отличается от среды выполнения Java, которая обычно устанавливается на большинстве компьютеров, но не позволяет запускать команды Java из командной строки..

Для этого вам нужно зайти в Google и просто выполнить поиск Java SE, а это Java Standard Edition. Идите дальше и нажмите на первую ссылку здесь, и это приведет вас к этой странице. Здесь вы можете прокрутить вниз, и вы увидите три варианта: JDK-сервер, JRE и JRE. Нам не нужно беспокоиться об этих двух здесь. Мы собираемся скачать JDK. На следующей странице нажмите «Принять лицензионное соглашение», а затем вы сможете скачать файл, соответствующий спецификациям вашей системы. В моем случае я скачал исполняемый файл Windows 64 bit.

Теперь, когда вы установили исполняемый комплект Java, мы можем запустить команду Java, и вы можете увидеть эту команду здесь в документации, которую я выделил здесь. И, кстати, если вам нужно получить доступ к этой документации, проще всего перейти в Google и выполнить поиск «Документы по экспорту и импорту AWS». Затем нажмите «Создать задание на импорт», а затем нажмите «Создать первое задание на импорт Amazon S3», и вы попадете на эту страницу..

Теперь мы можем пойти дальше и запустить команду, перейдя в командную строку. Для этого мы нажимаем «Пуск», вводим CMD и нажимаем «Enter». Теперь, когда у нас есть командная строка, нам нужно перейти в каталог, где находится инструмент импорта-экспорта Amazon. В нашем случае он находится в разделе «Загрузки», а затем есть папка «Импорт и экспорт веб-службы». Итак, чтобы перейти по каталогам в командной строке, вы набираете «cd», а затем я собираюсь ввести «downloads», а затем я снова набираю «cd», и я собираюсь ввести «инструмент импорта и экспорта веб-службы», который является названием Справочника. Теперь, когда я в этом каталоге, я просто собираюсь скопировать эту команду и вставить ее в командную строку.

Возможно, вы заметили, что в команде, которую мы только что скопировали и вставили, имя файла манифеста - My S3 Import Manifest.txt. Я думаю, что это проблема с документацией, потому что, когда я пытался запустить ее таким образом, я получал сообщение об ошибке, в котором говорилось, что файл должен называться My Import Manifest.txt. Просто переместите курсор и удалите часть S3, и вы сможете выполнить команду. Теперь я не собираюсь идти вперед и запускать команду прямо сейчас, потому что уже запускал ее раньше. Но когда вы продолжите и нажмете Enter, вы должны получить что-то вроде этого, созданное задание, идентификатор задания, адрес доставки AW и содержимое файла подписи..

Содержимое файла подписи - это, по сути, файл, который создается в корневом каталоге здесь, в разделе «Импорт и экспорт подписей веб-служб». Это будет создано при запуске фактической команды. Если все идет хорошо, вы можете взять этот файл, и вам придется скопировать в корень жесткого диска.
Мы почти до конца здесь. Следующее, что нам нужно сделать, это скопировать файл подписи в корень жесткого диска. Мы можем найти файл с именем Signature в каталоге инструментов Import Export Web Services Tool после того, как вы запустите команду Java.

От второго до последнего шага распечатывается упаковочный лист и заполняется. Вот так выглядит упаковочный лист. Это очень простой документ. Вы можете указать дату, идентификатор своей учетной записи электронной почты, свой контактный номер, свое имя и номер телефона, идентификатор задания и идентификатор, который вы указали для своего устройства. Опять же, вы можете найти этот документ здесь из документации.

И, наконец, последний шаг - просто упаковать свой жесткий диск и отправить его в Amazon. Есть несколько мелочей, которые вы должны принять к сведению. Во-первых, вам необходимо включить блок питания и любые кабели питания и любые интерфейсные кабели, поэтому, если это USB 2.0, 3.0, esata, вам необходимо подключить USB-кабель или кабель esata. Если нет, они пойдут дальше и вернут его вам. Вам также нужно будет заполнить упаковочный лист, который я упоминал ранее, и положить его в коробку. И, наконец, вы отправите пакет по адресу, который вы получили из команды create response, которую мы запустили.

Есть две другие мелочи, на которые стоит обратить внимание при отправке. Во-первых, вы должны удостовериться, что на этикетке доставки указан этот идентификатор работы. Если нет, они вернут его обратно. Таким образом, вы должны убедиться, что у вас есть идентификатор работы на этикетке доставки. Во-вторых, вы также должны заполнить адрес обратной доставки. Это будет отличаться от адреса обратной доставки, который мы указали в файле манифеста. Если по какой-то причине они не обрабатывают ваш жесткий диск, если есть проблема или что-то подобное, они вернут жесткий диск по адресу доставки, указанному на этикетке. Если они обработают ваш жесткий диск и смогут передать все данные, они вернут жесткий диск по адресу доставки, который вы указали в этой статье. Поэтому важно указать адрес обратной доставки на этикетке. Вы можете выбрать любой носитель, который вам нравится. Я выбрал UPS. Хорошо иметь номер для отслеживания, и они могут сделать все это для вас без проблем.

И это все. Это несколько шагов, и это занимает немного времени в первый раз, когда вы делаете это. Но после этого, это довольно быстро и это отличный способ сохранить много данных в облаке, Amazon также дешев для хранения. Так что, если у вас есть тонна в день, которую вам нужно хранить, и вы хотите сделать резервную копию ее где-нибудь, кроме дома или на внешнем жестком диске, то Amazon Web Services S3 - отличный вариант..

Я надеюсь, вам понравился этот урок. Пожалуйста, вернитесь и посетите.