Улучшение производительности при использовании "системы" по телефону (побег раковины) для обработки больших файлов в awk

Я тяну вин спецификации от Национального управления по безопасности движения API для примерно 25,000,000 VIN номера. Это большое количество данных, и, как я не преобразовывая данные в любом случае, завиток казался более эффективный и легкий способ выполнения задания, чем в Python (питон, видя, как Джил делает параллельную обработку немного боли).

В ниже код, Винс.CSV-файл - это файл, содержащий большой образец 25М Винс, разбитая на куски 100 Винс. Эти передаются на GNU параллельно, который использует 4 ядра. Все сваливают в nhtsa_vin_data.КШМ в конце.

$ кот Винс.CSV или параллельно -и 10% завиток -с, формат данных "=КШМ" \
 --данных "данных={1}" https://vpic.nhtsa.dot.gov/api/vehicles/DecodeVINValuesBatch/ \
 >> /НАН/бигдата/Кемри/nhtsa_vin_data.КШМ

Этот процесс был писать около 3000 Винс минуту в начале и становится все медленнее с течением времени (в настоящее время около 1200 в минуту).

Мои вопросы

  • Есть ли в моей команде, что будет обусловлено ростом накладных расходов как nhtsa_vin_data.КШМ увеличивается в размерах?
  • Это связано с тем, как Linux обрабатывает >> операции?

ОБНОВЛЕНИЕ #1 - РЕШЕНИЯ

Первое решение в @ОДС - ТМП вариантов использования параллельной файлы, чтобы писать каждый выход Curl для своего собственного .файл par, совместить в конце:

$ кот Винс.КШМ | параллельный \
--никакое сжатие /дома/Кемри/vin_scraper/temp_files \
--файлы \
-и 10% скручиваемость -з \
--формат данных "=CSV-файл" \
--данных "данных={1}" https://vpic.nhtsa.dot.gov/api/vehicles/DecodeVINValuesBatch/ > /Дев/нуль

кот <(голову -1 $(ЛС *.пар|голову -1)) <(хвост -м -п +2 *.номинальной) > all_data.КШМ

Второе решение в @oletange - использовать-строка-буфер выходной буфер в памяти, а не диска:

test_new_mthd_vins $ кот.КШМ | параллельный \
 - линия-буфер \
 -и 10% скручиваемость -з \
 --формат данных "=CSV-файл" \
 --данных "данных={1}" https://vpic.nhtsa.dot.gov/api/vehicles/DecodeVINValuesBatch/ \
 >> /главная/Кемри/vin_scraper/temp_files/nhtsa_vin_data.КШМ

Соображения производительности

Я считаю оба решения, предложенные здесь, очень полезно и интересно и, безусловно, будет использовать оба варианта в будущем (как для сравнения производительности и дополнительный API работы). Надеюсь, я смогу провести несколько тестов, чтобы увидеть, какой работает лучше для моего варианта использования.

Кроме того, запущена какая-либо проверка пропускной способности, таких как @oletange и @ОДС предложил бы разумно, видя, как вероятность того, что в США, являясь узким местом здесь является не ничтожной.

+226
Lily Potter 16 нояб. 2013 г., 11:06:19
24 ответов

Всякий раз, когда я или кого я знаю, ездили в Китай на работу, мы/я всегда вошел в по туристической визе. Обычно, нет никакого различия или разделения между двумя.

Так что с бизнес-визой, вы должны быть в состоянии, чтобы войти в страну и сделать некоторые туристические достопримечательности. Ничто не мешает путешествовать по стране. Кроме того, если вы имеете туристическую визу, вы можете путешествовать и вести какие-то дела.

Вот выдержка из этого сайта , чтобы подтвердить:

Виза выдается разрешение на въезд в страну с определенной целью: позволить поездку для отдыха или проведения бизнес-мероприятий. В общем, "туристической" визы выдаются специально для поездок на отдых, в то время как "бизнес" визу, как правило, позволяет путешественнику заниматься обычной бизнес-деятельности. Вам нужно сопроводительное письмо для подачи на бизнес-визу. Однако, существует отличительная черта между туристической визы и бизнес-визы. В другом слове, туристическая виза не будет препятствовать ведению бизнеса в Китае.

Надеюсь, что это помогает!

+950
Roy Endres 03 февр. '09 в 4:24

В Ибус предпочтения, хинди имеет 5 различных Имэс (редакторы метода ввода), некоторые из которых используются Англизированные схемы транслитерации.. т. е.. они используют ключи латинского алфавита на клавиатуре нам представляют полу-эквивалент звуков между двумя языками... китайская система английская транслитерация называется пиньинь', который доступен в Ибус...

Есть только один арабский IME, который появляется в Ибус (я использую осознанные 10.04).. это арабский IME используется исконно арабская клавиатура, которая бросает мне в спину, а я ни в коей мере знакомы с расположением, ни сценарий(пока)... есть ли такая вещь, как английская версия IME для арабского, в любом виде?.. например. Более поздние версии Ubuntu или в Emacs, и т. д., или некоторые другие конкретно-по-арабски программы?

+909
Bryce Schober 1 авг. 2016 г., 05:16:03

Я всегда форматировать флэшку в FAT32 (т. к. это только 4 ГБ, а также по тем же причинам, что ты выложил), и я установил Ubuntu LiveCD дистрибутивами на этом разделе. Поэтому, я бы сказал, что FAT32 будет вашим лучшим ставку. Это то, что я лично использую, и я никогда не сталкивалась с этим никаких проблем.

+884
wtoh 29 авг. 2013 г., 01:16:05

Что Mini должен работать единства просто отлично. (Гораздо лучше, чем в 10.10). См. здесь для получения дополнительной информации:

+881
Monika Diao 29 июн. 2014 г., 06:56:10

Мой брат и я планируем поездку в следующем году посетить наш дядя в Канаде, и провести часть времени в США.

На официальном онлайн форме ЭСТА программу, под названием раздела "Информация о рейсе", он спрашивает "Это ваше путешествие к нам, происходящие в транзите в другую страну?"

Я не знаю, должен ли я сказать да или нет на этот вопрос, потому что наш запланированный маршрут, который выглядит следующим образом:

В субботу

  • Лететь из Лондона в Сиэтл
  • Забрать аренда автомобиля в центре города Сиэтл и поездка на север
  • Найти мотель и переночевать (это может быть в США, может быть в Канаде)

В воскресенье

  • Ехать остаток пути, чтобы наши Airbnb в Канаде

В среду

  • Выехать в Канаду и вернуться в Сиэтл
  • Вернуть арендованный автомобиль и провести несколько дней в другом Airbnb в Сиэтле

В субботу

  • Улететь домой из Сиэтла в Лондон

Итак, несколько вопросов здесь:

Да мы едете в США по пути в другую страну, но мы могли бы остаться на ночь в нас в первую ночь, и если мы делаем, значит, мы на самом деле нет?

Когда мы приехали в США, я предполагаю, что они хотят знать, куда мы направляемся, и я боюсь, что они не удовлетворены нашим ответом, которое будет в основном "не знаю еще, может быть, проживающие в США, могут оказаться в Канаду"

Даже если мы говорим, что мы планируем остановиться в мотеле (в зависимости от стороны границы это может быть), они настаивают на зная, какой мотель?

+866
War Hammer 8 окт. 2012 г., 19:09:16

А не парсинг ЛС, вы можете использовать найти:

найти . -параметр maxdepth 1 -тип F ! -название ".*" | туалет -л

Это будет найти все файлы (типа F) в текущем каталоге (.) за исключением тех, кто начинает с . (! -название ".*") и сдать результат туалетом для подсчета строк.

Чтобы использовать его в качестве переменной в скрипте:

nfiles=$(найти . -параметр maxdepth 1 -тип F ! -название ".*" | туалет -л)
+851
Joshua Chisolm 22 окт. 2019 г., 06:16:25

Мы не используем пароль для учетной записи root в Ubuntu. Вместо этого, ты подставляла команду с sudo, так что вместо того, чтобы в/etc/инит.д/someservice начать, вы запустите команду sudo файл /etc/инит.д/someservice начать. Есть много преимуществ такого подхода. Во-первых, вы не должны быть корень, все время, но вместо того, чтобы выполнить команды от имени пользователя root. Это также означает, что каждая команда получает регистрируется и что разные пользователи могут запускать корневой команды без обмена паролем. Она также позволяет настраивать доступ. Вы можете разрешить пользователю запускать определенную команду как root, не давая полный доступ к учетной записи root.

+837
Ed Knowles 21 мая 2018 г., 11:37:52

Есть ли способ, чтобы отправить файл в терминале с одного Мака на другой? Если у меня есть файл на Mac, и я хочу, чтобы отправить его к Mac B через терминал на мак, как мне это сделать?

+824
Mark Dunham 7 сент. 2019 г., 19:47:55

Я хотел бы получить тот же вид папки для каждой папки, что означает, чтобы мои вещи всегда сортируются по типу, а затем по имени. это возможно с помощью Automator?

До сих пор, я установил мой взгляд через команду cmd+J в (просмотр списка, сортировка его по видам и название) и установить его в качестве "по умолчанию". Он просто задает вид по умолчанию для этой конкретной папки. Но я хочу, чтобы установить его для всех вложенных папках. Когда я изменить папку, Документы сортируются разные и не как я установить его по умолчанию для предыдущей папке перед...

Так что я пытался сделать рабочий процесс с помощью Automator, но он не работает. Или я просто не могу справиться с этой программой.

  1. Сначала я нажал на "рабочий процесс" (это верно или я должен выбрать другой значок?)
  2. определите автоматизации: "получить содержимое папок" --> "сортировка Искатель предметов" (тип) --> "сортировка товаров Искатель" (имя) --> "повторите для каждой вложенной папки нашли",

Вот как это выглядит: (SRY для Германии, но описание в (2)) enter image description here

--> Или можно ли делать это отдельно от автоматизаторов?

+759
pkj 18 июн. 2016 г., 07:10:11

Это безумие, я знаю, мой недавний эксперимент подарил мне незабываемые впечатления, я обычно использую Ubuntu в качестве установки Wubi, потому что это легко сделать резервную копию системы 10.10 и дать попробовать новые версии без каких-либо проблем.

Поэтому после того, как я загрузился в Ubuntu 10.10 я могу переименовать, переместить или вообще удалить мой корень файл в /узел/Убунту/диски каталог,то я загрузить мою 11.10 система напрямую переименовав текущий 10.10 и 11.10 корень файл копировать корень файл в тот же каталог,

Как это возможно, не Убунту полностью работать на оперативной памяти? или там кэшируется корень файл в другом месте? Я в замешательстве,

Мне кажется, я даже могу удалить мой жесткий диск, когда Ubuntu работает (если диск поменять, не включенными в один и тот же диск), но в Windows, это мечта!!!, как это возможно?

+704
Nikesh Shrestha 25 февр. 2018 г., 11:17:09

Я видел несколько рецептов, которые требуют использования "кошерная соль". Это смешно для меня, так как я очень хорошо знаю, что вся соль кошерная, и поэтому мне интересно, что я здесь отсутствует. В чем преимущество (и использует) кошерной соли в отличие от обыкновенной поваренной соли?

+699
98rttjh 30 сент. 2012 г., 04:32:10

Причин может быть очень простое решение этой. Вы говорите, что принтер уже работает с MacBook, верно? Затем просто клонировать конфиги оттуда!

В частности, визит http://localhost:631/ из браузера на вашем MacBook, который приведет вас к чашкам веб-админке. Вы должны быть в состоянии найти принтер и посмотреть, как он настроен в Cups на MacBook и настройка принтера таким же образом, на ваш 18 коробка Федора должны дать ему гораздо больше шансов на работу.

+697
pbu 17 авг. 2010 г., 00:59:58

Я купил отремонтированный вкладке Галактики Samsung работает Андроид 2.3.5

  1. Отсутствует приложение Маркет на телефоне.
  2. Когда я попаду на рынке непосредственно, это только показывает мою Iconia и я уже скачал все есть, что я также хочу, чтобы на моем Galaxy.
  3. Когда мне говорят войдите в аккаунт Google, он говорит, что я не могу добавить эту учетную запись, это уже есть. Я не пытаюсь добавить его, я пытаюсь войти через систему Google.
  4. Skype не скачать, либо.
+578
blamblam 2 дек. 2014 г., 12:18:16

У меня есть опция в BIOS, чтобы отключить все USB-порты. Я отключил камеру, микрофон и Bluetooth.

Из соображений безопасности это хорошо, чтобы отключить USB-порты. Многие компании делают это. Однако, если вы хотите сделать это в Linux есть драйвер под названием "USB-накопитель". Попробуйте удалить его, или, если это невозможно, попробовать, запрещающий это (это исключение).

Как сказал в обсуждении, попробовать заблокировал его. Перейдите в файл/etc/команды modprobe.д/игнор.конф и добавить черного списка USB-накопители

См. обсуждение в openSUSE: https://forums.opensuse.org/showthread.php/441492-how-to-disable-usb-storage

+527
GeekedOut 23 сент. 2011 г., 02:32:09

Если желания не имеют отверстие для ремешка, то, возможно, вы могли бы найти чехол для телефона, который есть крепления для ремешка на шею.

Если нет такого случая, вы сможете найти дешевые силиконовый чехол, и пробить дыру в нем.

Кроме того, если вы надевает пояс, в некоторых случаях телефон крепится на пояс.

+485
Nickool 7 июн. 2013 г., 18:17:08

В официальном сообщении для второго фильма заявил:

""第3期シリーズ"として発表しておりましたが、この度シリーズ作品ではなく...2014年に劇場公開することが大決定しました!!"

"Хотя мы ранее сказали, что будет третья серия [сезон], на этот раз , вместо серии...в 2014 году было решено, что там будет в кинотеатрах!"

Третий сезон телевизионного аниме было ранее обещано в марте 2012 года выпуск "月刊少年エース" (Gekkan сенен-Туз) журнал, но фильм анонс исправляет то, что не будет никаких дальнейших аниме. Второй фильм-это замена на три сезона.

+310
Mathias Brandt 25 янв. 2012 г., 04:49:08

Я теоретически могу ответить на мой собственный вопрос, хотя я не уверен на 100%: как это повлияет на вкус.

Да, вы можете.

Когда проводил исследование, я увидел, что реакция Майяра преформ гораздо более быстро на более высоком РН. Согласно этой статье, делает реакцию более базовых оживляет Браунинг процесс. Как отмечается, увеличивая скорость, с которой он Браунс увеличивает количество реакций, которые происходят, увеличивается сила аромата. Но, можно предположить, что обратное является истиной, и что снижение скорости может уменьшить общий вкус котлет. Конечно, это зависит от вкуса уксуса.

Автор переходит к государству других путей для изменения реакции Майяра, о том, как часто люди по незнанию делают благоприятные условия для реакции Майяра происходит, и как это может сильно влияние результата ваша пища. Довольно интересно.

Я не уверен, если это широко используемый метод (либо ускорить или замедлить реакцию), но если кто знает шеф-повар или если они лично использую этот метод, я хотел бы услышать, с какой ситуации вы используете его для.

+233
user3707106 19 мая 2017 г., 11:53:00

Издатель Microsoft довольно легко использовать, если вы привыкли работать с MS Office уже (особенно в программе PowerPoint). Это поможет вам некоторые основные проверки, например, что изображения, которые вы включите иметь достаточное разрешение, вы работаете в правильном цветовом пространстве, ...

+216
ridoyung 19 сент. 2021 г., 23:22:14

Честно говоря, ничего не будут счастливы в такой маленький танк. У меня нет опыта с морскими звездами и crusacean, но быстрый поиск Google показывает, что они требуют больше танков.

Если вы заинтересованы в создании аквариума с животными, то вам, вероятно, нужно около 20л. Затем вы можете начать с креветками или один Бетта

+188
Rahul Makwana 8 сент. 2021 г., 02:51:15

В то время как вы получите номера с таким вопросом, они ничего не значат. Это такой вопрос, что люди, естественно, склоняются в сторону "положительного отношения" независимо от их фактического отношения. Второй способ также поможет вам потенциально противоречивые результаты.

Вместо этого вам нужен набор вопросов, которые будут честно ответил, может реагировать на сценарии, и из которого можно вывести отношение.

Спрашиваю "Ты умный?" становится просто шумом. Некоторые люди отвечают противоположное тому, что они на самом деле по ряду психологических причин.

+147
Dhiroo Bilisumma 13 мая 2020 г., 04:13:35

Это не так просто, чтобы проверить, если он работает без программы Java и среде Windows.

Однако в настройки > Клавиатура есть флаг использовать все клавиши F1, F2 и т. д. ключи как стандартные функциональные клавиши. Если вы проверить это, вы должны нажать клавишу Fn+FX и использования специальные функции напечатано на Форекс ключи.

Keyboard settings

На моей системе (горный лев), если этот флаг снят ФН+контроль+Ф4 производит эффект, который вы сообщили: поворот через приложения. Это ярлык, упомянутые в ответе Лаури Ранта по. Когда я проверяю флаг комбинация клавиш не произведены указанные вращение. Вы можете попробовать, чтобы снять его.

Если ваша проблема сохраняется, вы можете попробовать переназначить ярлык в Windows, таким образом вы можете назначить команды, связанные с ФН+управления+Ф4 на другую комбинацию, которая не используется под ОС Х.

В этот вопрос на суперпользователя , они сказали, что это не возможно, чтобы изменить сочетания клавиш Ctrl ярлыки под обозрение. Однако они предлагают воспользоваться AutoHotkey, чтобы назначить скрипт, который отправляет сочетание клавиш Ctrl+F4 и в Outlook при нажатии другой комбинации клавиш (которые можно решить). Здесь вы можете найти более подробную информацию.

+122
kheftel 28 июн. 2013 г., 19:04:01

Вы получаете ровно 3 жизни независимо от того, сколько ваших перманентов покинул поле битвы в этом ходу (как минимум один).

Ваше недоумение как вы описываете все сводится к: "я ожидаю, что эта формулировка означает {вещь}. Но если это действительно означало {вещь} я ожидал его, чтобы использовать другой редакции вместо." Путаница, как это часто предупреждение флаг, ты неправильно понял карту, и нужно было еще раз проверить его. MTG карты означает именно то, что говорят, — если это означает "для каждого постоянного" он бы так сказал.

В эфир восстание выпуске заявить следующее под заголовком Новое слово способности: восстание:

  • Бунт способности проверить только ли вы постоянным контролем покинул поле битвы в этом ходу или нет. Они не используются несколько раз, если больше, чем один постоянный вы контролировали покинул поле боя. Они не проверяют ли перманент, покинули поле боя еще в зоне он переехал.
+91
frazier k 12 мар. 2011 г., 18:26:29

Правильное расположение может быть либо ~/библиотеки/application поддержки/Diablominer или ~/.diablominer

Конечно, это может быть в неверном расположении. Супер мясо мальчик, например, хранит свою конфигурацию внутри .само приложение (бррр). Там регистрация у вас есть, чтобы щелкните правой кнопкой мыши на приложение и "показать содержимое пакета".

Лучший способ найти этот конфигурационный файл, если вы уже знаете хотя бы название файла, кастинг найти ~ -имя, надеясь, что хотя бы где-нибудь в вашем домашнем каталоге.

+77
user5288 25 янв. 2010 г., 12:07:18

Часто я нажмите кнопку Домой, чтобы закончить приложение не отвечает, с намерениями запуска приложения резервного копирования. Однако, когда я открываю резервную копию приложений, она всегда на первой странице, а не страница я был раньше о, что это пустая трата времени. Есть ли параметр, который может изменить это так, что последнее посещение будет возобновлено? (LG нексус 5, работает Android 4.4.4) извините за ужасный вопрос, я знаю, что это просто способ, которым вещи, но это может раздражать. Возможно, если это не возможно, чтобы изменить это, я буду иметь, чтобы получить в привычку поиск приложений с помощью "Google сейчас" на моем домашнем экране, но, в то же время, я буду ждать и видеть. Спасибо за любой вклад.

Редактировать: я новичок в этом, так что я может с метками что-то неактуальное или разместил свой вопрос в неправильном месте и т. д.

+26
Sagar awasthi 12 мар. 2012 г., 08:15:15

Показать вопросы с тегом