- 1
- 2
for i in `seq 1 10000`; do echo $i; done | parallel --gnu sh -c ':;echo {}; python getreq.py {} >olymp-{}.html'
(for i in olymp-*.html; do echo `md5sum $i`; done) | sort | awk '{ print $2, $1 }' | uniq -f 1 | awk '{ print $1 }' | xargs -I{} -n 1 sh -c ":;(cat {} | egrep -o 'question__section-name.*?</div>' | sed 's/question__section-name\">//g' | sed 's/<\/div>//g' | tr -d '\n'); echo \ {}" | sort | awk '{ print $(NF)}' | xargs -I{} -n 1 cat {} >>total2.html
Скачал все задачки универсиады и собрал в один файлик.
Смотреть страшно
bormand 25.03.2015 06:14 # +1
heyzea1 25.03.2015 12:25 # 0
bormand 25.03.2015 12:32 # +2
heyzea1 25.03.2015 14:53 # 0
Dummy00001 25.03.2015 12:33 # 0
ЗЫ про uniq -f не знал.
bormand 25.03.2015 12:35 # 0
Dummy00001 25.03.2015 12:43 # +1
allocator 25.03.2015 12:48 # 0
Меня больше удивило поведение parallel
$ echo 1 | parallel --gnu sh -c 'echo {}'
$ echo 1 | parallel --gnu sh -c ':;echo {}'
1
первая команда выводит пустоту, вторая работает отлично.
Dummy00001 25.03.2015 12:55 # 0
если мне что надо параллелить (редко) то я как правило просто бью на части, и части секвенциально запускаю (`&` + `wait`). для run-once батчей, +/-5 минут большой роли не играют.
Dummy00001 25.03.2015 12:57 # +2
блин, в конце стоит самый сочный Г!
конкатенация катов!