在多台Debian/Ubuntu上利用Oropo处理海量图片[Linux安全]
本文“在多台Debian/Ubuntu上利用Oropo处理海量图片[Linux安全]”是由七道奇为您精心收集,来源于网络转载,文章版权归文章作者所有,本站不对其观点以及内容做任何评价,请读者自行判断,以下是其具体内容:
你能否曾经有过有许很多多的图片数据要处理?而处理这些数据在一台电脑上需求耗费很长的时间才能处理完成.假如我们利用两台,三台乃至更多的电脑并行处理这些数据,那将会节俭很多很多的时间.既然能节俭大量的时间,那就让我们用多台电脑在Debian/Ubuntu上一同处理吧.你能否定为让多台电脑协同工作需求复杂的系统配置?在Oropo眼前,你那过期的设法就是NO.下面让我们看看配置有多么的简单.
没有实际例子是很难说清楚配置历程的.就让我们从处理海量图片的实例来阐明问题吧.第一种办理此问题的办法是在一台电脑上日以继夜的处理这些图片;第二种办理办法例是在多台电脑上平行批量处理这些图片.
问题描写:
要处理一万张图片,并且每张图片都有很高的品质,目标是为每张图片成立一个体积较小的副本.而libjpeg库为这个问题供应了得当的办理筹划.
libjpeg库中有效的程序:
djpeg - 将JPEG文件解压成位图文件
cjpeg - 将位图文件紧缩成JPEG文件
脚本合适处理单个图片
参数: 图片文件途径
后果: 生成体积较小的图片
下面是bash典范脚本:
Script make_smaller.sh
#!/bin/bash
QUALITY=30
if [ $# -ne 1 ]; then
echo "arguments" 1>&2
exit 1;
fi
FILE_PATH=$1
djpeg $FILE_PATH | cjpeg -quality $QUALITY
次序处理:
调用make_smaller.sh脚本将次序处理每张图片
次序处理脚本
#!/bin/bash
MAKE_SMALLER=$PWD/make_smaller.sh
IMGS_DIR=$PWD/imgs
TARGET_DIR=$PWD/imgs_smaller
for file in $IMGS_DIR/*; do
bash $MAKE_SMALLER $file > $TARGET_DIR/${file##*/}
done
并发处理:
我们可以利用Oropo Executor system来处理这些图片.www.linuxidc.com处理图片的任务将会增添到一给任务行列,然后在多台电脑上并行处理这些任务.每张图片城市被make_smaller.sh脚本处理.
并行处理脚本:
#!/bin/bash
MAKE_SMALLER=$PWD/make_smaller.sh
IMGS_DIR=$PWD/imgs
for file in $IMGS_DIR/*; do
oropo-system-pusher -p "string:bash" -p "path:$MAKE_SMALLER" -p "path:$file"
done
处理后果存放在 /var/lib/oropo/response/*/0 文件中
以上是“在多台Debian/Ubuntu上利用Oropo处理海量图片[Linux安全]”的内容,如果你对以上该文章内容感兴趣,你可以看看七道奇为您推荐以下文章:
本文地址: | 与您的QQ/BBS好友分享! |