DEDE采集的自定义采集高级技巧

DEDE采集的自定义采集高级技巧

dede系统自带的采集器其实相当强大,特别是整个dede系统是完全开源的,即使有些采集上的特殊需求,只要对PHP的基本语言有掌握的话,也可以轻意实现。

要实现特殊的采集要求,内容规则里有一个自定义处理接口非常关键。
比如说,你要在每篇采集文章正文前加一个前言,前言的内容是正文的前100个字,应该怎么做呢?
首先,需要定义好文章内容的采集规则,保证最后得到的只是文章的正文(这属于最基本的东西,不再说明)
然后,就需要在自定义处理接口里写一段程序:

以下为引用的内容:
@me='前言:'.substr(@me, 0, 200).'<br><br>'.@me


其中,因为汉字是双字节的,所以200个字节表示100个汉字,另外,如果正文里混有其它html代码的话,还需要调整一下字节数。以上代码中'前言:'和'<br><br>'只是一个最基本的美工修饰,让前言和文章主体分离。

通过以上一段代码,所有采集的文章都会自动加上一个前言,这是一个最简单的例子了。

现在举一个复杂些的例子,需要修改源代码。
假设,你现在需要在文章正文处贴上文章来源的网址,比如说你从

以下为引用的内容:
//---------------------------------
//用扩展函数处理采集到的原始数据
//-------------------------------
function RunPHP($fvalue,$phpcode)
{
$DedeMeValue = $fvalue;
$phpcode = preg_replace("/'@me'|\"@me\"|@me/isU",'$DedeMeValue',$phpcode);
if(eregi('@body',$phpcode)){
$DedeBodyValue = $this->tmpHtml;
$phpcode = preg_replace("/'@body'|\"@body\"|@body/isU",'$DedeBodyValue',$phpcode);
}
if(eregi('@litpic',$phpcode)){
$DedeLitPicValue = $this->breImage;
$phpcode = preg_replace("/'@litpic'|\"@litpic\"|@litpic/isU",'$DedeLitPicValue',$phpcode);
}
@eval($phpcode.";");
return $DedeMeValue;
}


这里定义了默认的几个预定变量
现在我们要增加一个@url
因此上一段就要改成:

以下为引用的内容:
function RunPHP($fvalue,$phpcode, $dourl=false)
{
$DedeMeValue = $fvalue;
$phpcode = preg_replace("/'@me'|\"@me\"|@me/isU",'$DedeMeValue',$phpcode);
if(eregi('@body',$phpcode)){
$DedeBodyValue = $this->tmpHtml;
$phpcode = preg_replace("/'@body'|\"@body\"|@body/isU",'$DedeBodyValue',$phpcode);
}
if(eregi('@litpic',$phpcode)){
$DedeLitPicValue = $this->breImage;
$phpcode = preg_replace("/'@litpic'|\"@litpic\"|@litpic/isU",'$DedeLitPicValue',$phpcode);
}
if(eregi('@url',$phpcode)){
$DedeUrlValue = $dourl;
$phpcode = preg_replace("/'@url'|\"@url\"|@url/isU",'$DedeUrlValue',$phpcode);
}
@eval($phpcode.";");
return $DedeMeValue;
}
 

 


注意,为了给@url传递值,我们在函数的参数里增加了一个参数$dourl=false,因此还需要在调用这个函数的地方改一下($dourl=false表示该参数并不是必须的,一般调用时可以不用此参数)
找到如下代码:

以下为引用的内容:
//用户自行对内容进行处理的接口
if($sarr["function"]!=""){
if(!eregi('@litpic',$sarr["function"])){
$v = $this->RunPHP($v,$sarr["function"]);
$artitem .= "{dede:field name='$k'}$v{/dede:field}\r\n";
}else{
$tmpLtKeys[$k]['v'] = $v;
$tmpLtKeys[$k]['f'] = $sarr["function"];
}

 

把其中的

以下为引用的内容:
$v = $this->RunPHP($v,$sarr["function"]);

 

改成:

以下为引用的内容:
$v = $this->RunPHP($v,$sarr["function"], $dourl);

就可以了,至此源代码全部修改完毕。
要使用这个新的变量@url很简单
比如说,在文章内容的自定义处理接口里写下:
以下为引用的内容:
@me=@me.'<br><br>文章来源:'.@url

就可以了


http://www.zuola.net/采集到一篇文章,现在你需要在文章正文显示这个网址,怎么做呢?
这个需求可能大家遇上的不多,但举一反正,其它类似的需求也就有解决的思路了。
我们注意到,在自定义处理接口的右边有@body,@litpic,@me三个预定变量,分别表示原始网页,缩略图、当前标记值和最终结果。那么我们现在要再增加一个变量@url,表示当

前文章的网址。要做到这个功能,就必须改源代码。
只需改一个文件就可以了,即:include目录下的pub_collection.php(注意,这里使用的是DEDE4.0版本)