DEDE采集的自定义采集高级技巧

DEDE采集的自定义采集高级技巧

dede系统自带的采集器其实相当强大，特别是整个dede系统是完全开源的，即使有些采集上的特殊需求，只要对PHP的基本语言有掌握的话，也可以轻意实现。

要实现特殊的采集要求，内容规则里有一个自定义处理接口非常关键。
比如说，你要在每篇采集文章正文前加一个前言，前言的内容是正文的前100个字，应该怎么做呢？
首先，需要定义好文章内容的采集规则，保证最后得到的只是文章的正文（这属于最基本的东西，不再说明）
然后，就需要在自定义处理接口里写一段程序：

以下为引用的内容：
@me='前言：'.substr(@me, 0, 200).'<br><br>'.@me

其中，因为汉字是双字节的，所以200个字节表示100个汉字，另外，如果正文里混有其它html代码的话，还需要调整一下字节数。以上代码中'前言：'和'<br><br>'只是一个最基本的美工修饰，让前言和文章主体分离。

通过以上一段代码，所有采集的文章都会自动加上一个前言，这是一个最简单的例子了。

现在举一个复杂些的例子，需要修改源代码。
假设，你现在需要在文章正文处贴上文章来源的网址，比如说你从

以下为引用的内容：
//---------------------------------
//用扩展函数处理采集到的原始数据
//-------------------------------
function RunPHP($fvalue,$phpcode)
{
$DedeMeValue = $fvalue;
$phpcode = preg_replace("/'@me'|\"@me\"|@me/isU",'$DedeMeValue',$phpcode);
if(eregi('@body',$phpcode)){
$DedeBodyValue = $this->tmpHtml;
$phpcode = preg_replace("/'@body'|\"@body\"|@body/isU",'$DedeBodyValue',$phpcode);
}
if(eregi('@litpic',$phpcode)){
$DedeLitPicValue = $this->breImage;
$phpcode = preg_replace("/'@litpic'|\"@litpic\"|@litpic/isU",'$DedeLitPicValue',$phpcode);
}
@eval($phpcode.";");
return $DedeMeValue;
}

这里定义了默认的几个预定变量
现在我们要增加一个@url
因此上一段就要改成：

以下为引用的内容：
function RunPHP($fvalue,$phpcode, $dourl=false)
{
$DedeMeValue = $fvalue;
$phpcode = preg_replace("/'@me'|\"@me\"|@me/isU",'$DedeMeValue',$phpcode);
if(eregi('@body',$phpcode)){
$DedeBodyValue = $this->tmpHtml;
$phpcode = preg_replace("/'@body'|\"@body\"|@body/isU",'$DedeBodyValue',$phpcode);
}
if(eregi('@litpic',$phpcode)){
$DedeLitPicValue = $this->breImage;
$phpcode = preg_replace("/'@litpic'|\"@litpic\"|@litpic/isU",'$DedeLitPicValue',$phpcode);
}
if(eregi('@url',$phpcode)){
$DedeUrlValue = $dourl;
$phpcode = preg_replace("/'@url'|\"@url\"|@url/isU",'$DedeUrlValue',$phpcode);
}
@eval($phpcode.";");
return $DedeMeValue;
}
 

 

注意，为了给@url传递值，我们在函数的参数里增加了一个参数$dourl=false，因此还需要在调用这个函数的地方改一下（$dourl=false表示该参数并不是必须的，一般调用时可以不用此参数）
找到如下代码：

以下为引用的内容：
//用户自行对内容进行处理的接口
if($sarr["function"]!=""){
if(!eregi('@litpic',$sarr["function"])){
$v = $this->RunPHP($v,$sarr["function"]);
$artitem .= "{dede:field name='$k'}$v{/dede:field}\r\n";
}else{
$tmpLtKeys[$k]['v'] = $v;
$tmpLtKeys[$k]['f'] = $sarr["function"];
}

 

把其中的

以下为引用的内容：
$v = $this->RunPHP($v,$sarr["function"]);

 

改成：

以下为引用的内容：
$v = $this->RunPHP($v,$sarr["function"], $dourl);

就可以了，至此源代码全部修改完毕。
要使用这个新的变量@url很简单
比如说，在文章内容的自定义处理接口里写下：
以下为引用的内容：
@me=@me.'<br><br>文章来源：'.@url

就可以了

http://www.zuola.net/采集到一篇文章，现在你需要在文章正文显示这个网址，怎么做呢？
这个需求可能大家遇上的不多，但举一反正，其它类似的需求也就有解决的思路了。
我们注意到，在自定义处理接口的右边有@body，@litpic，@me三个预定变量，分别表示原始网页，缩略图、当前标记值和最终结果。那么我们现在要再增加一个变量@url，表示当

前文章的网址。要做到这个功能，就必须改源代码。
只需改一个文件就可以了，即：include目录下的pub_collection.php（注意，这里使用的是DEDE4.0版本）