【智能模式】【流程图模式】如何设置Webhook功能

2023年9月5日 48点热度 0人点赞 0条评论

后羿采集器支持Webhook功能,通过使用该功能,后羿采集器可以将采集到的数据实时发布到用户的HTTP地址,用户需要自行开发Webhook接收端代码

Webhook的设置在启动任务的设置中,具体如下图所示:

开启Webhook功能之后,采集到的数据将以JSON格式进行发送。在任务采集结束时会发送一个采集结束的事件通知。

Webhook以HTTP POST的方式发送数据到用户的HTTP地址。

HTTP Header为"Content-Type: application/json; charset=utf-8"。

Webhook TokenTimestamp做md5运算后的结果可以与JSON数据的“sign”签名做校验,用来校验数据是否合法。

发送数据示例:

{
"task_id": 3920415,   // 采集任务ID,可在“全部任务列表”中查看
"task_name": "Task Name",   // 采集任务名称
"type": "data", // 此次webhook发送的是采集到的数据
"urls": [ // 采集任务的入口地址
"http://www.88888.com/list",
"http://www.88888.com/list2"
],
"sign": "**********************",   // 签名算法为 md5(webhook_token+timestamp)
"timestamp": 1555326657,   // 当前时间戳
"data_list": [   // 采集数据列表
{
"_id": "0000000000001",   // 数据ID
"data": {
"title": "风景",
"url": "http://www.*****.com/scenery/"
}   // 采集字段内容
},
{
"_id": "0000000000002",   // 数据ID
"data": {
"title": "风景2",
"url": "http://www.*****.com/scenery2/"
}   // 采集字段内容
}
]
}

发送采集结束通知示例:

{
"task_id": 3920415, // 采集任务ID,可在“全部任务列表”中查看
"task_name": "Task Name", // 采集任务名称
"type": "finish", // 此次webhook发送的是采集结束的通知
"urls": [ // 采集任务的入口地址
"http://www.88888.com/list",
"http://www.88888.com/list2"
],
"sign": "**********************", // 签名算法为 md5(webhook_token+timestamp)
"timestamp": 1555326657 // 当前时间戳
}

365crawadmin

这个人很懒,什么都没留下

文章评论

您需要 登录 之后才可以评论