后羿采集器支持Webhook功能,通过使用该功能,后羿采集器可以将采集到的数据实时发布到用户的HTTP地址,用户需要自行开发Webhook接收端代码。
Webhook的设置在启动任务的设置中,具体如下图所示:
开启Webhook功能之后,采集到的数据将以JSON格式进行发送。在任务采集结束时会发送一个采集结束的事件通知。
Webhook以HTTP POST的方式发送数据到用户的HTTP地址。
HTTP Header为"Content-Type: application/json; charset=utf-8"。
用Webhook Token和Timestamp做md5运算后的结果可以与JSON数据的“sign”签名做校验,用来校验数据是否合法。
发送数据示例:
{
"task_id": 3920415, // 采集任务ID,可在“全部任务列表”中查看
"task_name": "Task Name", // 采集任务名称
"type": "data", // 此次webhook发送的是采集到的数据
"urls": [ // 采集任务的入口地址
"http://www.88888.com/list",
"http://www.88888.com/list2"
],
"sign": "**********************", // 签名算法为 md5(webhook_token+timestamp)
"timestamp": 1555326657, // 当前时间戳
"data_list": [ // 采集数据列表
{
"_id": "0000000000001", // 数据ID
"data": {
"title": "风景",
"url": "http://www.*****.com/scenery/"
} // 采集字段内容
},
{
"_id": "0000000000002", // 数据ID
"data": {
"title": "风景2",
"url": "http://www.*****.com/scenery2/"
} // 采集字段内容
}
]
}
发送采集结束通知示例:
{
"task_id": 3920415, // 采集任务ID,可在“全部任务列表”中查看
"task_name": "Task Name", // 采集任务名称
"type": "finish", // 此次webhook发送的是采集结束的通知
"urls": [ // 采集任务的入口地址
"http://www.88888.com/list",
"http://www.88888.com/list2"
],
"sign": "**********************", // 签名算法为 md5(webhook_token+timestamp)
"timestamp": 1555326657 // 当前时间戳
}
文章评论