基于Java的低代码主题爬虫的设计与实现

打开文本图片集

摘要：网页数据提取是人工智能与大数据相关课题学习与研究的一项重要内容。为了减轻编写主题网络爬虫程序工作，该文在主题爬虫的基础原理上，设计一套通用的Java爬虫程序。程序抽象了下载模块、内容处理模块和结果操作等核心内容，通过注解或xml配置等低代码方式，即可实现不同主题内容爬取工作。

关键词：大数据；Java；主题爬虫；低代码

中图分类号：TP311      文献标识码：A

文章编号：1009-3044（2022）30-0033-03

开放科学（资源服务）标识码（OSID）：

1 引言

大数据与人工智能是国家高度重视的热门研究领域[1]。（剩余7464字）