企业名录垂直搜索系统的设计与实现

网络信息资源急速膨胀,促进企业信息化的建设迅速发展。海量企业信息迅速涌入网络市场,使得通用搜索导致的数据准确性问题日渐突出,用户难以对所需的企业信息进行快速定位与检索。因此,如何更为快捷、高效、精准的获取并提供专业的企业信息已成为亟待解决的问题。文章描述的"企业垂直搜索系统",主要利用网络爬虫技术对互联网中分散的企业信息进行结构化抽取与综合管理,为用户快速定位所需的企业信息,搭建起专业高效的企业信息检索平台。     

企业名录垂直搜索系统的设计与实现

网络信息资源急速膨胀，促进企业信息化的建设迅速发展。海量企业信息迅速涌入网络市场，使得通用搜索导致的数据准确性问题日渐突出，用户难以对所需的企业信息进行快速定位与检索。因此，如何更为快捷、高效、精准的获取并提供专业的企业信息已成为亟待解决的问题。文章描述的“企业垂直搜索系统”，主要利用网络爬虫技术对互联网中分散的企业信息进行结构化抽取与综合管理，为用户快速定位所需的企业信息，搭建起专业高效的企业信息检索平台。     

网络爬虫技术在获取及分析审计证据中的应用研究——以金正大为例

随着信息技术的快速发展，各行各业已进入大数据时代。审计作为一个数据密集型行业，如何运用科学的工具对大数据进行抽丝剥茧，以高效获取审计证据已经成为近期国内的热点。文章首先阐述了在大数据的影响下审计过程中各环节的变化，在此基础上，分析了网络爬虫技术在审计证据挖掘与分析过程中的原理。最后，以金正大审计为例，分析爬虫技术是否可实现高效获取和分析审计证据。研究结果表明，爬虫技术可运用于大数据审计中，有效帮助审计人员，提高审计效率。     

个人用户专用搜索引擎的设计与实现

本文分析了现有的搜索引擎技术,提出构建面向个人用户的专用搜索引擎的设计思想。在该专用搜索引擎中,由用户指定网络爬虫程序抓取的站点集,在用户设定的关键词集和要查询的文档格式的基础上,进行有针对性的搜索,提高了搜索引擎的效率,为用户提供个性化的搜索服务。     

基于Bloom Filter的网络爬虫URL消重算法研究

针对网络大量重复页面,本文研究基于Bloom Filter的网络爬虫URL地址消重算法。首先,本文对Bloom Filter算法进行了分析研究;其次,本文应用Bloom Filter算法设计并实现了网络爬虫的URL消重;最后,论文采用URL消重率和爬虫爬取某类网站所用时间等性能指标,对基于遍历法和基于MD5算法的URL消重性能与基于Bloom Filter的消重性能做了对比。实验证明,基于Bloom Filter的网络爬虫URL地址消重算法效率较高。     

基于网络爬虫的上市公司交易数据共享平台设计

本文基于网络爬虫原理,结合文本分析技术,设计了一个上市公司交易数据共享平台(Sharing Platform for Listed Company Trade Data,SPLCTD)。平台能够自动从网络获取A股上市公司的基础信息、交易数据。经过规范化处理,储存到数据库中后,交易数据通过网络服务接口,共享给终端用户,为量化分析、自动化交易、交易策略等相关研究者提供了便捷的数据获取渠道。     

基于主题爬虫的网络零售竞争情报系统研究

针对当前网络零售业在线商品品种繁多、同质化严重、竞争情报收集困难的现状,利用当前流行的主题爬虫技术,建立网络零售竞争情报系统。系统能自动搜集指定竞争对手和指定领域内在线商品的实时信息,并能智能扩展或缩小收集范围。系统为商家提供及时准确的竞争情报,并起到很好的辅助决策作用。     

基于爬虫数据的粮油网络零售价格指数构建

随着网络零售市场的发展与新冠肺炎疫情的不间断流行,粮油网络零售市场已成为居民购买粮油商品的新渠道。通过对淘宝平台的粮油商品零售数据进行爬虫抓取,进而再引入朴素贝叶斯算法建立分类模型对网络粮油商品进行分类,从而提出一种粮油网络零售价格指数构建方案,其可为其他电商平台的各类商品零售数据抓取、价格指数构建和监控提供应用基础。通过淘宝平台的粮油网络零售价格指数构建结果可知,粮油网络零售价格指数与其类目下的大米、面粉、杂粮和食用油网络零售价格指数在各期的价格走势并不相同,因此若电商平台的供需双方想要更加精细地了解网络粮油商品的价格走势,则需对网络粮油类目下的二级类目商品独立研究。     

基于关键词和支持向量机的财务大数据爬虫

从互联网上获取信息进行分析,已经成为人们进行决策的重要手段。有效地从海量数据中获取正确的目标信息是当前的重点和难点问题。通用搜索引擎检索的结果由于主题相关性不强,无法满足特定用户的需求。文章在改进SVM参数寻优算法的基础上,提出了结合关键词过滤算法和适用于大数据分类的支持向量机算法,并利用设计的财务管理相关主题信息分类算法,构建了财务管理相关主题爬虫系统。实验结果表明,基于关键词与改进支持向量机的财务管理主题相关爬虫能有效地采集目标信息,能够较好地适用于财务管理舆情管理和财务管理危机管理等相关领域。     

基于Selenium和遗传算法的配送路径优化研究——以HFZ便民直销店为例

生鲜农产品小批量、保质期短等特性和拥堵的城市交通对配送效率提出更高的要求。文章针对生鲜农产品配送路径优化问题,以HFZ便民直销店为例,首先利用Selenium工具进行网络爬虫,在百度地图里查找63个便利店和1个配送中心之间的最短路线,然后设计考虑时间窗因素的生鲜农产品配送路径优化模型。最后通过对比分析,表明基于Selenium和遗传算法得出的结果具有显著优势。     

基于情感词识别网络负面舆情的信息通报技术研究

本文探索舆情监测系统的设计与实现,研究舆情爬虫Heritrix技术,爬取互联网舆情数据;专注文本情感词技术,基于How Net提供的基础情感词库判别互联网舆情数据的情感取向,发现负面情感倾向的互联网舆情;研究工作流引擎技术,基于JBPM工作流引擎技术实现自动化的信息通报,将通报流程工作和业务工作剥离,降低开发者的工作量。     

面向微博的品牌评价系统的设计与实现

本文设计并实现了一个面向微博的品牌评价系统。用户可以通过系统方便地获取网络上相关的品牌信息,挖掘出网友对该品牌口碑评价的信息,并获得这些评价信息的好评、差评相关结果,了解某个品牌在网络上的声誉度。     

网络环境下图书馆用户研究探讨

计算机技术和网络技术的迅速发展和普及对图书馆的发展造成了巨大挑战,图书馆用户的类型、用户意识和对信息资源和服务的要求等都与过去有很大不同。本文分析了网络环境下图书馆用户的新变化,提出了应对措施即提倡以人为本的服务理念,加强用户研究、优化资源、开拓服务、扩展用户。     

基于Python的专业网络爬虫的设计与实现

网络爬虫,又称网页蜘蛛、网络机器人。随着计算机技术的高速发展,互联网中的信息量越来越大,搜索引擎应运而生。传统的搜索引擎会有返回结果不精确等局限性。为了解决传统搜索引擎的局限性,专用型网络爬虫在互联网中越来越常见。同时,专用型网络爬虫具有专用性,可以根据制定的规则和特征,最后只体现和筛选出有用的信息。     

基于Web的网络账务系统的设计与实现

随着当前经济的不断发展,财务管理已经被越来越多的人所重视,在网络迅猛发展的前提下,网上财务管理已经进入到个人、家庭等领域。文章所实现的网络记账系统,在于不同阶层的用户能够更加方便、快捷地管理自己的财务状况。该系统从用户的角度出发,以快速流水账、分别记账等多种记账方式来方便用户管理,实现图文并茂、购物计划等功能,极大地方便了用户,节省了用户的时间,进而促进了经济的快速发展。     

图书馆电子信息资源的开发和管理

随着计算机网络技术的不断发展,电子出版物的应用也越来越广,它从根本上改变了图书馆的组织结构和服务模式,图书馆可以利用网络更方便地为用户提供信息资源。本文简单介绍了图书馆电子的信息资源,并对其管理工作提供了一些参考意见。     

基于PKI技术的电子商务网站单点登录的解决方案

在企业传统的账号管理中,由于缺乏统一的身份认证、资源授权和认证机制,使企业信息系统的安全管理效率无法提高,系统的安全受到威胁,系统管理成本居高不下,无法适应企业业务快速发展和网络规模不断扩大的现状,因此需要根据企业的身份管理现状,研究集中统一的用户身份管理技术和平台,使得系统和安全管理人员可以对信息系统的用户和各种资源进行集中管理、权限分配和认证,从技术上保证信息系统安全策略的实施.     

基于本体的气象领域聚焦爬虫

本文提出了基于本体的气象领域聚焦爬虫,首先利用Protégé工具构建气象领域本体,将本体作为领域知识库引入到聚焦爬虫中,然后,利用本体中的概念和概念关系判断所抓取的网页是否与气象领域相关,大大提高了抓取相关网页的准确度。最后,通过实验对整个爬虫进行验证。实验结果表明,本文所提出的实现方法在抓取气象领域网页信息方面是有效的。     

基于SARIMA时间序列模型的区域快递需求预测——以江苏省为例

随着经济飞速发展,我国快递业务量逐年上升,快递业的发展水平成为衡量区域经济和社会发展的重要指标。文章通过爬虫技术获取2016年1月—2022年11月江苏省的快递业数据,通过Anaconda平台使用季节性差分自回归滑动平均模型(Seasonal Autoregressive Integrated Moving Average,简称SARIMA)对获取的数据进行分析。考虑到原始数据为非平稳时间序列,进行差分处理和参数分析,最终确定模型为SARIMA(1,1,1)(0,1,2)12,结果表明该模型的数据拟合较好。通过模型对2022年12月—2023年5月的快递量进行预测。文章认为,预测模型的数据能更好地助力快递业解决可能发生的风险和不确定因素,为今后区域经济和区域快递业务发展提供重要参考。     

基于网络爬虫技术的生鲜宅配顾客感知服务质量影响因素研究

文章使用网络爬虫工具,从电商网站上抓取了5种生鲜食品的顾客评价信息4 480条,通过EXCEL工具结合手工梳理分析,厘清了影响生鲜宅配顾客感知服务质量的三大因素,即货物的完好程度、物流包装及物流时效。通过数据分析得出结论:针对不同类型的生鲜食品,顾客关注的配送质量侧重点差异比较明显;另外,三大因素之间是相互影响的,货物的完好程度与运输时效以及运输包装形式直接相关,包装的完好程度、包装方式以及安全环保性在很大程度上影响了货物的完好程度,物流时效在一定程度上影响了货物的完好程度,货物的完好程度也影响了顾客对时效的评价。