综合型编程论坛

现在的时间是 2020年10月21日 15:08

专区

主题

帖子

最新文章

计算机图形
Computer Graphics, Animaition, OpenGL, DirectX, OpenCL
子版面: OpenGL， Vulkan， DirectX，资料、教程， WebGL
主题: 35

35 主题

138 帖子

最新文章 [图形]在指定大小的圆内生成随机且均匀分布的点
由 vicyang 查看最新帖子
2019年02月24日 20:20
算法和编码
子版面: Math
主题: 31

31 主题

146 帖子

最新文章 Re: [puzzle]华容道 15-Puzzle
由 523066680 查看最新帖子
2020年08月05日 08:54
扩展库
C/C++第三方开源库的介绍和相关讨论
主题: 21

21 主题

42 帖子

最新文章 Re: ncurses 命令行终端 UI 库
由 523066680 查看最新帖子
2018年11月27日 10:29

程序设计

主题

帖子

最新文章

编程语言
Programming Language
子版面: C/C++， Java， Go， Rust， CSharp/FSharp， Functional Programming
主题: 64

64 主题

112 帖子

最新文章 HTTP代理作用
由 laical 查看最新帖子
2020年08月28日 17:33
脚本
Python Ruby Perl ...
子版面: Python， Ruby， Perl， Lua
主题: 142

142 主题

272 帖子

最新文章通过selenium配置爬虫代理
由 laical 查看最新帖子
2020年09月03日 17:52
Web Development
互联网开发
子版面: JavaScript， PHP， CSS/SVG
主题: 5

5 主题

15 帖子

最新文章 Re: 多段Bézier曲线变换效果 HTML实现
由 rubyish 查看最新帖子
2020年07月18日 18:42
应用开发
GUI, Application
子版面: Qt

0 主题

0 帖子

没有帖子
系统管理自动化
Automating System Administration
子版面: Autoit/AHK， VBScript， BatchScript，第三方命令行工具， Topics
主题: 8

8 主题

10 帖子

最新文章 Win32::OLE 操作 Office 365 失败的问题
由 523066680 查看最新帖子
2020年01月20日 16:23

论坛

主题

帖子

最新文章

论坛管理
子版面: phpBB论坛配置笔记，论坛使用和通知，申请、建议、举报
主题: 46

46 主题

131 帖子

最新文章 Re: 版面日志
由 523066680 查看最新帖子
2019年03月09日 22:24
谈天说地
闲聊的地方
子版面: 日志，资源分享，软件配置和推荐
主题: 56

56 主题

231 帖子

最新文章 Re: 论坛可能不会关闭
由 24game 查看最新帖子
2020年05月19日 00:48
招聘专区
主题: 4

4 主题

6 帖子

最新文章 Re: NVIDIA英伟达 GPU厂商招聘软件类职位（上…
由 523066680 查看最新帖子
2017年09月06日 16:43

友情链接

主题

帖子

最新文章

phpBB 简体中文支持社区

总共转向: 59202

总共转向: 59202

活跃主题

回复总数

阅读次数

最新文章

通过selenium配置爬虫代理

最新文章由 laical « 2020年09月03日 17:52

由 laical » 2020年09月03日 17:52 » 位于 Python

互联网的发展，网络爬虫的进步。随着网络爬虫的进步，互联网网站也出现反爬机制。有时候爬虫为了快速采集数据，就会频繁去访问目标网站，从而触发的网站的反爬机制。为了解决反爬，许多爬虫就会利用代理IP去访问或者使用selenium爬虫。使用selenium爬虫降低访问频率，降低采集数据速度，避免网站出现反爬...

0 回复总数

467 阅读次数

最新文章由 laical 查看最新帖子
2020年09月03日 17:52
HTTP代理作用

最新文章由 laical « 2020年08月28日 17:33

由 laical » 2020年08月28日 17:33 » 位于 Java

HTTP代理在网络爬虫中很常见。HTTP代理分为正向代理和反向代理。
HTTP代理一般用于网络爬虫，数据分析，抢购等业务。网络爬虫通过HTTP代理向互联网发出请求从而获取相关数据。
HTTP代理的作用
1、网站翻墙...

0 回复总数

517 阅读次数

最新文章由 laical 查看最新帖子
2020年08月28日 17:33
网络爬虫的架构和用途

最新文章由 laical « 2020年08月25日 17:30

由 laical » 2020年08月25日 17:30 » 位于 Java

网络爬虫：
爬虫简称数据采集。在互联网网站中采集需要的相关数据信息。简单来说就是模拟真实用户通过程序想目标网站发出请求获取相关数据信息。
爬虫的作用：
网络爬虫的用户也很多，互联网上的大部分都和网络爬虫都有关系。
1 、可以定制搜索引擎。
2、可以通过爬虫程序去抢票，刷票。...

0 回复总数

548 阅读次数

最新文章由 laical 查看最新帖子
2020年08月25日 17:30
使用爬虫代理需要了解的因素

最新文章由 laical « 2020年08月20日 17:27

由 laical » 2020年08月20日 17:27 » 位于 Java

如今在网络爬虫中，为看避免本地IP被封，许多爬虫就会使用HTTP代理IP去协助解决问题。HTTP代理也就成了爬虫中不可缺少的一部分。
1、代理
http代理就是爬虫用户通过爬虫程序向网站采集数据。而且采集数据的过程中，就需要通过http代理向目标网站发出请求从而获取相关数据。
2、代理服务器...

0 回复总数

520 阅读次数

最新文章由 laical 查看最新帖子
2020年08月20日 17:27
爬虫代理504状态码解决方案

最新文章由 laical « 2020年08月17日 17:33

由 laical » 2020年08月17日 17:33 » 位于 C/C++

HTTP状态码504一般是使用了代理服务器和代理IP造成的，或者是请求不到数据返回的。（俗称封代理ip）
解决方案：...

0 回复总数

622 阅读次数

最新文章由 laical 查看最新帖子
2020年08月17日 17:33
火狐浏览器如何设置爬虫代理

最新文章由 laical « 2020年08月12日 17:52
回复总数: 1
由 laical » 2020年08月12日 17:51 » 位于 C/C++

步骤1
登陆亿牛云爬虫代理官网： “购买代理” 菜单，进入 “专属客服购买专区”，选择 "爬虫加强版" 产品。购买代理后参考下图提取代理信息
企业微信截图_15972215644958.png
步骤2
打开火狐浏览器，在浏览器的右上角菜单列表中—选择—常规—网络设置—设置...

1 回复总数

909 阅读次数

最新文章由 laical 查看最新帖子
2020年08月12日 17:52

在线用户

总共有6用户在线 :: 1 注册的, 0 隐身和 5 访客 (基于用户在过去的 5 分钟的活动)
最高在线记录：641，发生于 2018年08月05日 12:48

注册用户： Google [Bot]
颜色说明: 管理员，论坛版主，元老

统计信息

帖子总数 1106 • 主题总数 413 • 用户总数 143 • 最新注册的用户：三河啊

登录 • 注册

在线用户

统计信息