分类: 爬虫 | Asxing-阿行

文章分类
Nginx 3 Technical 1 Jenkins 1 Java 1 Nexus 1 Zookeeper 2 RBAC 1 Properties 1 MySQL 11 感悟 1 Eventuate 1 事件驱动 2 负载均衡 1 缓存 1 Session 3 JVM 2 Tomcat 3 接口防刷 1 SSL 2 Git 1 REST 1 XXL-JOB 1 分布式ID 1 Retry 1 Junit 1 Serializable 1 SpringBoot 13 Debug 2 Validate 1 Exception 1 FastJson 1 对账 1 分布式一致性 1 Spring-Data-JPA 1 Annotation 1 SpringBean 1 ElasticSearch 12 ELK 1 ClassLoader 1 RabbitMQ 1 Freemarker 1 BUG总结 1 微服务 1 SpringSecurity 1 Apollo配置中心 1 k8s 14 tools 1 MiniApp 4 Docker 4 SpringCloud 1 Coding 1 CI/DI 1 Jhipster 4 SourceCode 1 Redis 1 Mybatis 4 读书 1 博客 1 网络协议 1 Mac 3 Kafka 6 JDBC 1 Maven 2 VScode 1 Effect 1 爬虫 12 DDD 4 JPA 1 年终总结 1 Flutter 3 Tools 1 Appium 2 打点 1 写作 1 Agile 1 极限编程 1 创造思维 1 吼呆时刻 2 Vim 3 Spring 9 Spring-Cloud-Gateway 1 Soul 10 响应式编程 1 Java进阶 1 软件开发 1
                            
                            Java爬虫-Appium一波（十二）
                        
                                天空没有痕迹，风雨已在心中。 ——长路
准备条件
Java 环境
安卓虚拟机(7.1.1)
Python环境(3.5)
Appium 环境

Java 环境安卓虚拟机
本次使用的是7.1.1,刚开始使用的是9版本的,
基础的 Demo 是跑
                            
                                2018-12-19
                            
                                    爬虫
                                
                            Java
                        
                            Appium
                        
                            Java爬虫-隐藏的小细节（十一）
                        
                                世界上只有两种秘密，骗自己的和以为能骗住别人的。 ——默默

实践小细节

一、元素补全对于页面标签的定位,标签使用
很明显经过html ，自动按html 标准格式化了多了很多标签，实战中也要考虑到这个（html 的类是webmagic那个
                            
                                2018-12-11
                            
                                    爬虫
                                
                            Java
                        
                            爬虫
                        
                            Java爬虫-隐藏的小细节（十）
                        
                                乌云遮蔽了整个天空，闪电便已在其中酝酿。 ——飞行的河马

主要记录一些有趣的思路

赤狐为例，通常我们可以从cookie里面看到jsessionid这个参数通常用于记录session。
所以经常我们会遇到关闭浏览器或者一段时间，然后这个值
                            
                                2018-12-10
                            
                                    爬虫
                                
                            Java
                        
                            爬虫
                        
                            思路
                        
                            Java爬虫-ChromeDriver连接池（九）
                        
                                汹涌浪潮先消磨你的心智，水下暗礁在摇摆间把你的航船击沉。 ——你的名字
ChromeDriver 连接池
基本的抓取功能完善以后，接下来就是优化的过程，本节使用Apache commons-pool实现连接池。

1、Pool 设计思想
 
                                2018-12-04
                            
                                    爬虫
                                
                            Java
                        
                            爬虫
                        
                            连接池
                        
                            ChromeDriver
                        
                            Java爬虫-Selenium实战小细节（八）
                        
                                猎人的眼睛从来不会闭上，因为野兽正在暗中注视着他。 ——尘鸟
问题一：invalid element state: Element must be user-editable in order to clear it
invalid ele
                            
                                2018-11-28
                            
                                    爬虫
                                
                            Java
                        
                            Selenium
                        
                            Java爬虫-HeadlessChrome+Selenium+ChromeDriver无头抓取（七）
                        
                                汹涌浪潮先消磨你的心智，水下暗礁在摇摆间把你的航船击沉。 ——你的名字

线下开发一切很顺利，然后细细一想，上线之后都是用Docker驱动，哪里来的Chrome界面，供我操作，故作此篇。😳

0、重要流程wget -O /etc/yum.
                            
                                2018-11-26
                            
                                    爬虫
                                
                            Java
                        
                            爬虫
                        
                            Selenium
                        
                            Headless
                        
                            Java爬虫-Selenium基操（六）
                        
战士的坟墓比奴隶的天堂更明亮。 ——陈辉

Selenium 一些设置1、Selenium 初始化窗口参数System.setProperty("webdriver.chrome.driver", "xxx/chromedriver");
                            
                                2018-11-22
                            
                                    爬虫
                                
                            Java
                        
                            爬虫
                        
                            Selenium
                        
                            Java爬虫-验证码（五）
                        
                                往事如深埋在肌肤下的刀锋，销魂蚀骨，一碰就痛。 ——宋神宗
验证码识别服务
对于验证码的识别，对于众多识别方式，此文适用于字符规整，长宽一致，样式标准，对于有很多验证的方式，此方式也是一种思路。废话不多说，先上代码🧐

1、核心验证码验证
                            
                                2018-11-21
                            
                                    爬虫
                                
                            Java
                        
                            爬虫
                        
                            验证码
                        
                            Java爬虫-WebMagic实操（四）
                        
                                当你闭上双眼，暴风雨便在梦中酝酿。 ——点芳华
爬取 Ajax 网页数据
使用 Ajax 使用纯原生的 PhantomJS ，在请求数据的时候，当请求一个数据的时候是没有问题的，换成两个就开始报错，莫名不好使，自己目前怀疑是启动的脚本有问题
                            
                                2018-11-18
                            
                                    爬虫
                                
                            Java
                        
                            爬虫
                        
                            WebMagic
                        
                            Java爬虫-前段渲染（三）
                        
风起时，我听到了命运的声音。 ——杨

1、页面抓取1.1、判断动静态页面 至此，基本简单的页面，没有问题了，此处我所说的页面指的是静态页面，那么问题来了，我自己如何判断一个页面的动静态加载。此时我们查看网页源码就可以看出来，当页面的源码
                            
                                2018-11-16
                            
                                    爬虫
                                
                            Java
                        
                            爬虫
                        
                            前端
                        
                            动静结合
                        
                            Java爬虫-WebMagic（二）
                        
你如此美好，我跌入花间忘了人间。 ——天涯

1、Spider 架构
WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。

1.2
                            
                                2018-11-15
                            
                                    爬虫
                                
                            Java
                        
                            爬虫
                        
                            WebMagic
                        
                            Java爬虫-XPath（一）
                        
                                当你走过漫漫长路，是否还记得那一眼花开的动心？ ——萌贝壳

XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在XML文档中通过元素和属性进行导航。

1、XPath 基本概念1.1、XPath 概念
XPath 使用路
                            
                                2018-11-14
                            
                                    爬虫
                                
                            Java
                        
                            爬虫
                        
                            XPath