爬虫selenium bs4 amp
Flex&Bison
Flex与 Bison 《Flex与 Bison》阅读笔记 Flex 和 Bison 简介 第一个 flex 程序 %{ int chars = 0; int words = 0; int lines = 0; %} %% [^ \t\n\r\f\v]+ { words++; chars += st ......
Windows Server 2016 & 2019 工作站速配脚本
之前有一篇关于把Windows Server打造成工作站系统的[随笔]，其中的步骤完全基于手工操作，恐怕部分对系统不熟悉的朋友会找不到设置的入口。与其弄一堆截图写所谓的教程，还不如写一个程序来自动化处理。 init.ps1 Write-Host "`n正在启用声音服务" Set-Service -N ......
Selenium Grid4.0 - 多台计算机上并行运行
前言 当你希望在多台计算机上并行运行测试？Selenium Grid可以帮你实现。 官方文档原文：https://www.selenium.dev/documentation/grid/getting_started/ Selenium Grid允许通过将客户端发送的命令路由到远程浏览器实例，在远程 ......
Python逆向爬虫入门教程: 酷狗音乐加密参数signature逆向解析
数据来源分析💥 网站链接: aHR0cHM6Ly93d3cua3Vnb3UuY29tLw== 歌曲下载 signature 💥 正常抓包分析找到音频链接地址 通过链接搜索找到对应的数据包位置 分析 signature 参数加密位置 通过 s 列表 合并成字符串, 传入d函数中进行加密, 返回32 ......
【转载】淘宝爬虫sign、token详解
【转载】淘宝爬虫sign、token详解 淘宝对于h5的访问采用了和客户端不同的方式，由于在h5的js代码中保存appsercret具有较高的风险，mtop采用了随机分配令牌的方式，为每个访问端分配一个token，保存在用户的cookie中，通过cookie带回服务端分配的token, 客户端利用分 ......
一些Mybatis的知识点&易错点总结
1、映射文件配置容易出错 在映射文件中，我们很习惯想要在sql语句后面添加';'。 结果是报了一堆错误： 你能从下面的配置中找到哪些错误？ 总共有三处错误： 建议使用parameterType，而不是使用"parameterMap" 不使用$进行绑定数据，而是使用#{} sql语句后面不要以";"结 ......
selenium加载驱动的两种方式
以chrome浏览器举例 第一种 查看本地chrome浏览器版本：右上角-设置-关于chrome，我的版本是：120.0.6099.200 去对应驱动下载网站下载 常用网站（更新到114）：https://registry.npmmirror.com/binary.html?path=chromed ......
Dynamics 365 Finance & Operations with Power Automate
Hello Dynamics Community, Update 1st December 2021 / I will really suggest to read my recent article (2 years after his one about a game changer on th ......
Cisco Secure Client 5.1.1.42 (macOS, Linux, Windows & iOS, Andrord) - 思科安全客户端下载
Cisco Secure Client 5.1.1.42 (macOS, Linux, Windows & iOS, Andrord) - 思科安全客户端下载 思科安全客户端（包括 AnyConnect） 请访问原文链接：https://sysin.org/blog/cisco-secure-cli ......
One Dynamics One Platform - Dataverse C# Plugin for Dynamics 365 F&O
Hello the Community, back from the D365 FO Summit 2023 in Lisboa, after 3 years it was really good to meet in-person again after Covid ! Thanks all th ......
爬虫常见的反爬手段
反爬 1. User-Agent 2. IP代理 快代理 3. 验证码访问 1.输入验证码 Pytesseract 百度OCR接口 深度学习 超级鹰等平台 2.滑块 Opencv解决问题： 读取图片 高斯模糊处理 canny边缘检测 轮廓检测 获取位置 Links:https://zhuanlan. ......
[linux kernel] struct pid && the way the kernel used to cast uint32_t pid to struct task_struct
摘抄内容引用自linux kernel document description pre the initialization and the manage of the struct pid is use IDR.(implement by hash table->(why not array?- ......
Java中单体应用锁的局限性&分布式锁
互联网系统架构的演进 在互联网系统发展之初，系统比较简单，消耗资源小，用户访问量也比较少，我们只部署一个Tomcat应用就可以满足需求。系统架构图如下: 一个Tomcat可以看作是一个JVM进程，当大量的请求并发到达系统时，所有的请求都落在这唯一的一个Tomcat上，如果某些请求方法是需要加锁的，比 ......
GDKOI 2024 Description & My Solution
注：这里的 My Solution 仅提供我自己的赛时做法，可能非常乱搞。 Day 1 T1 Description 有 \(n\) 个怪物，\(m\) 点能量，每个怪血量为 \(a_{i}\)，怪血量小于等于 \(0\) 就死亡。有三个技能： 平 a：不花能量对指定怪造成 \(1\) 点伤害； 战 ......
Airtest-Selenium实操小课②：刷B站视频
此文章来源于项目官方公众号：“AirtestProject” 版权声明：允许转载，但转载必须保留原链接；请勿用作商业或者非法用途 1. 前言 上一课我们讲到用Airtest-Selenium爬取网站上我们需要的信息数据，还没看的同学可以戳这里看看~ 那么今天的推文，我们就来说说看，怎么实现看b站、刷 ......
nuxt构建失败：if (codePoint 》= 0x3_00 && codePoint (= 0x3_6F) { SyntaxError: Invalid or unexpected token
错误消息指的是在Node.js中使用了数字分隔符，12.8.1之前的Node版本不支持这种做法。 0x3_00此处使用数字分隔符_。如果没有它，符号看起来就像0x300。 有关支持此功能的Node.js版本的列表，请参阅 https://node.green/#ES2021-features--nu ......
day33 Istio弹性(超时&重试)和故障注入 （10.6）
10.6-1-Istio弹性(超时&重试)和故障注入(1) 一、前言 在日常的工作中，我们可能会遇到当请求后端服务，响应过慢的时候，为了不产生积压请求，不拖垮其他服务，这个时候大家一般会怎么解决呢？那有小伙伴可能会说到，代码中增加超时的逻辑对吧？今天咱们通过 Istio 的 主动注入故障，返回超时信 ......
爬虫之短信验证码
处理短信验证码的思路就是手机端有一个可以转发短信到我们可以读取的地方。目前我的处理方式是将短信转发到邮箱，再读取邮箱中的邮件拿取验证码。 首先就需要下载转发工具：https://github.com/pppscn/SmsForwarder/releases/tag/v3.2.0 具体使用参考 ......
C++ 类构造函数 & 析构函数
题目：假定AB为一个类，则执行 ”AB a(2), b[3], *p[4];“ 语句时调用该类构造函数的次数为4次。 解析： AB a(2) 为调用一次构造函数； AB b[3] 代表b是AB类的对象数组，包含3个对象，因此为调用3次构造函数； AB *p[4] 代表p是AB类的对象指针数组，包含4 ......
liunx设置网络&开启ssh&防火墙
网络 如果有视图的话就直接视图修改网络，修改完可能不生效会有个开关重新开关一下。 查看IP ifconfig 打开ubuntu的/etc/network/interfaces sudo gedit /etc/network/interfaces 1.静态分配的配置方法： auto eth0 ifac ......
docker自建镜像&上装镜像
创建一个文件名称：Dockerfile 内容： FROM openjdk:8-jre #拉取openjdk：8-jre 这个镜像 ADD 1center-1.0.jar app.jar #jar包放到和dockerfile同级 EXPOSE 8761 #端口 ENTRYPOINT ["java"," ......
10 Iva & Pav
首先这是一个离线的操作，所以可以用st表，所有区间的&运算结果求出来 其次&运算是相同取1，不同取0。意味着值是不断变小的，所有我们可以二分找到答案 #include<bits/stdc++.h> #define int long long using namespace std; const in ......
laravel 集合&数组
# 列表 集合 & 数组 $_list_collection = collect([['name' => 'John', 'age' => 25],['name' => 'Jane', 'age' => 30]]); $_list_array= [['name' => 'John', 'age' = ......
2024-01-10（电动车充电器&铁板烧）
一、电动车充电器问题： （问题）：充电器上电时炸了，新买了一个。坏的那家1年内免费换新还需等财务统一核销。 （反思）：充电器这种东西不能放在户外日晒雨淋，晚上把小电动清理干净。 二、鹿仙子铁板烧问题： （问题）：500W / 220V铁板上融锡膏好像要一分钟。这一分钟之前元器件都不会被烧坏吗？ （反 ......
selenium获取淘宝内容
淘宝的反爬非常厉害，即使模拟了浏览器，仍然会有一大堆验证流程，首先声明这里只是实现了可用的代码，并不实用。 下面是一段示例代码，用于模拟爬取淘宝特定关键词下，按销量排序，商品的价格、店名等数据： 在开始之前，要下载谷歌浏览器和对应的webdriver，Python、以及Python安装seleniu ......
为什么selenium会被识别出来
因为浏览器指纹暴露了身份 可以通过下面这个网址检测，如果是selenium打开的，就会显示红色 Antibot (sannysoft.com) 可以用selenium调试手动打开的浏览器来伪装： 首先命令行加参数打开浏览器： start chrome.exe --remote-debugging-p ......
NFC标签的工作原理分析（附带DP1332E&DP1363F选型表）
NFC标签是基于近场无线通信技术，利用射频识别（RFID）技术和互联技术进行数据传输。它采用13.56MHz的高频无线电波作为传输介质，通过感应耦合方式实现信息的交换和传输。在NFC通信中，发起设备和接收设备之间的距离通常在几厘米以内。当发起设备（如具有NFC功能的手机）靠近NFC标签时，发起设备会 ......
ERD助力研发资产沉淀&研发提效
一、从痛点中思考答案 痛点一：复杂系统的设计和逻辑碎片化散落，缺少沉淀导致系统后期维护、迭代以及架构升级都非常困难。 痛点二：由于新需求或新项目导致的系统的老旧逻辑梳理往往耗费大量人力，甚至造成人才的流失。 痛点三：多团队共建场景下需要参与各方了解跨应用系统的整体设计，沟通效率低成本高、共建初期花费 ......
scrapy -- 暂停爬虫、恢复爬虫
1、启动爬虫 scrapy crawl spider -s JOBDIR=record/spider-1 record/spider-1表示一个路径，作用是记录爬虫状态2、暂停爬虫 终端输入Ctrl+C，此时爬虫并不会立即停止，需要等待一会 当终端出现可以敲击命令时，说明爬虫已暂停 3、恢复爬虫 s ......