### Puppeteer 是什么 1.Puppeteer 是 Node.js 工具引擎 2.Puppeteer 提供了一个高级 API 来通过 DevTools 协议控制 Chromium 或 Chrome 3.Puppeteer 默认情况下是以 headless无界面 启动 Chrome 的，也可以通过参数控制启动有界面的 Chrome 4.Puppeteer 默认绑定最新的 Chromium 版本，也可以自己设置不同版本的绑定 ### Puppeteer 能做什么 1.生成页面 PDF。 2.抓取 SPA（单页应用）并生成预渲染内容（即“SSR”（服务器端渲染））。 3.自动提交表单，进行 UI 测试，键盘输入等。 4.创建一个时时更新的自动化测试环境。使用最新的 JavaScript 和浏览器功能直接在最新版本的Chrome中执行测试。 捕获网站的 timeline trace用来帮助分析性能问题。 5.测试浏览器扩展。 ###需求描述 基于puppeteer框架，根据特定的关键词，通过抖音web端检索功能，获取最新群二维码图片，然后再对二维码做有效性校验和文字识别。 ###技术要点 1.非登录状态，抖音web检索数量10个以内，所以要保持脚本的登录状态 2.抖音对检索有风控机制，要避开风控，否则没法持续爬取 3.抖音检索内容不全是有效数据，要做前置筛选 4.脚本执行过程中可能遇到各种意外，需要有故障恢复机制 5.优化puppeteer，减少内存和磁盘占用 技术准备 1.node V14.16.1 2.依赖 puppeteer request 最新 创建browser，args是优化后的参数，减少内存和磁盘的占用 ``` const browser = await puppeteer.launch({ headless: false, args: [ "--disable-web-security", "--disable-features=UserAgentClientHint", "--disable-blink-features=AutomationControlled", '--start-maximized', '--no-sandbox', '--disable-setuid-sandbox', '--disable-dev-shm-usage', '--disable-accelerated-2d-canvas', '--no-first-run', '--no-zygote', '--disable-gpu', '--aggressive-cache-discard', '--disable-cache', '--disable-application-cache', '--disable-offline-load-stale-cache', '--disable-gpu-shader-disk-cache', '--media-cache-size=0', '--disk-cache-size=0' ], defaultViewport: { width: 780, height: 1000 }, ignoreDefaultArgs: ["--enable-automation"], ignoreHTTPSErrors: true, // devtools: true, executablePath: "./puppeteer/win64-1045629/chrome-win/chrome.exe" }); ``` header 通过抓包获取，完全复制过来即可 ``` await page.setExtraHTTPHeaders({ "accept-encoding": "gzip, deflate, br", "accept-language": "zh-CN,zh;q=0.9", "sec-fetch-dest": 'document', "sec-fetch-mode": "navigate", "sec-fetch-site": "none", "sec-fetch-user": "?1", "upgrade-insecure-requests": "1", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36", "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9" }); ``` 登录状态保持，其实就是携带正常登录的cookie即可，可以自己抓下 ``` let cookies = []; str.split(';').map((value, index) => { let key = value.split('='); let item = {}; item['domain'] = '.douyin.com'; item['name'] = key[0].replace(' ', ''); item['value'] = key[1] ? key[1].replace(' ', '') : ''; item['path'] = '/'; cookies.push(item); }); cookies.map(async (value) => { await page.setCookie(value) }) ``` 核心提取代码，需要针对异常情况做退出，进行下一个关键词的检索 轮训逻辑 ``` let keywords = new Array('创业群', '广告群', '微商群', '兼职群', '求职群', '招聘群', '同城群', '交友群', '电商群', '学生群', '宝妈群', '娱乐群', '相亲群', '拼车群', '砍价群', '美女群', '商业群', '旅游群', '车友群', '公益群', '淘客群', '红包群', '影视群', '宠物群', '美妆群', '产品群', '互阅群', '投票群'); //let keywords = new Array("车友群"); let i = 0; while (true) { if(!isValidTime()){ await delay(60000*10) continue; } let keyword = keywords[i % keywords.length]; i++; let url = "http://www.douyin.com/search/" + keyword + "?publish_time=1&sort_type=0&source=tab_search&type=general"; console.info("keyword:" + keyword + " start search "); try { await page.goto(url, { timeout: 20000 }); await page.evaluate(async () => { Object.defineProperty(navigator, "webdriver", { get: () => false }); }); let data = await doCrawler(page, 60); if (data) { console.info("++++++++++++++++:" + data.urls.length); let formData = { urls: data.urls.join(), keywords: encodeURI(keyword) } if (data.urls.length > 0) { request.post({ url: "http://xx.threeperson.com/dy/qrcode/upload", formData: formData, headers: { 'Content-Type': 'application/x-www-form-urlencoded' } }); } } console.info("keyword:" + keyword + " end search size:" + (data)?data.urls.length:0); } catch (error) { console.info(keyword + " search open fail" + error); continue; } finally { let mills = random(60000, 60000*2) await delay(mills); } } ``` 抓取逻辑 ``` async function doCrawler(page, limit) { let data = new Data(); let imageList = await page.waitForSelector(".aCTzxbOJ") if (imageList == null) { console.info("出现无搜索内容,退出当前任务"); return null; } while (data.total <= limit) { try { await delay(3000); let noResult = await page.$("[class='P6wJrwQ6']") if (noResult != null) { console.info("无搜索内容,退出当前任务"); return; } noResult = await page.$("[class='Bllv0dx6']") if (noResult != null) { console.info("暂时没有更多,退出当前任务"); return; } let evalData = await page.evaluate((data) => { let items = Array.from(document.querySelectorAll(".aCTzxbOJ")); if (items == null || items.length <= data.total) { console.info("images is empty 1"); return null; } let subItems = items.slice(data.total, -1); data.total = items.length; subItems.forEach(item => { let textElement = item.querySelector(".EpX3I1jb"); let imgeElement = item.querySelector(".yWm90O3y"); if (null == imgeElement) { return; } if (!imgeElement.src.includes(".webp")) { return; } let text = textElement.innerText; // 大概率过滤过期的二维码 if (text.includes("小时前") || text.includes("昨天") || text.includes("1天前") ) { data.urls.push(imgeElement.src); } }); return data; }, data); if (evalData) { data.addUrls(evalData.urls).addTotal(evalData.total); } await scroll(page); //太快容易风控 let mills = random(3000, 5000) await delay(mills); } catch (err) { console.error("data crawler fail" + err); } } return data; } ``` 辅助类和函数 ``` class Data { urls = new Array(); total = 0; addUrls(urls) { if (null == urls || urls.length <= 0) { return this; } urls.forEach(url => this.urls.push(url)); return this; } addTotal(total) { this.total += total; return this; } } function isEmpty(val) { let isArray = typeof val; if (undefined === val || null === val || "" === val || (isArray && val.length == 0)) { return true; } return false; } async function scroll(page) { await page.evaluate(() => { window.scrollBy(0, 800) }) } function isValidTime(){ let now = new Date() let hour = now.getHours() if(hour>8 && hour< 20){ return true; } return false; } ``` ### 执行情况 ``` PS G:\html5_workspace\dy-qrcode> node .\main.js keyword:创业群 start search ++++++++++++++++:6 6 keyword:广告群 start search ++++++++++++++++:10 10 keyword:微商群 start search 暂时没有更多,退出当前任务 微商群 search open failTypeError: Cannot read property 'urls' of undefined ``` ### 提取数据 ``` https://p3-pc-sign.douyinpic.com/tos-cn-i-0813/0dd09556f8fd497eb3d64577f5969f50~q75.webp?biz_tag=aweme_images&from=3213915784&s=PackSourceEnum_SEARCH&se=false&x-expires=1672801200&x-signature=cddg7plaBJtPTEJyrvBz3dUgppk%3D ```