数据采集实战（二）-

1. 概述

京粉（https://union.jd.com/）是京东联盟下的网站，通过分享其中的商品链接可以赚取佣金，类似淘客联盟。

采集京粉的商品，既可以练习 puppeteer的使用，平时想在京东购物时，也能用得上（采集看看有类似商品的价格和评价）。

2. 主要流程

采集的流程很简单：
image.png

2.1 登录

登录本来是很简单的步骤，只是京粉的登录有点特殊，它的登录框是在 iframe 中，所以，加载完网页后可能登录框并没有出现。
需要加载完 iframe 之后才能录入用户名/密码。
image.png

登录模块的代码如下：

const username = "YOUR NAME";const passwd = "YOUR PASSWORD";// 登录const login = async (page) => { await page.goto("https://union.jd.com/index"); // 等待加载 login 的 iframe await page.waitForSelector("#indexIframe"); const frame = (await page.frames())[1]; await frame.waitForSelector("#loginname"); // 输入用户名和密码 登录 await frame.type("#loginname", username, { delay: 100 }); await frame.type("#nloginpwd", passwd, { delay: 100 }); await frame.click("#paipaiLoginSubmit");};export default login;

2.2 进入"商品检索"菜单

登录成功后，进入首页，点击左侧的菜单进入"商品检索"页面。
image.png

注意这里直接使用 page 的 click 方法是无效的，需要使用如下方式：

// 进入商品界面const productPage = async (page) => { await page.waitForSelector(".menu-wrapper"); // 直接选择无法点击，只能用 page.evaluate 方法来点击 // 【我要推广】 菜单 await page.evaluate( (selector) => document.querySelectorAll(selector)[0].click(), ".el-submenu__title>span" ); // 【商品推广】 菜单 await page.evaluate( (selector) => document.querySelectorAll(selector)[1].click(), "li.el-menu-item>span" );};

2.3 录入检索条件并开始检索

商品推广页面支持的检索条件很多，这里只输入佣金和价格的范围来检索：

// 检索商品（佣金比例范围，价格范围）const searchProduct = async (page, feeMin, feeMax, priceMin, priceMax) => { await page.waitForSelector(".imgbox"); await page.waitForSelector("input.el-input__inner"); const inputs = await page.$$("input.el-input__inner"); // IMPORTANT 使用click才能输入完整，使用 focus，无法输入完整 await inputs[1].click(); // await inputs[1].focus(); await inputs[1].type(feeMin, { delay: 200 }); await inputs[2].click(); await inputs[2].type(feeMax, { delay: 200 }); await inputs[3].click(); await inputs[3].type(priceMin, { delay: 200 }); await inputs[4].click(); await inputs[4].type(priceMax, { delay: 200 }); // 佣金和价格输入之后，鼠标必须浮在输入框上，才会出现确定按钮去检索 const divs = await page.$$(".commission"); // div对应的确认按钮在隐藏的 div中 let popover = await divs[1].evaluate((node) => node.getAttribute("aria-describedby") ); // 通过 hover()函数，让确定按钮显示出来 await inputs[4].hover(); await page.waitForSelector(`#${popover}`, { visible: true }); await page.click(`#${popover}>.el-button--primary`);};export default searchProduct;

佣金的范围（feeMinfeeMax），价格范围（priceMinpriceMax）是通过参数传入的。

image.png

2.4 保存网页

保存网页很简单，**puppeteer **提供了获取整个HTML页面的接口。

// 保存网页内容到指定路径const savePage = async (page, dirname, filename) => { const html = await page.content(); await saveContent(dirname, filename, html);};// 保存解析后的网页内容到指定路径const saveContent = async (dirname, filename, content) => { if (!mkdirsSync(dirname)) { console.error("mkdir save page dir ERROR!"); return; } fs.writeFileSync(path.join(dirname, filename), content);};

2.5 进入下一页

在页面的最下方有翻页的按钮，只要找到下一页的按钮......

原文转载：http://www.shaoqun.com/a/897411.html

跨境电商：https://www.ikjzd.com/

派代：https://www.ikjzd.com/w/2197

moss：https://www.ikjzd.com/w/1653

shirley：https://www.ikjzd.com/w/1684


1.概述京粉（https://union.jd.com/）是京东联盟下的网站，通过分享其中的商品链接可以赚取佣金，类似淘客联盟。采集京粉的商品，既可以练习puppeteer的使用，平时想在京东购物时，也能用得上（采集看看有类似商品的价格和评价）。2.主要流程采集的流程很简单：2.1登录登录本来是很简单的步骤，只是京粉的登录有点特殊，它的登录框是在iframe中，所以，加载完网页后可能登录框并没有出
笨鸟：https://www.ikjzd.com/w/2713
prime day：https://www.ikjzd.com/w/131.html
香港有哪些适合带回家的零食？香港有哪些必吃零食？：http://www.30bags.com/a/404498.html
香港有哪些适合学生逛街的地方？：http://www.30bags.com/a/404865.html
香港有哪些特色街道？：http://www.30bags.com/a/404766.html
香港有哪些外国的美食？香港在哪里可以吃到外国美食？：http://www.30bags.com/a/404663.html
宝贝 你那里好像变大了 我多久没弄你了：http://lady.shaoqun.com/a/248427.html
第一次和姐姐偷尝禁果的真实经历：http://lady.shaoqun.com/m/a/108201.html
深圳宝体8月份公益培训课程表2021：http://www.30bags.com/a/525610.html
深圳大芬油画村几点开门关门：http://www.30bags.com/a/525611.html
深圳大芬油画村油画价格(一般多少钱+便宜吗)：http://www.30bags.com/a/525612.html
2021暑期深圳免费开放的体育场馆汇总：http://www.30bags.com/a/525613.html

Comments

Post a Comment

Popular posts from this blog

指纹浏览器定制开发全面助力企业安全与智能升级

在数字化时代，企业信息安全和智能化管理愈发成为商务发展的两大支柱。为适应这一趋势，指纹浏览器定制开发成为了企业安全和智能升级的最佳选择。让我们一同探索，如何通过指纹浏览器的二次开发、私有部署和AI智能等关键功能，助力企业迎接未来的挑战。 指纹浏览器二次开发：保障身份识别的极致体验 随着科技的不断进步，传统身份验证方式显得越来越脆弱。指纹浏览器的二次开发为企业带来了身份识别的极致体验，通过精准的生物特征验证，极大地提高了安全性。企业无需担忧密码泄漏或仿冒风险，真正实现了信息安全的无忧管理。 私有部署：数据安全掌握在自己手中 数据是企业最重要的资产之一，而私有部署则是最为可靠的数据保护手段之一。通过将指纹浏览器定制开发系统私有部署，企业能够完全掌握对敏感数据的访问和存储。这一层级的掌控，不仅提升了数据的安全性，同时也避免了因为云服务的共享带来的潜在风险。 原文转载： https://fashion.shaoqun.com/a/1585172.html 深圳巴厘岛海景酒店 ：https://www.vstour.cn/t/深圳巴厘岛海景酒店.html 深圳巴厘岛旅行团 ：https://www.vstour.cn/t/深圳巴厘岛旅行团.html 深圳巴厘岛旅游 ：https://www.vstour.cn/t/深圳巴厘岛旅游.html 深圳巴厘岛旅游报价 ：https://www.vstour.cn/t/深圳巴厘岛旅游报价.html 深圳巴厘岛旅游价格 ：https://www.vstour.cn/t/深圳巴厘岛旅游价格.html 深圳巴厘岛旅游团 ：https://www.vstour.cn/t/深圳巴厘岛旅游团.html 红海堵塞，海湾受益？ ：https://www.kjdsnews.com/a/1743053.html 一篇文章带你了解商标注册：尼加拉瓜 ：https://www.kjdsnews.com/a/1743054.html
Read more

跨境电商资讯：一文带你走进亚马逊19大海

Image
随着全球电商行业的迅速发展，许多品牌逐渐将目光投向海外市场，寻找新的业务增长点。亚马逊作为全球最大的电商平台之一，拥有众多海外站点，为卖家提供了广阔的发展空间和优质的服务。然而，当卖家们面对海外众多不同的站点，它们的区别是什么？该选红海站点还是蓝海站点？如何才能选择适合自己的平台？这些都让许多卖家感到非常迷惑，不知所措。 别着急！接下来就让小编带大家一起了解亚马逊各大海外站点的机会优势，并分享几位卖家的实战经验，助您选好出海站点，赢在起跑线！ 目前，亚马逊在全球拥有19大海外站点，覆盖北美、拉丁美洲、欧洲、亚洲、大洋洲等多个地区，帮助卖家触达数亿消费者。这些站点各有"特长"，您可以结合自身业务、资金情况和发展需求等因素，Pick适合自己的出海站点，及时把握海外商机！ 01老牌成熟站点，新手出海首选！ 目前，亚马逊在北美地区拥有美国站和加拿大站两大站点。北美站的整体成熟度和服务完善性让许多卖家将它作为开拓生意的首站。 从宏观环境来看，北美站可谓实力超群： ●体量庞大，消费潜力高 作为亚马逊全球最大海外站点，消费实力强劲，两大站点囊括3.7亿+人口，人红利充足，Prime会员占比高； ●品类齐全，细分赛道机会多 加拿大站选品文化接近美国，选品空间广阔，有利于卖家挖掘不同品类商机! 对于新手来说，亚马逊北美站拥有多重优势助力启航： ●配套完善，服务齐全 作为最早开设的站点，亚马逊服务支持齐全，新卖家上手更轻松 ●物流便捷，配送无阻 您可使用亚马逊远程物流配送计划(NARF)，将美国站FBA库存直接配送给加拿大买家，无需将库存事先运送到加拿大，助您轻松拓展北美地区商业版图! 该计划具有以下4大优势： ●利用美国FBA库存，为加拿大的Prime买家提供免费配送服务； ●由亚马逊处理跨境配送事宜，让配送流程更简单便捷； ●进口税费和相关费用由买家支付，无需卖家承担； ●退货直接退回美国，省心省力。 如果您想坐拥巨大流量，触达更多、更广泛的消费者；如果您的选品种类丰富齐全，希望同时布局多种品类赛道……那么北美站是您不该犹豫的首选! 02高潜消费增长能力，业务拓展不二之选！ 在拉丁美洲，除了已对卖家开放的墨西哥站之外，亚马逊巴西站也于2023年12月正式对中国卖家开放，不少北美站卖家已抢先拓展生意版图，吃到了"第一只螃蟹"! 结合宏观发展趋势...
Read more

利用 Google 购物广告促进销量的初学者指南

您需要更多客户。 并且，您需要 以可接受的成本获取它们 。因为，如果你不能做这两件事呢？ ……好吧， 我们别去那里了 。 首先，如何获得更多客户？ 嗯，一种行之有效的方法是 Google Shopping 。 这一领先的电子商务流量来源 占 电子商务 网站整体销售额的 16% 以上。 那是 巨大的。 但是，当您考虑到Google每秒处理超过 40,000 个搜索查询 时，这也就不足为奇了。 不过，这还不是全部…… 2018 年，在美国电子商务领域，Google 购物广告占 零售搜索广告支出的 76.4% ，占所有付费搜索点击次数的 85.3%。 另一方面，文字广告仅吸引了 23.6% 的零售搜索广告支出和 14.7% 的付费搜索点击次数。 由于 Google 努力通过富媒体广告格式提高知名度，投资 Google Shopping 广告系列已成为零售搜索行业的主要趋势。 但是，您能否使用 Google 购物以可接受的成本获取客户，从而为您带来利润？ 一言以蔽之？ 是的 。 OMG Commerce首席执行官 Brett Curry 去年 管理的广告活动平均 广告支出回报率 (ROAS) 为 300-600% 。 您愿意花 1美元获得 3 至 6 美元的销售额吗？ 我愿意打赌你会的。 你是怎么做到的？ 在本文中，您将准确了解 Google 购物是什么、它的工作原理以及如何开始您的第一个广告系列。 好吧，系好安全带 。 Fansgurus是一个社交媒体营销在线平包含了Facebook，Instagram，Twitter，Pinterest，YouTube，Tiktok，telegram，虾皮等等海外社交媒体，并提供增粉、点赞、转发、评论浏览量直播间在线，网站引流等数据服务。快速体验： zllp.myyfrs.ciwi._okgyw?fyuokfj 什么是谷歌购物？ Google 购物广告也称为产品详情广告或 PLA。而且，当用户在 Google 上搜索产品时，它们就会显示。 它们出现 在搜索结果的顶部或页面的右上角： Google 购物广告也可以 在"购物"标签下找到。 这些广告如此有效的 部分原因 是它们位于搜索结果顶部的显着位置。 那么，Google 购物广告包含哪些内容？ 简而言之， 消费者熟悉的5 个关键组件： 产品图片 产品名称 价格 卖家姓...
Read more