微信公众号文章聚合 微信公众号热门文章
编辑整理:整理来源:抖音,浏览量:79,时间:2022-06-27 12:49:01
微信公众号文章聚合,微信公众号整合,公众号 聚合
前沿:微信公众号文章聚合
经常有朋友需要帮忙做公众号文章爬取,这次来做一个各种方法的汇总说明。
目前爬取微信公众号的方法主要有3种:
通过爬取第三方的公众号文章聚合网站
通过微信公众平台引用文章接口
通过抓包程序,分析微信app访问公众号文章的接口
通过第三方的公众号文章聚合网站爬取
微信公众号文章一直没有提供一个对外的搜索功能,直到2013年微信投资搜狗之后,搜狗搜索接入微信公众号数据,从此使用搜狗搜索就可以浏览或查询到相关公众号以及文章。
域名是: https://weixin.***.com/
可以直接搜索公众号或者文章的关键字,一些热门的公众号更新还是很及时的,几乎做到了和微信同步。
所以,爬一些热门公众号可以使用搜狗微信的接口来做,但是一些小众公众号是搜索不到的,而且搜狗的防爬机制更新的比较勤,获取数据的接口变化的比较快,经常两三个月就有调整,导致爬虫很容易挂,这里还是建议使用 selenium爬比较省心。另外搜狗对每个ip也有访问限制,访问太频ip会被封禁24小时,需要买个ip池来做应对。
还有一些其他公众号文章聚合网站(比如传送门)也都存在更新不及时或者没有收录的问题,毕竟搜狗这个亲儿子都不行。
通过微信公众平台引用文章接口
这个接口比较隐蔽而且没法匿名访问,所有得有一个公众号,建议新注册一个公众号比较好,免得被封。
下面开始具体步骤:首先登录自己的微信公众号,在进去的首页选择 新建群发,然后再点击 自建图文,在文章编辑工具栏中找到 超链接,如下图:
点击这个超链接按钮,就会弹出一个对话框,链接输入方式这一项选中 查找文章,如下图:
到这里就可以输入公众号的名字,回车之后微信就会返回相匹配的公众号列表,接着点击你想抓取的公众号,就会显示具体的文章列表了,已经是按时间倒序了,最新的文章就是第一条了。
微信的分页机制比较奇怪,每个公众号的每页显示的数据条数是不一样的,分页爬的时候要处理一下。
通过chrome分析网络请求的数据,我们想要的数据已经基本拿到了,文章链接、封面、发布日期、副标题等,如
由于微信公众平台登录验证比较严格,输入密码之后还必须要手机扫码确认才能登录进去,所以最好还是使用 selenium做自动化比较好。具体微信接口的分析过程我就不列了,直接贴代码了:
import re
import time
import random
import traceback
import requests
from selenium import webdriver
class Spider(object):
'''
微信公众号文章爬虫
'''
def __init__(self):
# 微信公众号账号
***.account = '286394973@***.com'
# 微信公众号密码
***.pwd = 'lei4649861'
def create_driver(self):
'''
初始化 webdriver
'''
options = ***.chromeOptions()
# 禁用gpu加速,防止出一些未知bug
***.add_argument('--disable-gpu')
# 这里我用 chromedriver 作为 webdriver
# 可以去 http://chromedriver.***.org/downloads 下载你的chrome对应版本
***.driver = ***.chrome(executable_path='./chromedriver', chrome_options=options)
# 设置一个隐性等待 5s
self.***.implicitly_wait(5)
def log(self, msg):
'''
格式化打印
'''
print('------ %s ------' % msg)
def login(self):
'''
登录拿 cookies
'''
try:
***.create_driver()
# 访问微信公众平台
self.***.get('https://mp.***.com/')
# 等待网页加载完毕
***.sleep(3)
# 输入账号
self.***.find_element_by_xpath("./*//input[@name='account']").clear()
self.***.find_element_by_xpath("./*//input[@name='account']").send_keys(***.account)
# 输入密码
self.***.find_element_by_xpath("./*//input[@name='password']").clear()
self.***.find_element_by_xpath("./*//input[@name='password']").send_keys(***.pwd)
# 点击登录
self.***.find_elements_by_class_name('btn_login')[0].click()
***.log("请拿手机扫码二维码登录公众号")
# 等待手机扫描
***.sleep(10)
***.log("登录成功")
# 获取cookies 然后保存到变量上,后面要用
***.cookies = dict([[x['name'], x['value']] for x in self.***.get_cookies()])
except Exception as e:
***.print_exc()
finally:
# 退出 chorme
self.***.quit()
def get_article(self, query=''):
try:
url = 'https://mp.***.com'
# 设置headers
headers = {
"HOST": "mp.***.com",
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36"
}
# 登录之后的微信公众号首页url变化为:https://mp.***.com/cgi-bin/home?t=home/index&lang=zh_CN&token=1849751598,
# 从这里获取token信息
response = ***.get(url=url, cookies=***.cookies)
token = ***.findall(r'token=(\d+)', str(***.url))[0]
***.sleep(2)
***.log('正在查询[ %s ]相关公众号' % query)
search_url = 'https://mp.***.com/cgi-bin/searchbiz?'
# 搜索微信公众号接口需要传入的参数,
# 有三个变量:微信公众号token、随机数random、搜索的微信公众号名字
params = {
'action': 'search_biz',
'token': token,
'random': ***.***(),
'query': query,
'lang': 'zh_CN',
'f': 'json',
'ajax': '1',
'begin': '0',
'count': '5'
}
# 打开搜索微信公众号接口地址,需要传入相关参数信息如:cookies、params、headers
response = ***.get(search_url, cookies=***.cookies, headers=headers, params=params)
***.sleep(2)
# 取搜索结果中的第一个公众号
lists = ***.json().get('list')[0]
# 获取这个公众号的fakeid,后面爬取公众号文章需要此字段
fakeid = ***.get('fakeid')
nickname = ***.get('nickname')
# 微信公众号文章接口地址
search_url = 'https://mp.***.com/cgi-bin/appmsg?'
# 搜索文章需要传入几个参数:登录的公众号token、要爬取文章的公众号fakeid、随机数random
params = {
'action': 'list_ex',
'token': token,
'random': ***.***(),
'fakeid': fakeid,
'lang': 'zh_CN',
'f': 'json',
'ajax': '1',
'begin': '0', # 不同页,此参数变化,变化规则为每页加5
'count': '5',
'query': '',
'type': '9'
}
***.log('正在查询公众号[ %s ]相关文章' % nickname)
# 打开搜索的微信公众号文章列表页
response = ***.get(search_url, cookies=***.cookies, headers=headers, params=params)
***.sleep(2)
for per in ***.json().get('app_msg_list', []):
print('title ---> %s' % ***.get('title'))
print('link ---> %s' % ***.get('link'))
# print('cover ---> %s' % ***.get('cover'))
except Exception as e:
***.print_exc()
if __name__ == '__main__':
spider = Spider()
***.login()
***.get_article('python')
代码只是作为学习使用,没有做分页查询之类。实测过接口存在访问频次限制,一天几百次还是没啥问题,太快或者太多次访问就会被封24小时。
关于什么是聚合支付,为什么要申请聚合收款码,前面的文章小白已经详细说明了,不明白的观众可以阅读前文,而这篇文章就是告诉大家怎么申请聚合支付的收款码,有哪些步骤。
商户类型一般分为个人,也就是小微商户、个体户以及企业,下面分别说明。
1. 个人(小微商户)
像是一般的小微商户是没有营业执照的,一般常见的就是路边摊贩,这种商户可能很多人以为是办理不了收款码的,其实不然。个人的小微商户也是可以申请聚合支付的收款码的,需要提供与本人一致的身份证正反面照片、手持身份证(带人头像一面)照片、结算银行卡、门头照1张、内景照5张。路边商贩没有门面,也可以提供摊位的正面照片1张以及多方面拍摊位照片5张。
2. 个体户
个体户也叫个体工商户,应该是基础的商户代表了,此类商户办理其实和小微商户的办理手续差不多,不过个体户是有营业执照的,因此也有了细微差别。个体户需要提供与本人一致的身份证正反面照片、手持身份证(带人头像一面)照片、结算银行卡、门头照1张、内景照5张以及营业执照(个体工商户执照)。
3. 企业
企业结算可以提供对公账户,也可以提供法人银行卡的,比较便捷。企业办理聚合支付收款码一般需要提供身份证正反面照片、手持身份证(带人头像一面)照片、有限公司的营业执照、基本账户信息、基本账户信息(对公账户、银行公章等)、门头照1张、内景照5张。因为是公司,门头照一般可以拍下公司大门进去的照片,内景也就是公司里面的内景即可。
大家如果对聚合支付感兴趣的话,欢迎关注小白的(公众号):搬砖有饭吃,我们一起多讨论多交流~
补充拓展:微信公众号文章聚合
品牌推广分两大类:1、传统推广方法传统的宣传推广四大媒介:电视、网络、报纸、广播
除去这些还有 短信群发、户外广告牌、车身广告、移动电视(车载、电梯、超市、医院等)、蓝牙传媒、DM单、广告宣传车、墙体广告、飞艇滑翔机之类的空中媒体、(手提袋、T恤、帽子、雨伞)等其他媒介 2、网络推广方法1、SNS网店软文推广法:现在SNS类型的网店非常流行,去SNS网店主要是去几个有人气的SNS网店有针对性的加几百上千个用户。然后选择合适的软文并合理的附带上网店链接,发表到自己的日志里。再让自己的一些好友分享,这样就让很多人都关注到你的文章,关注到了你的网店。
2、SNS网店API合作推广法:如果你自己或下面的员工有一定的技术实力,可以开发一些和自己网店产品相关的小插件,插到校内上,插到海内上。只要有开放API的SNS网店都去插下。现在很多网店都有在这么搞,去校内看看哪些开放的应用程序,很多都是一些小网店提供的,而且上面都或多或少有挂自己网店的广告。而且这个市场越早做越好,很多SNS网店都是才开始尝试开发API,审核的要求还不是特别严格。等以后做的网店多了,再想插到SNS网店里去就难了。
3、收藏夹推广法:把一些精彩内容的页面添加到QQ书签,百度搜藏,雅虎收藏等,让喜欢这些内容的网民去阅读,收藏。
4、版主联盟推广法:这个方法适合论坛社区网店的推广。也就是先去加入一些版主联盟,像大旗版主联盟就很不错,每天把论坛的一些精彩内容提交上去,等待被相关频道录用,一经录用,那就会给你带去不少的IP.我最多的一次是两天就给网店带去了3W多的IP点击量。
5、回复置顶推广法:其实这个方法我也不知道该叫什么名字,它的局限性很小,据我所知,只使用于猫扑大杂烩,就暂且叫回复置顶吧。这个方法是我偶然发现的,是在看网店IP来路的时候发现的,发现那天有200多的IP来自猫扑的一个帖子,但是我知道我们没有去那里发过推广帖,所以觉得有点奇怪,就去那个帖子看看,发现是有人放了我们网店的一个链接,并且回复置顶了,所以才给我们带来了200多的IP.后来我就去和一些常在猫扑混的网友聊,才知道可以用一种叫“月明符”的道具来置顶回复。版主还不能删,只要管理员才有权删,所以一般情况下都能置顶一段时间。
6、有奖注册推广法:以增加会员注册量来做的一种推广方法。一般大家都是以有奖注册,或者一些激励注册的方法来推广,现在的人都是现实很精的,无利可图的事,他们是不会做的。
7、免费游戏推广法:免费游戏就是在你的网店挂一中免费的游戏,但是是要和网店的主题相同,还要是有趣味性。。。
8、QQ群推广法:用几十个qq,每个qq加入几十个群,每天发一遍网店。平均、50个qq*每个qq加入50个群*每个群50个人=75000人观看。如果qq更多,加入的群更多,加入的是大群,每个群的人数更多,则宣传效果更好。即使排除不在线的qq用户,效果也不容低估。要忍辱负重,不怕被踢。另外就是在QQ群是是可以发群邮件的,例如你可以把你的网店******.com上的精彩内容在邮件中推荐。
9、搜索引擎推广法:如今的新手站长,最热衷的就是这个短平快的方法。搜索网店的功能就是整合网络资源,给网民找到最适合的网店内容,给其他网店带去流量是其意想不到的副作用。很多站长类网店的网店推广栏目,似乎都变成seo专区了。seo的最好方法,就是网页代码规范、访问速度快、内容独特少重复,对网民有用,而且具有唯一性。
10、软文推广法:写文章,或者引用好文章,里面巧妙地加入自己的网址。
11、博客推广法:软文要有发表的地方。一个是发到论坛,文章站,一个是发到博客里。发到博客里有个好处,不会被乱删。
12、媒体推广法:让传统的媒体,报纸、电视、广播等等报道。
13、手机推广法:wap网店、群发短信、彩铃提示等。手机的功能越来越强,小巧容易携带,以后手机的上网人数肯定超过电脑人数。
14、网摘推广法:提高优质网页、图片、帖子到网摘站和聚合类网店。如果被推荐,也能有不少流量。
15、论坛推广法:注册几十个几百个论坛,每个论坛注册几十个帐号,把签名设为自己的网店。发表热门内容,自己顶自己帖子。注意换马甲,发布有争议性的标题内容。好的标题是论坛推广成败的100%.这里说的论坛是指泛论坛,包含留言本、论坛、贴吧等等一切网民可能聚集的地方。
16、第三极推广法:在宣传网店的同时,缀上自己的财富第三极号码。在每个网页的内容后面,加上自己的财富第三极号码,扩大知名度,还有带来额外的财富收入。
17、QQ和MSN昵称推广法:把昵称修改为网址。
18、邮件列表推广法:就是定期不定期的给网民发送电子杂志。
19、非预期邮件推广法:用专业的邮件群发工具,上网批量搜集电子信箱地址,然后群发。如今的很多网店,都要用电子信箱作为用户名,因此,搜集电子信箱地址,比以前方便多了,而且这些电子信箱都是活信箱,网民经常用的信箱,而非失效的信箱,效果不错。邮件标题要“规范”,别让网民误以为是垃圾邮件。
20、口碑推广法:好好做内容,让网民自己主动传播你的网店。
21、限制访问内容推广法:给网店内容分出访问等级,设置访问条件。给网民一个推广链接,网民只有推荐够一定访客或者注册会员后,才能访问该内容。非主流色彩爱情网店多用此方法,效果奇佳。
22、网店排名投票推广法:加入其他的网店推出的网店排名,或者给其他站进行网店排名,都能有效地提高网店的展示率。
23、聚合链接推广法:将优秀内容聚合在一起,吸引网民。
24、BT电炉哇嘎资源推广法:可以在音视频文件里放入自己的网店,特别是在一些需要证书才能收看的视频文件里,甚至可以弹出网店。一些站长使用这种方法,借助最新的电影上映时机,发布一个视频文件,就能搞到几十万的ip,效果绝对一流。
25、图片打水印推广法:防止别的网店引用图片,不仅不友好没效果,而且阻挡了搜索引擎的收录。从某种角度来说,其他网店也是自己网店的特殊网民。如果给网店打上水印,放上网店地址,积极地让别的站引用图片,提高网址曝光率,那么宣传效果是很好。水印法,包括图片水印法、视频水印法、网页水印法……
26、视频源Flash推广法:如今的视频网店,都提供外部的访问接口。在别的网店、日志引用这些视频的同时,直接宣传了网店,扩大了网店的影响力。
27、提交到网址站推广法:网店导航站,网店目录站。
28、电子邮件自动回复推广法:就是在邮箱设置自动回复,把网店的地址和网店介绍设置为自动回复内容。当你接收到任何一封邮件的时候,邮箱就会自动回复过去。
29、无偿单向链接推广法:无偿给其他网店做链接,既能丰富自己网店的信息,而且在网民搜索别的站的时候,又可能出现自己的网页结果。
30、网店间互换链接推广法:这是几年前最流行的网店宣传方法,如今存在的交换链网店很稀少了。
31、批量提交交换链接推广法:用自动提交工具,提交网店到其他网店的友情链接栏目。当站长们在审核是否通过你站的时候,就为你贡献了一个ip.人类社会的发展,就是得益于工具自动化程度的提高。要充分利用互联网传递信息的自动化、数字化、批量化优势,善于使用批量宣传工具,节省人力重复性劳动。
32、网店推广联盟推广法:单打独斗出不了英雄好汉,一个人的精力时间和聪明才智毕竟太小,因此,要懂得借用外力。几个站长联合在一起,达成宣传共识。在宣传自己网店的时候,顺便也捎带上别的网店。用同样的劳动,得到更多的收获。
33、流量统计推广法:在网店的所有页面上放置一个iframe页面引用代码,在所引用的页面上放上其他网店的统计器,用程序代码控制变换统计id,当其他站长查看统计,浏览访问来路来源的时候,你的网店就出现了。一般的站长都会点击查看的,这种宣传方法效果很好,属于密不外传的绝招,很多人知道百度和google的威力就是从网店访问来路知道的。
34、互换频道推广法:和其他网店互相交换频道。就是把对方网店当作自己的一个频道在网店上推广。这样互相捧场,互相帮衬,威力巨大。
35、免费资源推广法:给其他网店提供免费的服务,比如免费统计,免费评测,免费天气查询代码,免费博客,免费ip查询代码,免费股票查询代码,免费搜索代码,免费在线客服系统,免费留言本,免费域名,免费空间,免费pr评价,免费电子书,免费查询,免费挂qq,免费认证,免费素材等等。要让自己提供的服务,成为其他网店的标准配置。时间久了,流量自然有了。
36、内容联盟推广法:这个方法适合有服务器资源的站长。提供一个平台,可以绑定其他网店的域名,把网店的头尾广告位置送给其他站长,吸引其他网店加入。看似是为其他网店做嫁衣裳,实际上是在宣传自己的网店,扩大了网店知名度和影响力。网络上流量最大的地方不是搜索网店,而是其他网店。搜索网店流量大,但是平均到每个站,也就几个几十个,对自己实际意义不大。拉到一个站长,胜过拉到几千个网民。这种方法长期而持久。
37、威逼强迫推广法:比如网店**miibeian、各地公共安全局,都可以强迫网店放链接。一般人用不了。不过可以变相使用,比如黑客加链接法。
38、做大做强推广法:比如门户站。让小网店以加自己网店的链接为荣。尽管很少有站从门户网店得到一星半点的好处,但是对强者天然的崇拜心理,仍然让无数站长不由自主地献身链接,并以此为光荣。至于人家是否留意和领情,则是另外一回事了。
39、客户端软件插件推广法:有技术含量的站长可以采用此法。开发流行的网民常用的客户端软件,比如聊天工具类软件qq,网络游戏类工具,下载工具类网店迅雷等等,都可以弹出窗口,可以直接弹网店首页,也可以弹一些活动页。效果奇好。
40、收费资源免费推广法:比如长久提供软件注册码,注册号,序列号,免序列号版软件,提高网店粘性。比如操作系统的ghost版本,养活了好几个日访问量几十万ip的网店。
41、群组推广法:如今的web2.0等社交网店,都有这个功能。在群组里广发消息,吸引注意力。
42、发布任务推广法:在威客网店发布任务,不仅能够吸引接受任务的人,而且能够吸引一大批旁观者。要充分利用这种一对多的传播优势。
43、印发宣传单线下宣传推广法:既可以自己印发,也可以和其他传统企业合作,使用它们的现有渠道。比如和超市合作,在购物小票上印制自己网店的网址。可以拿网店上的资源和超市交换。
44、流量交换联盟推广法:加入流量交换联盟,运用专业的流量交换系统平台,直接和其他网店交换流量,互惠互利,共同发展。
45、鼓励访客宣传推广法:至于如何打动网民口碑宣传,则要根据网店内容,灵活安排了。一般新奇有趣互动性的内容效果教好。比如测试类啊、评比类啊、节日祝福类啊、搞怪类啊等等内容的网页容易被强烈传播。可以考虑自己的网店如何发掘这方面的素材。
46、名片推广法:在名片上,手册上,一切自己能掌控的纸上,印上网址、写上网址。
47、电子邮件签名推广法:在电子邮箱的设置里,设置一下。加上网店网址和网店介绍。以后写信就会自动加上,自己就省事不少。
48、网上竞赛推广法:比如美女评比、网店评比等等各种资格赛的评比。
49、付费推广法:如果一些方法免费行不通。只要性价比合适,出去一个,可以收回两个,不妨付费推广。舍得舍得,舍不去的还会跑回来的。
50、分工合作推广法:社会效率的提高一个是工具自动化水平的提高,另一个是分工的价值。自己的能力有限,善于整合外部力量,雇用别人推广,把专业的事情交给专业的人来做,可以达到事半功倍的效果。
51、按效果付费推广法:如果你有可以出售的资源,不妨在网络上以按效果付费的方法推广,可以免费得到大量的流量。
52、设为主页和加入收藏推广法:如果你站的内容足够好,访问者也许愿意长期访问你的网店。在这一点上,要多费点心思提醒网民哦。
53、厕所绘画推广法:这种方法慎用,已经有得不偿失的先例。不推荐使用。
54、搞活动推广法:各种线下活动,各种聚会等。
55、广场效应推广法:在身上衣服上画上网址,去人多的地方引人瞩目。最好是在记者出没的地方,容易产生新闻效应。因为记者整天没事干,最喜欢这类八卦事情。
56、贺卡推广法:当别人送贺卡的时候,就顺便推广了你的网店。
57、事件连锁反应推广法:炒作。具体就是挑战人们的心理承受底线,锻炼人们的心理承受能力。
58、问答网店推广法:像在、新浪爱问这些问答网店,选择一些网店的关键词去回答别人的问题。或者自问自答。
59、百科网店推广法:去网上的百科全书添加内容。
60、RSS推广法:有很多rss聚合类网店,可以制作自己网店的rss,提交到这些网店。
61、网吧推广法:如果有一些网吧资源,可以让网吧的老板帮忙把网吧的机子主页设为自己的网店。
62、站长交流推广法:多和其他站长交流,探讨推广方法。说不定什么时候就有意外惊喜。在和别人的经验交流中也往往会有灵感的火花跳跃。不要吝啬你自己的经验,在告诉别人的时候,也是对自己经验的一次系统化、条理化、理性化提纯。
63、网页病毒推广法:利用其他网店的dns漏洞、服务器漏洞,程序漏洞等,直接挂上自己的网店,迅速提高网店普及率。这是最强悍的另类推广方法。属于被清理的方法之列。
64、过路费推广法:如果你有电信等方面的资源,掌握了网页的传输通道,可以将每个网页都进行完善,加进你想加入的内容。
65、域名推广法:人是会犯错的动物。研究高流量网店的域名,分析其错误拼写的各种可能,注册相应域名,也可以从中得到不少流量。如果应用在网店内容建设上,则可以以热门内容的错误拼写文字来建设和优化内容。
追问
谢谢
本回答被网友采纳
90.龙观品牌系列故事
品牌推广其实并不是很难,前期可以做个策划和定位,然后去研究自己的同行对手,看看他们在做什么推广,自己跟着别人的方式去做就行了,我们开始也是摸不着头脑的,后来是让锦随推做的,做好几年了到现在没推广也有流量。
品牌推广我们自己是从线下到线上的,线上那时候根本不懂,是让锦随推那边帮忙做的,合作了好几年,现在我们经常互相分享互补线上线下的知识点。
行业热门话题:
【微信公众号文章聚合阅读】【微信公众号文章聚合平台】【公众号文章整合】【聚合公众号文章的app】【微信公众号文章合集】【微信公众号整合】【公众号文章汇总链接】【公众号 聚合】【微信公众号热门文章】【微信公众号怎么做文章合集】
微信公众号文章聚合 微信公众号热门文章完!