微信公众号文章聚合-微信公众号文章合集

编辑整理：整理来源：搜狗问问，浏览量：147，时间：2022-06-15 16:56:02

微信公众号文章聚合，微信公众号文章合集，微信公众号热门文章

微信公众号文章聚合

微信公众号文章聚合平台

经常有朋友需要帮忙做公众号文章爬取，这次来做一个各种方法的汇总说明。
目前爬取微信公众号的方法主要有3种：

通过爬取第三方的公众号文章聚合网站

通过微信公众平台引用文章接口

通过抓包程序，分析微信app访问公众号文章的接口

通过第三方的公众号文章聚合网站爬取

微信公众号文章一直没有提供一个对外的搜索功能，直到2013年微信投资搜狗之后，搜狗搜索接入微信公众号数据，从此使用搜狗搜索就可以浏览或查询到相关公众号以及文章。
域名是: https://weixin.***.com/

可以直接搜索公众号或者文章的关键字，一些热门的公众号更新还是很及时的，几乎做到了和微信同步。

所以，爬一些热门公众号可以使用搜狗微信的接口来做，但是一些小众公众号是搜索不到的，而且搜狗的防爬机制更新的比较勤，获取数据的接口变化的比较快，经常两三个月就有调整，导致爬虫很容易挂，这里还是建议使用 selenium爬比较省心。另外搜狗对每个ip也有访问限制，访问太频ip会被封禁24小时，需要买个ip池来做应对。
还有一些其他公众号文章聚合网站(比如传送门)也都存在更新不及时或者没有收录的问题，毕竟搜狗这个亲儿子都不行。

通过微信公众平台引用文章接口

这个接口比较隐蔽而且没法匿名访问，所有得有一个公众号，建议新注册一个公众号比较好，免得被封。
下面开始具体步骤：首先登录自己的微信公众号，在进去的首页选择 新建群发，然后再点击 自建图文，在文章编辑工具栏中找到 超链接，如下图：

点击这个超链接按钮，就会弹出一个对话框，链接输入方式这一项选中 查找文章，如下图：

到这里就可以输入公众号的名字，回车之后微信就会返回相匹配的公众号列表，接着点击你想抓取的公众号，就会显示具体的文章列表了，已经是按时间倒序了，最新的文章就是第一条了。

微信的分页机制比较奇怪，每个公众号的每页显示的数据条数是不一样的，分页爬的时候要处理一下。
通过chrome分析网络请求的数据，我们想要的数据已经基本拿到了，文章链接、封面、发布日期、副标题等，如

由于微信公众平台登录验证比较严格，输入密码之后还必须要手机扫码确认才能登录进去，所以最好还是使用 selenium做自动化比较好。具体微信接口的分析过程我就不列了，直接贴代码了：

import re

import time

import random

import traceback

import requests

from selenium import webdriver

class Spider(object):

'''

微信公众号文章爬虫

'''

def __init__(self):

# 微信公众号账号

***.account = '286394973@***.com'

# 微信公众号密码

***.pwd = 'lei4649861'

def create_driver(self):

'''

初始化 webdriver

'''

options = ***.chromeOptions()

# 禁用gpu加速，防止出一些未知bug

***.add_argument('--disable-gpu')

# 这里我用 chromedriver 作为 webdriver

# 可以去 http://chromedriver.***.org/downloads 下载你的chrome对应版本

***.driver = ***.chrome(executable_path='./chromedriver', chrome_options=options)

# 设置一个隐性等待 5s

self.***.implicitly_wait(5)

def log(self, msg):

'''

格式化打印

'''

print('------ %s ------' % msg)

def login(self):

'''

登录拿 cookies

'''

try:

***.create_driver()

# 访问微信公众平台

self.***.get('https://mp.***.com/')

# 等待网页加载完毕

***.sleep(3)

# 输入账号

self.***.find_element_by_xpath("./*//input[@name='account']").clear()

self.***.find_element_by_xpath("./*//input[@name='account']").send_keys(***.account)

# 输入密码

self.***.find_element_by_xpath("./*//input[@name='password']").clear()

self.***.find_element_by_xpath("./*//input[@name='password']").send_keys(***.pwd)

# 点击登录

self.***.find_elements_by_class_name('btn_login')[0].click()

***.log("请拿手机扫码二维码登录公众号")

# 等待手机扫描

***.sleep(10)

***.log("登录成功")

# 获取cookies 然后保存到变量上，后面要用

***.cookies = dict([[x['name'], x['value']] for x in self.***.get_cookies()])

except Exception as e:

***.print_exc()

finally:

# 退出 chorme

self.***.quit()

def get_article(self, query=''):

try:

url = 'https://mp.***.com'

# 设置headers

headers = {

"HOST": "mp.***.com",

"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36"

}

# 登录之后的微信公众号首页url变化为：https://mp.***.com/cgi-bin/home?t=home/index&lang=zh_CN&token=1849751598，

# 从这里获取token信息

response = ***.get(url=url, cookies=***.cookies)

token = ***.findall(r'token=(\d+)', str(***.url))[0]

***.sleep(2)

***.log('正在查询[ %s ]相关公众号' % query)

search_url = 'https://mp.***.com/cgi-bin/searchbiz?'

# 搜索微信公众号接口需要传入的参数，

# 有三个变量：微信公众号token、随机数random、搜索的微信公众号名字

params = {

'action': 'search_biz',

'token': token,

'random': ***.***(),

'query': query,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'begin': '0',

'count': '5'

}

# 打开搜索微信公众号接口地址，需要传入相关参数信息如：cookies、params、headers

response = ***.get(search_url, cookies=***.cookies, headers=headers, params=params)

***.sleep(2)

# 取搜索结果中的第一个公众号

lists = ***.json().get('list')[0]

# 获取这个公众号的fakeid，后面爬取公众号文章需要此字段

fakeid = ***.get('fakeid')

nickname = ***.get('nickname')

# 微信公众号文章接口地址

search_url = 'https://mp.***.com/cgi-bin/appmsg?'

# 搜索文章需要传入几个参数：登录的公众号token、要爬取文章的公众号fakeid、随机数random

params = {

'action': 'list_ex',

'token': token,

'random': ***.***(),

'fakeid': fakeid,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'begin': '0', # 不同页，此参数变化，变化规则为每页加5

'count': '5',

'query': '',

'type': '9'

}

***.log('正在查询公众号[ %s ]相关文章' % nickname)

# 打开搜索的微信公众号文章列表页

response = ***.get(search_url, cookies=***.cookies, headers=headers, params=params)

***.sleep(2)

for per in ***.json().get('app_msg_list', []):

print('title ---> %s' % ***.get('title'))

print('link ---> %s' % ***.get('link'))

# print('cover ---> %s' % ***.get('cover'))

except Exception as e:

***.print_exc()

if __name__ == '__main__':

spider = Spider()

***.login()

***.get_article('python')

代码只是作为学习使用，没有做分页查询之类。实测过接口存在访问频次限制，一天几百次还是没啥问题，太快或者太多次访问就会被封24小时。

公众号文章整合

一：【公众号特点】

1：公众号编辑器不好用。对图文的格式要求多。

2：公众号修改非常麻烦。

3：公众号推送，一天只能有一次。

4：不花时间写好文章，公众号几乎没有什么人看。

二：【我的胆怯】

我不太担心写文章，但是我第一次编辑公众号的时候，主任对文案的要求非常多。写完以后，我首先让主任过目，主任说可以，我就进行了编辑。等我用编辑器弄完以后，主任再提要求，我就拒绝了。因为文案定好以后，格式定好以后，再修改就十分麻烦了。

我的胆怯，一是没有想到听一次语文课要弄一个这么麻烦的文案，二是担心我的拒绝会不会让领导不高兴。

以后，还是先沟通，定好了以后再进行处理。

三：【我的思考】

现在我逐渐发现，学校的公众号目的，其实并不在流量，而是在记录。学校公众的价值，更多的在于记录学校的工作，总结学校的经验，传递教育的正能量。想明白这个问题以后，我有了这样的设想，可以这样发挥文章的新闻属性。

1：简单明确的记录，总结思路和模板，并且建立数据库。方便套用。

2：多加照片，将那些有价值的照片整合到文章中去。

3：记录一定要及时，可以先使用简单的工具进行编辑，然后等思路成熟了以后，再进行精确的修改。比如，我可以先用【美篇】进行简短编辑，然后再进行修改。等到觉得问题了，就直接进行编辑就可以。

四：【语文组听课的文案】可以这样写。

（一）格式：1段文字+（1-2）幅图。

（二）内容版块。

1：总体介绍：【第一段】+【老师讲课的插图】

为了提高课堂教学效率，用好课堂教学这块主阵地，学校语文教研组根据学校安排，认真落实了听评课活动。2020年9月22日上午，三年级语文老师执教了《在牛肚子里旅行》一课。下午，语文组全体教师进行了评课活动。各位教师高度重视此次活动，使听评课活动落到实处，取得了良好的效果，充分展示了我校语文教师的教学水平及课堂风采。

思考：

（1）写清楚目的：提高课堂效率，用好语文教学阵地。

（2）记录基本信息：听课时间地点人物+评课时间人物

（3）取得的效果：成果良好，展示了老师的风采。

2：第一部分：小标题 【一、课堂教学】+【老师讲课图】+【老师听课图 】+【学生听课图】

《在牛肚子里旅行》是三年级上册的一篇有趣的科普小品文。文章记叙了两只小蟋蟀玩捉迷藏，其中一只叫“红头”的蟋蟀不幸误入牛肚子里，在牛肚子里做了一次惊险的“旅行”，最后侥幸逃脱的危险经历。通过这篇文章的学习，学生会懂得一个科学小知识：牛有四个胃，有反刍现象。

在本课的教学中，老师课堂设计围绕课后习题，紧扣教学目标和教学重点，过程科学合理，环环相扣，简练高效，水到渠成。她注重指导学生朗读，体会红头的着急、紧张、悲伤的心情，体会青头的热心帮助，让学生明白了这一个惊心动魄、险象环生的小蟋蟀历险记，让学生通过对语言的转换，通过说话的训练很好地把握了课文内容。

热搜弹幕：微信公众号文章聚合，微信公众号文章合集，微信公众号热门文章