Python 爬到的数据被加密了,可怎么办?
优质文章,第一时间送达!
作者:州的先生
出处:州的先生
随着网络上爬虫的横行和猖獗,各大网站为了最大限度地限制自家数据被采集,纷纷加入了各种反爬手段,比如:
生成浏览器UA指纹识别6 y u x );
用各种验证方式(短信、& ^ S j . m滑块、点选汉字、点击)进行识别;
……
这一类的反爬手段都是一层防御,类似于城堡的城门一样,只要突破这道防线,就可以为所欲为了。
除此之外,还有一些网站,会进p [ = } d行二层防御,对数据加入各种限制措施,比如混淆、加密等。这就像我们进了城门之后,要是想进某某内城,还得经过门口的官兵对腰牌和核验。
比z , ( o n如某电商网站就在数据中使用了AES加密,其返回的数据如下图所示:
经过解密之后,我们可以得到真正的数据为,如下图所示:
这就是利用Python进行AES解密实现的} f O X U P / 3 Z,下面,我们来介绍一下在Python中对数据进行AES加密和AES解密。
简介
以下内容来自于网络L 3 f # k A,大家随便看看,如果想详细了解,可以找专门S ! f 9 7 Y的资料进行学习:
AES全称为高级加密标准,是AdvancedU 4 K O 4 * Encryptq t E F J p $ kion Standard的首字母简写。
AES加密标准又称为高级加密标准Rijndael加密法,是美国国家标准技术研究所NIST旨在取代DES的21世纪的加密标L z o .准。AES的基本要求是,采用对称分组密5 f B ( | 6 / 码体制,密钥长度可以为128、192或256位,分组长度128位,算| Q j N ^ R法应易在各种硬件和软件上实现。1998年NIS) G , ;T开始AES第一轮分析、测试和征集,共产生了15个候选算法。
1999年3月完成了第二轮AES2的分析、测试。2000年10月2日美国政府正式宣布选中比利时密码学家Joan Daemen和Vincent Rijmen提出的一种密码算法Rijndael作为AES的加密算法。
AES加密数据块和密钥长度可以是128b、192b、256b中的任意一个。AES加密有很多轮的重复和变换。大致步骤如下:①密钥扩展(Key Expansion);②初始轮(InitialRound);③重复轮(Rounds),每一重复轮又包J ? ; 括字节间减法运算(SubBytes)、行移位(ShiftRows)、列混_ . - R S e G )合(MixColurmns)、轮密钥加法运算(AddRoundKo S ! A b 9 5ey)等操作 (;①最终轮(Final RouT 6 f c ,nd),最终轮没有列混合操作(MixColumns)。
加密
在这里,我们选用AES加密算法中的CBC模式来进行演示。
在上面我们提过,AES加密算法的CBC模式采用密钥和偏移量的方式对数据进行加密,所以我们首先定义几个公共的参数,包括原始数据、密钥、偏移量和AES的CBC模式,代码如下所示:d ] * {
a = \'\'\'{v m d M & + t f\'name\':\'州的先生\',\'url\':\'zmister.co+ $ Am\',\'desc\':\'编程应用实战\'}\'\'\' # 原始数据k = \'zmistercomzmiste\'.encode(\'utf-8\') # 密3 & i M |钥iv = b\'1234567890asdfgh\' # 偏移量mode = AES.MODE_CBC # 模式
在这里,我们设置的密钥长度为16位字符串,也就是128位字节,在AES加密算! y N I v法中,密钥的长度? x U y n必须为16位字符串(8 # X z $ F . } o128字节)、34位字符串(192字节)、32位字符串(256字节f . S 0 : # & ; !)。
接着,我们创建一个函数,用来对原始的数据进行加密:
# 加密数据def cryp_str* t K L | = 6(value):value = value.encode(\'utf-8\') # 对数据进行utf-8编码cryptor = AES.new(k, mode, iv) # 创建一个新的AES实例length = 16cou* d v + o ^ Z j . O加密过程,不能盲目尝试O U K B ?。好Z D z ; H ! + P _文章,我在看❤️