python实现CTF中的编码转换

梳理python语言中的字符串编码与解码问题，包括字符串与其二进制、十六进制的转化方法。

0x00 概述

使用过多版本python（2. / 3.）的朋友一定会遇到关于字符串编码类型的问题。这是因为python3中新引入了一种数据类型bytes。bytes类型的含义是字节字符串，也就是以字节形式（8 bits）存储的字符串，通常以16进制显示。str类型需要通过编码变成bytes类型，bytes类型需要通过解码变成str。而具体的编码形式，取决于字符串想采用哪种编码方法，例如UTF-8、GBK、ASCII。python3中的默认编码格式是UTF-8。

下面这个图表示了这种转换关系

# string encode to bytes 
# bytes decode to string

      "".encode()                 b"".hex()
  +----------------+     +- ------------------------+
  |                |     |                          |
  |                |     |                          |
+-+--+           +-v-----+-+                  +-----v-----+
| "" |           |  bytes  |                  |  hex str  |
+-^--+           +-+-----^-+                  +-----+-----+
  |                |     |                          |
  |                |     |                          |
  +----------------+     +--------------------------+
     b"".decode()               bytes.fromhex("")

From https://blingblingxuanxuan.github.io/2021/01/23/study-python3/

0x01 字符串二进制表示转换

二进制字符串转ASCII

# 字符串长度应该是8的倍数  256个ASCII字符 把字符串按照8位的长度切割
# python按照固定长度分割字符串
import re
# python按照固定长度分割字符串
def cut_text(text,lenth): 
    textArr = re.findall('.{'+str(lenth)+'}', text) 
    textArr.append(text[(len(textArr)*lenth):]) 
    return textArr

def encode(s):	# 去除0b
    return ' '.join([bin(ord(c))[2:].zfill(8) for c in s])
 
def decode(s):
    return ''.join([chr(i) for i in [int(b, 2) for b in s.split(' ')]])

def decode(arr):
    return ''.join([chr(i) for i in [int(b, 2) for b in arr]])

str2 = "0101010001001000010101010100001101010100010001100111101101111000011011110011001101011111001100010111001101011111" 
result = list(filter(None,cut_text(str2,8))) # 过滤空字符串
print(decode(result))
# print(decode(cut_text(str2,8)))
print(encode('THUCTF{xo3_1s_'))

二进制字符串转化为bytes

bin_str = '1011001110110111'
>>> int(bin_str,2).to_bytes(2,byteorder='big').decode('GBK')
'撤'
>>> bytes.fromhex(hex(int(bin_str,2))[2:]).decode('GBK')
'撤'

0x02 十六进制表示转换

在CTF比赛中，我们经常需要将字符串转化为16进制表示或者将16进制表示转化为字符串。

下面介绍几种常用的方法：

方式一：通过bytes.hex()函数和bytes.fromhex()函数

>>> __import__('os').popen('cat flag.txt').read()                           # str
'THUCTF{123jkljljfkj322k3jJLIJIHih}\n'                                      #  |
                                                                            #  v
>>> __import__('os').popen('cat flag.txt').read().encode()                  # bytes
b'THUCTF{123jkljljfkj322k3jJLIJIHih}\n'                                     #  |
																																						#  v
>>> __import__('os').popen('cat flag.txt').read().encode().hex()            # hex
'5448554354467b3132336a6b6c6a6c6a666b6a3332326b336a4a4c494a494869687d0a'

# 根据python文档，fromhex这个函数是可以忽略空格的
>>> bytes.fromhex('5448554354467b3132336a6b6c6a6c6a666b6a3332326b336a4a4c494a494869687d0a')
b'THUCTF{123jkljljfkj322k3jJLIJIHih}\n'

>>> bytes.fromhex("666c61 67 7b")
b'flag{'

方式二：借助binascii库中提供的转换函数b2a_hex、a2b_hex

import binascii
>>> text = "flag{123}"
>>> text_to_hex = binascii.b2a_hex(text.encode('ascii'))
>>> binascii.b2a_hex(text.encode('ascii'))
b'666c61677b3132337d'
>>> binascii.a2b_hex(text_to_hex)
b'flag{123}'
>>> binascii.a2b_hex(text_to_hex).decode()
'flag{123}'

>>> binascii.hexlify(text.encode())
b'666c61677b3132337d'
>>> binascii.unhexlify(b'666c61677b3132337d')
b'flag{123}'

0x03 进制转换

在CTF中有些场景，我们需要实现字符串和整数之间的转换

# 首先我们可以借助int()函数实现进制转换
# int()函数可以帮我们快速实现各个进制表示的数字向10进制的转换，
# 有两个参数，第一个参数是数字或是字符串
# 第二个参数是当前进制， 默认为10进制

>>> int('5448554354467b3132336a6b6c6a6c6a666b6a3332326b336a4a4c494a494869687d0a', 16)
639582382831837187405008126370278826828342429603666616964524353865713521244697558282
>>> int('1011001110110111', 2)
46007
>>> int('0b100111000000000',2)
19968
>>> int('0x66637b7d',16)
1717795709

# 10进制转换为16进制
>>> hex(639582382831837187405008126370278826828342429603666616964524353865713521244697558282)
'0x5448554354467b3132336a6b6c6a6c6a666b6a3332326b336a4a4c494a494869687d0a'
# 10进制转换为2进制
>>> bin(19968)
'0b100111000000000'

0x04 Bytes<–>Integer

方式一：借助bytes_to_long和long_to_bytes函数

# bytes_to_long
# long_to_bytes
from Crypto.Util.number import bytes_to_long,long_to_bytes 


>>> bytes_to_long(b'THUCTF{123jkljljfkj322k3jJLIJIHih}\n')
639582382831837187405008126370278826828342429603666616964524353865713521244697558282

>>> long_to_bytes(639582382831837187405008126370278826828342429603666616964524353865713521244697558282)
b'THUCTF{123jkljljfkj322k3jJLIJIHih}\n'

方式二：进制转换

>>> int('THUCTF{123jkljljfkj322k3jJLIJIHih}\n'.encode().hex() , 16)
639582382831837187405008126370278826828342429603666616964524353865713521244697558282
# 其实对比这个函数的运行结果和上面的运行结果，
# 我们可以知道，其实bytes_to_long这个函数就是把字符串先编码成16进制形式，然后再把16进制数转化为整数

>>>bytes.fromhex(hex(639582382831837187405008126370278826828342429603666616964524353865713521244697558282)[2:])
b'THUCTF{123jkljljfkj322k3jJLIJIHih}\n'

方式三：借助Integer类型的库函数to_bytes和from_bytes

https://docs.python.org/3/library/stdtypes.html?highlight=to_bytes#int.to_bytes

to_bytes函数第一个参数是想转换成的字节长度，如果太小会出现overflow。第二个参数是字节序，可以填写大端或者小端。

from_bytes可以直接将bytes转换为整数，和bytes_to_long的功能基本一致。目前暂不确定两者的区别。

>>> int.from_bytes(b'THUCTF{123jkljljfkj322k3jJLIJIHih}\n', 'big')
639582382831837187405008126370278826828342429603666616964524353865713521244697558282

>>> (639582382831837187405008126370278826828342429603666616964524353865713521244697558282).to_bytes(40, byteorder='big')
b'\x00\x00\x00\x00\x00THUCTF{123jkljljfkj322k3jJLIJIHih}\n'

0x00 输出格式

# 把bytes打印成0x格式
def print_hex(bytes):
    l = [hex(int(i)) for i in bytes]
    print(" ".join(l))
    
>>> print_hex(b'flag{123}')
0x66 0x6c 0x61 0x67 0x7b 0x31 0x32 0x33 0x7d

参考资料

1. https://docs.python.org/3/library/stdtypes.html#str.encode
2. https://blingblingxuanxuan.github.io/2021/01/23/study-python3/

赏

谢谢你请我吃糖果