CyberDB，内存一个基于 Python 字典和列表的数据使用实例内存数据库。 概括CyberDB 是内存一个轻量级的 Python 内存数据库。它旨在利用 Python 内置数据结构字典、数据使用实例列表作数据存储，内存通过 TCP 套接字高效通信，数据使用实例并提供了数据持久化。内存该数据库的数据使用实例亮点在于它使用了 Pythonic 的方式编程，你可以像使用字典和列表一样使用 CyberDB。内存 现在我们把 CyberDB 带到能发挥其作用的数据使用实例地方，在生产环境中将 CyberDB 作为 Flask 的内存内存数据库，使用 Gunicorn 运行，数据使用实例并实现多进程间的内存通信。 这篇文章通过一个尽可能精简的数据使用实例 Flask 实例讲解，不会涉及复杂的内存 Web 知识。核心思路为 CyberDB + Gunicorn + Gevent + Flask(多进程 + 协程)，启动一个 CyberDB 服务器，使用 Gunicorn 多进程运行 Flask 实例，每个进程的实例通过 Gevent 运行，进程中使用 CyberDB 客户端连接至内存数据库，由此实现对 CyberDB 数据库的高并发访问。 源码解析文章使用 PyPy 运行，站群服务器同样适用 CPython。 运行环境: Debian 10, Python 3.8.12, PyPy 7.3.7 此项目的目录结构 复制 . ├── app.py ├── cyberdb_init.py ├── cyberdb_serve.py ├── requirements.txt └── venv1.2.3.4.5.6.我们通过列举每个文件的内容顺序讲解 CyberDB 的核心操作。 文件 requirements.txt 复制 CyberDB>=0.7.1 Flask==2.1.1 gevent==21.12.0 gunicorn==20.1.01.2.3.4.这是此项目的依赖。这篇文章不是 Python 基础教程，如果你不清楚，请查询相关文档创建虚拟环境 venv 目录并安装 requirements.txt 中的依赖。 生成 venv 目录并安装好依赖后，下面所有操作都在激活的虚拟环境中运行。 文件 cyberdb_init.py功能：初始化 CyberDB 的表结构，只在第一次运行时使用，后续不再使用。 复制 import time import cyberdb db = cyberdb.Server() # 配置 CyberDB 服务端的 地址、端口、密码。 db.start(host=127.0.0.1, port=9980, password=123456) # 待服务端启动后，连接 CyberDB 服务端。 time.sleep(3) client = cyberdb.connect(host=127.0.0.1, port=9980, password=123456) # 生成 proxy 对象。 with client.get_proxy() as proxy: # 创建类型为 CyberDict 的表 centre，并初始化内容。 proxy.create_cyberdict(centre) centre = proxy.get_cyberdict(centre) centre[content] = Hello CyberDB! # 将 CyberDB 保存至 data.cdb 。 db.save_db(data.cdb)1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.在项目根目录执行 复制python cyberdb_init.py1.以完成 CyberDB 数据库表的初始化。b2b信息网 它会在 CyberDB 中创建了一个名为 centre、类型为 CyberDict 的表;初始化 content 键的值为 Hello CyberDB!;最后将 CyberDB 数据库保存至硬盘(在项目根目录生成了名为 data.cdb 的文件)。 文件 cyberdb_serve.py功能：运行 CyberDB 服务端。 复制 import cyberdb def main(): # 后台运行 CyberDB 服务端，设置相关信息。 db = cyberdb.Server() # 从硬盘读取 data.cdb 至 CyberDB。 db.load_db(data.cdb) # 每 300 秒备份一次数据库。 db.set_backup(data.cdb, cycle=300) db.run( host=127.0.0.1, # TCP 运行地址 port=9980, # TCP 监听端口 password=hWjYvVdqRC, # 数据库连接密码 max_con=10000, # 最大并发数 encrypt=True, # 加密通信 print_log=False # 不打印日志) if __name__ == __main__: main()1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.在项目根目录执行 复制python cyberdb_serve.py1.以运行 CyberDB 服务端。 此处设置了 encrypt=True ，CyberDB 会将 TCP 通信内容使用 AES-256 算法加密。开启 encrypt=True 后，CyberDB 仅允许白名单中的 IP 通信，默认白名单为 [127.0.0.1](查看白名单 设置方法)。一般，若只需在本地进程间通信，无需开启 encrypt=True 和设置白名单，只有远程通信时需要此操作。 文件 app.py功能：运行 Flask 实例和 CyberDB 客户端。 复制 import cyberdb from flask import Flask, g # 连接 CyberDB 并生成客户端实例。 client = cyberdb.connect( host=127.0.0.1, port=9980, password=hWjYvVdqRC, # 服务端若加密，客户端必须加密，反之亦然。 encrypt=True, # 每个连接若超过900秒无操作，将舍弃该连接。 # 连接由连接池智能管理，无需关注细节。 time_out=900) # 创建 Flask 实例，此部分请参考 # Flask 文档 https://flask.palletsprojects.com/ app = Flask(__name__) @app.before_request def before_request(): # 每次请求执行前生成 proxy 对象。 g.proxy = client.get_proxy() # 从连接池获取连接。IT技术网 g.proxy.connect() @app.get("/") def hello_world(): # 从数据库获取 centre 表。 centre = g.proxy.get_cyberdict(centre) return{ code: 1, content: centre[content] } @app.teardown_request def teardown_request(error): # 每次请求执行后归还连接至连接池。 g.proxy.close() if __name__ == __main__: app.run(host=127.0.0.1, port=8000)1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32.33.34.35.36.37.该模块会在每次请求执行前(before_request())使用 client.get_proxy() 获取 proxy 对象，每个获取的 proxy 对象可以绑定一个 TCP 连接，此处使用 proxy.connect() 从连接池获取连接。视图函数 hello_world() 中，由 proxy 获取的对象 centre，与 proxy 共用同一个连接，proxy 的连接释放后，centre 也会失去连接。在每次请求后(teardown_request())使用 proxy.close() 方法释放 proxy 绑定的连接，归还至连接池。 cyberdb.connect 的 time_out 参数表示连接池中每个连接的超时时间，此处每个连接超过 900 秒无操作将被舍弃。若不设置该参数，连接池的每个连接会维持到失效为止。 使用 Gunicorn 运行 Flask 实例Gunicorn 是一个用于 UNIX 的 Python WSGI HTTP 服务器，通常在生产环境使用，可以利用多核 CPU 。 Gevent 是一个基于协程的 Python 网络库。Gevent 会更改 CyberDB 客户端的底层套接字通信，使之支持协程。 在项目根目录运行 复制 gunicorn -w 4 -b 127.0.0.1:8000 -k gevent app:app1.使用 4 进程、Gevent 启动 Flask 实例。 浏览器访问 127.0.0.1:8000 ，得到如下响应： 复制 {"code":1,"content":"Hello CyberDB!"}1.参考信息 CyberDB 源码: https://github.com/Cyberbolt/CyberDB 总结通过此例，你可以把 CyberDB 部署到更复杂的 Web 环境中，充分享受内存的低延迟特性。CyberDB 的核心是以 Pythonic 的方式编程，你可以在任何 Python 代码中将 CyberDB 作为内存数据库。 作者简介： Cyberbolt：一个自由的 Python 开发者。 |
