对于操作Oracle、Mysql、Sqlite等多种关系型数据库,推荐使用 Python Records模块 ,其适用于绝大多数关系型数据库的原始SQL操作,同时支持将查询结果导出到xlsx, xls, csv, json, yaml, pandas, html等文件中,强无敌!
我们在开发过程中经常会涉及与数据库进行交互,比如题目中提到的MySQL、Oracle、PostgreSQL、Sqlite关系型数据库。较以往,我们会选择其对应的Python 第三方模块,实现相关数据库的增删改查等操作,不同数据库对应的Python模块如下:
Oracle数据库: cx_OracleMySQL数据库:mysql-connector,pymysqlPostgreSQL数据库:psycopg2SQLite数据库: sqlite3
就像,问题到提到的那样,当同一程序中需要操作不同的数据库时,有没有一种通用的方式或者模块,可以实现不同数据的各种操作呢?否则,我们将不得不面临一个问题,当代码中涉及不同数据库操作时,容易出现代码冗余、不规范,风格不统一等等问题。
那么究竟有没有一种通用而优雅的支持各种数据库操作的库呢?答案是肯定,SQLAlchemy库。
后来接触到 Python SQLAlchemy(ORM框架),其一定程度上解决了各数据库的SQL差异,可是 SQLAlchemy 在消除不同数据库间SQL差异的同时,引入了各框架CRUD的差异。可开发人员往往是具备一定的SQL基础。假如一个框架强制用户只能使用它规定的CRUD形式,那反而增加用户的学习成本,导致学习曲线增长。
当然你也可以尝试SQLAlchemy,那么除了SQLAlchemy 我们还有其他选择吗?
遇见 RecordsRecords 是一个使用简单且功能非常强大的库,适用于绝大多数关系型数据库的 原始SQL操作。强无敌!
Records 有哪些特点呢,如下:
其基于 SQLAlchemy 与 Tablib 开发。使用简单且统一。支持缓存查询的数据。无需关注数据连接状态,自动实现上下文管理器。支持数据库事务,能够保持数据的原子性和一致性。支持安全的参数化查询,防止 因SQL语句不规范而导致安全问题发生。支持主流数据库,如 Oracle, MySQL,Postgres,SQLite等关系型数据库。御剑 Records接下来,我们在Windows 10的Python3环境中,使用pip方式进行安装Records,命令如下:
pip install records安装过程非常简单,如下:
接下来,我们以SQLite数据库为例,介绍如何使用 Records 进行数据库CRUD操作。
关于不同数据库的统一连接方式,如下:
Records 基于 SQLAlchemy 实现的,因此数据库的统一连接方式与SQLAlchemy 相同,如下
Records 操作各种数据的步骤也非常简单,如下:
连接数据库,获取数据库对象。使用数据库对象的 query 方法执行增删改查SQL 语句。根据开发需求,使用 all方法获取查询结果进行处理。说了这么多,接下来,让我们了解下如何使用Records 完成数据库的增删改查等操作。
创建表
数据写入Records 支持安全的参数化,我们可以使用 :variable 定义变量,然后通过传入参数完成动态传值,对于需要动态加载数据的场景来说非常的高效,如批量入库操作。
数据批量写入我们使用SQL 语句实现数据批量入库时,操作比较冗余, Records 模块提供了 bulk_query 方法能够非常简洁的插入数据和更新数据,如下。
数据查询我们可以通过 all 方法获取执行SQL所返回的全部记录,first 方法是获取第一条记录。
字段获取
我们可以像操作字典那样,直接获取对应字段的查询结果,如下:
执行上述代码,输出结果如下:
数据导出我们可以将查询的结果直接导出到xlsx当中,如下:
执行上述代码,实现数据库查询结果的导出到xlsx中,如下:
数据导出为yaml
我们也可以将查询结果直接导出到yaml文件中,如下:
此外,还支持导出为xls, csv, json,pandas, html 等多种数据格式。