当前位置:首页 > 经验 >

文件数据库有哪些(存储大量文件用什么数据库)

来源:原点资讯(m.360kss.com)时间:2022-10-27 00:12:17作者:YD166手机阅读>>

生活中,你我一定都看到过这种「xx元爆改出租屋」,「爆改小汽车」之类的文章,做为IT人,折腾的劲头一点也不差。

软件开发过程中,你是否有时候,会拿着业务提供的一个个CSV或者json的数据文件,写个解析程序,把它们存到数据库里,再在自己的程序里通过数据库读出来?

其实不用这么麻烦,还绕了一个大圈。

今天,我们一起来「爆改」JSON/CSV这类文件,把它们打造成 Mysql一样的关系型数据库,一套SQL查询走天下。:-)

第一步:代码里加入Maven依赖

<dependency> <groupId>org.apache.calcite</groupId> <artifactId>calcite-file</artifactId> <version>1.21.0</version> </dependency>

通过这一步,你大概就看出来,咱们今天的爆改,主要依赖 Calcite,这个Apache的顶级项目。

来张官网截图感受下:

文件数据库有哪些,存储大量文件用什么数据库(1)

简单介绍的话,它是个数据库查询和优化的引擎,不负责具体的存储。

所以介绍里人家自己也说了,是你高性能数据库的地基。许多的开源项目是基于它做的,比如大名鼎鼎的这些:

文件数据库有哪些,存储大量文件用什么数据库(2)

第二步:添加配置文件

配置的JSON 文件,一般是下面这样子:

改造的配置文件,就像行军打仗的地图一样,来告诉我们往哪走,这里的配置文件,对应到关系型数据库里,就像是哪个库,哪些表一样。

{ "version": "1.0", "defaultSchema": "SALES", "schemas": [ { "name": "SALES", "type": "custom", "factory": "org.apache.calcite.adapter.file.FileSchemaFactory", "operand": { "directory": "sales" } } ] }

其中schemas 表示都有哪些数据库, defaultSchema 当然是默认数据库了。factory 表示当前的数据文件,我们使用哪种Schema的形式进行解析。因为 Calcite 可以支持多种数据格式,通过这个图你也能感受到几分吧。

文件数据库有哪些,存储大量文件用什么数据库(3)

第三步:JDBC Style

通过 JDBC 的形式就能连接到我们自己的数据库查询了。代码和一般的JDBC类似,区别只在于连接URL的写法上,需要将配置文件的位置声明一下。

public class Demo { public static void main(String[] args) throws SQLException, ClassNotFoundException { Class.forName("org.apache.calcite.jdbc.Driver"); Properties config = new Properties(); config.put("model", "./src/main/resources/model.json"); String sql = "select * from hello"; try (Connection con = DriverManager.getConnection("jdbc:calcite:", config)) { try (Statement stmt = con.createStatement()) { ResultSet rs = stmt.executeQuery(sql); while (rs.next()) { System.out.println(rs.getString(2)); } } } } }


其中SQL 语句,可以支持条件过滤,join 等所有的标准SQL。

整体项目结构如下:

文件数据库有哪些,存储大量文件用什么数据库(4)

PS: 忘了提一句,对于CSV文件,第一行需要将各列列名和类型加上,表示数据库表里定义的列。

文件数据库有哪些,存储大量文件用什么数据库(5)

你说我很忙,不想啰哩啰嗦再写个Java程序,办法也还有。有个程序叫 sqlline,可以方便你在命令行里执行,一个脚本连接到对应的文件数据库之后,就开始你飞一般的SQL表演吧。

sqlline> !connect jdbc:calcite:model=src/main/resources/model.json admin admin

文件数据库有哪些,存储大量文件用什么数据库(6)

Have fun!

作者:Tomcat那些事儿

原文:https://my.oschina.net/u/4585957/blog/4875292

栏目热文

四大国产数据库上市公司(国产数据库替代概念股)

四大国产数据库上市公司(国产数据库替代概念股)

2022年6月29日,科创板受理武汉达梦数据库股份有限公司上市申请。主要财务数据:近三年营收分别为 7.43 亿、4.5...

2022-10-27 00:17:24查看全文 >>

数据库有什么库(数据库中的架构是什么)

数据库有什么库(数据库中的架构是什么)

概述sqlserver目前虽然基本上很少用了,不过很多老系统还是用的这个数据库,简单做个了解有备无患。有注意观察的朋友就...

2022-10-27 00:25:16查看全文 >>

数据库主要有哪几种(数据库在生活中的实例)

数据库主要有哪几种(数据库在生活中的实例)

背景在分布式系统架构中,业务的流量都是端到端的。每个请求都会经过很多层处理,比如从入口网关再到 Web Server 再...

2022-10-27 00:23:46查看全文 >>

数据库编程用什么软件(自制excel数据库系统)

数据库编程用什么软件(自制excel数据库系统)

众所周知,Mysql 是目前使得最广泛、最流行的数据库技术之一,为了更方便的管理数据库,市场上出现了大量软件公司和个人开...

2022-10-27 00:09:35查看全文 >>

数据库全部包括哪些(国内实时数据库排名)

数据库全部包括哪些(国内实时数据库排名)

去年,Alphabet的DeepMind发布了一个开源数据库,其中包含数十万种蛋白质的3D结构,包括人体中所有的2万种已...

2022-10-27 00:32:34查看全文 >>

数据库种类(大数据真实案例100例)

数据库种类(大数据真实案例100例)

随着数字经济蓬勃发展,大数据产业不断升级。数据库的重要性与芯片、操作系统并行,成为我国现代信息技术领域的三大核心基础。近...

2022-10-27 00:24:41查看全文 >>

数据库查询语句大全(数据库查询操作怎么写)

数据库查询语句大全(数据库查询操作怎么写)

最近我在学习MySQL,以前对它也略有了解,但是并不太会运用,这段时间把MySQL的相关语句系统地学习了一下,下面是学习...

2022-10-27 00:10:14查看全文 >>

有哪几种数据库(最新国产数据库排名)

有哪几种数据库(最新国产数据库排名)

进入了一个大数据时代,数据的特征发生了的变化,规模大、数据多,使得大数据存储本身也需要面对很多的问题。 大数据技术当中,...

2022-10-27 00:38:17查看全文 >>

检索中文期刊的数据库有哪些(简答中文期刊数据库的检索方法)

检索中文期刊的数据库有哪些(简答中文期刊数据库的检索方法)

现在是毕业季以及很多人要升职称,很多学弟学妹评奖评优以及教师在评职称需要发论文时,在选刊这一步就陷入了无限的困惑和纠结,...

2022-10-27 00:32:18查看全文 >>

数据库到底是什么(数据库是怎么理解的)

数据库到底是什么(数据库是怎么理解的)

数据库是存放数据的仓库。它的存储空间很大,可以存放百万条、千万条、上亿条数据。但是数据库并不是随意地将数据进行存放,是有...

2022-10-27 00:41:49查看全文 >>

文档排行