kettle 抽取 sqlite文件

简介: sqlite 本身没有太多研究,因此总结可能会有问题,希望大家能够提出错误,并加以修改。 背景: 用户需要的数据存放到sqlite数据库文件,拷贝数据库文件,安装客户端可以访问具体数据(oracle应该不可以) ...
sqlite 本身没有太多研究,因此总结可能会有问题,希望大家能够提出错误,并加以修改。


背景:


用户需要的数据存放到sqlite数据库文件,拷贝数据库文件,安装客户端可以访问具体数据(oracle应该不可以)

首先遇到问题为中文乱码,查找资料发现sqlite的字符集默认为UTF-8(查询命令忘记了)

使用的抽取工具为KETTLE 4.1(5.2)


1.将linux下的xxx.db数据库文件拷贝到工作机(windows)

2.安装sqlite(windows)客户端

3.启动kettle抽取数据文件

选择表输入控件,建立数据库连接,选择连接类型 Generic database ,连接方式Native(jdbc)

自定义连接URL

jdbc:sqlite:C:/gh.db

自定义驱动类型

org.sqlite.JDBC

保存测试成功

网上没有查找到远程连接

jdbd:sqlite:remote_ip/gh.db

谁知道可以告知吗?

由于源头和目标表的数据库的字符集不同,一个是utf-8,另一个是gbk

导致目标表的中文为乱码

首先在表输入的下方选择“允许简易转换”

测试数据,数据测试成功


4.迁移问题

数据库文件在linux服务中(不会配置远程),在linux中安装kettle服务器

将方案配置后发现是乱码,选择“字段选择”控件,在字符集中选择gbk,测试成功



5.升级为数据库kettle

之前都是用kettle文件服务器调度数据抽取 现在要求是使用公司的产品调度kettle

调度中需要 数据库kettle,迁移方案后发现,上面配置又变为乱码。

方案

数据库------->文件-------->数据库

在文件中设置为gbk,中文数据不再是乱码

迁移了几次,改了几次方案,但是不知道具体原因,是因为各个服务器的字符集吗?

文件服务器和数据库服务器中是否也有编码问题?



sqlite数据库可以认为是文件数据库,可以copy复制就可以在各个平台中运行









目录
相关文章
|
28天前
|
监控 关系型数据库 数据库
OceanBase数据库常见问题之文件存在但是数据库提示文件不存在如何解决
OceanBase 是一款由阿里巴巴集团研发的企业级分布式关系型数据库,它具有高可用、高性能、可水平扩展等特点。以下是OceanBase 数据库使用过程中可能遇到的一些常见问题及其解答的汇总,以帮助用户更好地理解和使用这款数据库产品。
|
29天前
|
API 数据库 C语言
【C/C++ 数据库 sqlite3】SQLite C语言API返回值深入解析
【C/C++ 数据库 sqlite3】SQLite C语言API返回值深入解析
169 0
|
1月前
|
SQL Java 数据库连接
从来没想到我们会扒拉nohup文件去找我们想要的数据,然后往数据库中添加。。。...
从来没想到我们会扒拉nohup文件去找我们想要的数据,然后往数据库中添加。。。...
17 0
|
2月前
|
存储 监控 安全
内网屏幕监控软件的数据存储与管理:使用SQLite数据库保存监控记录和配置信息
在当今数字化时代,安全和监控在企业和组织中变得至关重要。内网屏幕监控软件作为一种关键工具,帮助组织监视员工的活动并确保信息安全。这种软件不仅需要高效地记录和管理监控数据,还需要能够方便地进行配置和调整。本文将讨论如何使用SQLite数据库来保存监控记录和配置信息,并介绍如何通过自动化机制将监控到的数据提交到指定网站。
158 2
|
1天前
|
NoSQL MongoDB 数据库
MongoDB数据恢复—MongoDB数据库文件被破坏的数据恢复案例
服务器数据恢复环境: 一台Windows Server操作系统服务器,服务器上部署MongoDB数据库。 MongoDB数据库故障&检测: 工作人员在未关闭MongoDB数据库服务的情况下,将数据库文件拷贝到其他分区。拷贝完成后将原MongoDB数据库所在分区进行了格式化操作,然后将数据库文件拷回原分区,重新启动MongoDB服务,服务无法启动。
|
6天前
|
存储 关系型数据库 MySQL
如何处理爬取到的数据,例如存储到数据库或文件中?
处理爬取的数据,可存储为txt、csv(适合表格数据)或json(适合结构化数据)文件。若需存储大量数据并执行复杂查询,可选择关系型(如MySQL)或非关系型(如MongoDB)数据库。以MySQL为例,需安装数据库和Python的pymysql库,创建数据库和表,然后编写Python代码进行数据操作。选择存储方式应考虑数据类型、数量及后续处理需求。
14 1
|
11天前
|
SQL 关系型数据库 数据库
Python中SQLite数据库操作详解:利用sqlite3模块
【4月更文挑战第13天】在Python编程中,SQLite数据库是一个轻量级的关系型数据库管理系统,它包含在一个单一的文件内,不需要一个单独的服务器进程或操作系统级别的配置。由于其简单易用和高效性,SQLite经常作为应用程序的本地数据库解决方案。Python的内置sqlite3模块提供了与SQLite数据库交互的接口,使得在Python中操作SQLite数据库变得非常容易。
|
16天前
|
关系型数据库 MySQL 数据库连接
Python+SQLite数据库实现服务端高并发写入
Python中使用SQLite内存模式实现高并发写入:创建内存数据库连接,建立表格,通过多线程并发写入数据。虽然能避免数据竞争,但由于SQLite内存模式采用锁机制,可能在高并发时引发性能瓶颈。若需更高性能,可选择MySQL或PostgreSQL。
19 0
|
1月前
|
SQL Java 数据库连接
springboot解析txt文件顺便加到数据库中(nohup文件)
springboot解析txt文件顺便加到数据库中(nohup文件)
112 1
|
1月前
|
关系型数据库 数据库 C++
嵌入式数据库sqlite3【基础篇】基本命令操作,小白一看就懂(C/C++)
嵌入式数据库sqlite3【基础篇】基本命令操作,小白一看就懂(C/C++)