备案控制台
探索云世界
开发者社区 数据库 文章 正文

TSPITR方式数据库找回误操作丢失的数据

2018-07-30 1723
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

一、TSPITR介绍

        TSPITR全称是Tablespace Point In Time Recover（表空间基于时间点的不完全恢复）。原理是通过辅助实例基于时间还原出误操作前的数据通过DataPump将数据导入到目标数据库。TSPITR的最大好处是不需要生产库停机。

二、适用场景

表空间时点恢复适用用以下场景：
    ①错误的批处理作业或数据操作语言DML
    ②恢复数据定义语言（DDL）后丢失的数据操作，改变表的结构。不能使用闪回表将表倒回结构更改点之前，例如截断表(truncate)操作。
    ③恢复drop时使用了purge选项的表
    ④恢复存在逻辑错误的表
    ⑤恢复被删除的表空间，RMAN可以在被drop的表空间上面执行TSPITR
    ⑥与全库级别闪回相比，表空间时点恢复停留在表空间级别，影响较全库闪回较小。其次，数据库闪回功能需要承担维护闪回日志开启的相关性能开销。

三、TSPITR前提

1、有一套有效全库备份，因为TSPITR这个过程除了复制需要恢复的表空间外，也必须复制system，sysaux和undo表空间
2、需要回复的表空间需要自包含，可以通过TS_PITR_CHECK视图查看自包含信息。表空间上存在约束关系(依赖)表的情形，依赖关系所在的表空间也需要一同做时点恢复(如外键参照，不在同一时点，则违反参照约束)
3、对于索引与数据分离的表空间在时点恢复时，应先删除索引
4、不能恢复数据库当前的缺省表空间
5、不能恢复以下对象：
    ①存在依赖关系的物化视图，分区表等(如果要恢复，先解决依赖)
    ②undo表空间，undo段
    ③sys模式下的对象(如PL/SQL，views, synonyms, users…)

四、测试过程

1、对全库做一个全备（之前做过全库备份并且有效这步可以忽略）

RMAN> backup database format '/u01/rman_bak/all_db_%U.bak';

启动 backup 于 2018-07-29 19:19:31
使用通道 ORA_DISK_1
通道 ORA_DISK_1: 正在启动全部数据文件备份集
通道 ORA_DISK_1: 正在指定备份集内的数据文件
输入数据文件: 文件号=00001 名称=/u01/app/oracle/oradata/vbox66db/system01.dbf
输入数据文件: 文件号=00002 名称=/u01/app/oracle/oradata/vbox66db/sysaux01.dbf
输入数据文件: 文件号=00003 名称=/u01/app/oracle/oradata/vbox66db/undotbs01.dbf
输入数据文件: 文件号=00004 名称=/u01/app/oracle/oradata/vbox66db/users01.dbf
输入数据文件: 文件号=00005 名称=/u01/app/oracle/oradata/vbox66db/test01.dbf
通道 ORA_DISK_1: 正在启动段 1 于 2018-07-29 19:19:31
通道 ORA_DISK_1: 已完成段 1 于 2018-07-29 19:21:37
段句柄=/u01/rman_bak/all_db_0kt98563_1_1.bak 标记=TAG20180729T191931 注释=NONE
通道 ORA_DISK_1: 备份集已完成, 经过时间:00:02:06
通道 ORA_DISK_1: 正在启动全部数据文件备份集
通道 ORA_DISK_1: 正在指定备份集内的数据文件
备份集内包括当前控制文件
备份集内包括当前的 SPFILE
通道 ORA_DISK_1: 正在启动段 1 于 2018-07-29 19:21:44
通道 ORA_DISK_1: 已完成段 1 于 2018-07-29 19:21:45
段句柄=/u01/rman_bak/all_db_0lt985a1_1_1.bak 标记=TAG20180729T191931 注释=NONE
通道 ORA_DISK_1: 备份集已完成, 经过时间:00:00:01
完成 backup 于 2018-07-29 19:21:45

RMAN>

2、创建一个测试表空间

①创建testdb表空间

SYS@vbox66in>create tablespace testdb datafile '/u01/app/oracle/oradata/vbox66db/testdb01.dbf' size 100M autoextend on;

表空间已创建。

SYS@vbox66in>select name from v$datafile;

NAME
--------------------------------------------------------------------------------
/u01/app/oracle/oradata/vbox66db/system01.dbf
/u01/app/oracle/oradata/vbox66db/sysaux01.dbf
/u01/app/oracle/oradata/vbox66db/undotbs01.dbf
/u01/app/oracle/oradata/vbox66db/users01.dbf
/u01/app/oracle/oradata/vbox66db/test01.dbf
/u01/app/oracle/oradata/vbox66db/testdb01.dbf

已选择6行。

SYS@vbox66in>

SYS@vbox66in>alter user scott default tablespace testdb;

用户已更改。

②创建测试表

SCOTT@vbox66in>create table test01 tablespace testdb as select * from emp;

表已创建。

SCOTT@vbox66in>create table test02 tablespace testdb as select * from dept;

表已创建。
SCOTT@vbox66in>alter table test01 add primary key(empno);

表已更改。

SCOTT@vbox66in>alter table test02 add primary key(deptno);

表已更改。

SCOTT@vbox66in>alter table test01 add constraints test01_fk foreign key(deptno) references test02(deptno);

表已更改。

SCOTT@vbox66in>

SCOTT@vbox66in>commit;

提交完成。

SCOTT@vbox66in>

③RMAN备份testdb表空间

RMAN> backup tablespace testdb format '/u01/rman_bak/testdb_%U.bak';

启动 backup 于 2018-07-29 21:01:53
使用通道 ORA_DISK_1
通道 ORA_DISK_1: 正在启动全部数据文件备份集
通道 ORA_DISK_1: 正在指定备份集内的数据文件
输入数据文件: 文件号=00006 名称=/u01/app/oracle/oradata/vbox66db/testdb01.dbf
通道 ORA_DISK_1: 正在启动段 1 于 2018-07-29 21:01:53
通道 ORA_DISK_1: 已完成段 1 于 2018-07-29 21:01:54
段句柄=/u01/rman_bak/testdb_0mt98b61_1_1.bak 标记=TAG20180729T210153 注释=NONE
通道 ORA_DISK_1: 备份集已完成, 经过时间:00:00:01
完成 backup 于 2018-07-29 21:01:54

RMAN>

④取当前时间，以便之后还原时用

SCOTT@vbox66in>select sysdate from dual;

SYSDATE
-------------------
2018-07-29 21:03:31

SCOTT@vbox66in>

⑤误操作删除表test01、test02数据（这里是测试，）

SCOTT@vbox66in>truncate table test02;

表被截断。

SCOTT@vbox66in>truncate table test01;

表被截断。

SCOTT@vbox66in>select * from test01;

未选定行

SCOTT@vbox66in>select * from test02;

未选定行

SCOTT@vbox66in>

⑥建立目录指定辅助库目标，

[oracle@vbox66 ~]$ mkdir -p /tmp/auxdata
[oracle@vbox66 ~]$ ll /tmp/auxdata/
总计 0
[oracle@vbox66 ~]$ ll -d /tmp/auxdata/
drwxr-xr-x 2 oracle oinstall 4096 07-29 21:16 /tmp/auxdata/

⑦做RMAN TSPITR 并指定辅助库目的地

RMAN> recover tablespace testdb until time '2018-07-29 22:11:35' auxiliary destination '/tmp/auxdata';    //这个时间和上面记录的有点出入，因为期间修改过一次，道理上一致
启动 recover 于 2018-07-29 22:15:28
使用通道 ORA_DISK_1
RMAN-05026: 警告: 假定以下表空间集适用于指定的时间点

表空间列表要求具有 UNDO 段
表空间 SYSTEM
表空间 UNDOTBS1

使用 SID='Fcny' 创建自动实例

供自动实例使用的初始化参数:
db_name=VBOX66DB
db_unique_name=Fcny_tspitr_VBOX66DB
compatible=11.2.0.4.0
db_block_size=8192
db_files=200
sga_target=1G
processes=80
db_create_file_dest=/tmp/auxdata
log_archive_dest_1='location=/tmp/auxdata'
#No auxiliary parameter file used


启动自动实例 VBOX66DB

Oracle 实例已启动

系统全局区域总计    1068937216 字节

Fixed Size                     2260088 字节
Variable Size                281019272 字节
Database Buffers             780140544 字节
Redo Buffers                   5517312 字节
自动实例已创建
对恢复集表空间运行 TRANSPORT_SET_CHECK
TRANSPORT_SET_CHECK 已成功完成

内存脚本的内容:
{
# set requested point in time
set until  time "2018-07-29 22:11:35";
# restore the controlfile
restore clone controlfile;
# mount the controlfile
sql clone 'alter database mount clone database';
# archive current online log 
sql 'alter system archive log current';
# avoid unnecessary autobackups for structural changes during TSPITR
sql 'begin dbms_backup_restore.AutoBackupFlag(FALSE); end;';
}
正在执行内存脚本

正在执行命令: SET until clause

启动 restore 于 2018-07-29 22:15:43
分配的通道: ORA_AUX_DISK_1
通道 ORA_AUX_DISK_1: SID=19 设备类型=DISK

通道 ORA_AUX_DISK_1: 正在开始还原数据文件备份集
通道 ORA_AUX_DISK_1: 正在还原控制文件
通道 ORA_AUX_DISK_1: 正在读取备份片段 /u01/rman_bak/full_db_0pt98f62_1_1.bak
通道 ORA_AUX_DISK_1: 段句柄 = /u01/rman_bak/full_db_0pt98f62_1_1.bak 标记 = TAG20180729T220804
通道 ORA_AUX_DISK_1: 已还原备份片段 1
通道 ORA_AUX_DISK_1: 还原完成, 用时: 00:00:01
输出文件名=/tmp/auxdata/VBOX66DB/controlfile/o1_mf_fovm0jqt_.ctl
完成 restore 于 2018-07-29 22:15:45

sql 语句: alter database mount clone database

sql 语句: alter system archive log current

sql 语句: begin dbms_backup_restore.AutoBackupFlag(FALSE); end;

内存脚本的内容:
{
# set requested point in time
set until  time "2018-07-29 22:11:35";
plsql <<<-- tspitr_2
declare
  sqlstatement       varchar2(512);
  offline_not_needed exception;
  pragma exception_init(offline_not_needed, -01539);
begin
  sqlstatement := 'alter tablespace '||  'TESTDB' ||' offline immediate';
  krmicd.writeMsg(6162, sqlstatement);
  krmicd.execSql(sqlstatement);
exception
  when offline_not_needed then
    null;
end; >>>;
# set destinations for recovery set and auxiliary set datafiles
set newname for clone datafile  1 to new;
set newname for clone datafile  3 to new;
set newname for clone datafile  2 to new;
set newname for clone tempfile  1 to new;
set newname for datafile  6 to 
 "/u01/app/oracle/oradata/vbox66db/testdb01.dbf";
# switch all tempfiles
switch clone tempfile all;
# restore the tablespaces in the recovery set and the auxiliary set
restore clone datafile  1, 3, 2, 6;
switch clone datafile all;
}
正在执行内存脚本

正在执行命令: SET until clause

sql 语句: alter tablespace TESTDB offline immediate

正在执行命令: SET NEWNAME

正在执行命令: SET NEWNAME

正在执行命令: SET NEWNAME

正在执行命令: SET NEWNAME

正在执行命令: SET NEWNAME

临时文件 1 在控制文件中已重命名为 /tmp/auxdata/VBOX66DB/datafile/o1_mf_temp_%u_.tmp

启动 restore 于 2018-07-29 22:15:56
使用通道 ORA_AUX_DISK_1

通道 ORA_AUX_DISK_1: 正在开始还原数据文件备份集
通道 ORA_AUX_DISK_1: 正在指定从备份集还原的数据文件
通道 ORA_AUX_DISK_1: 将数据文件 00001 还原到 /tmp/auxdata/VBOX66DB/datafile/o1_mf_system_%u_.dbf
通道 ORA_AUX_DISK_1: 将数据文件 00003 还原到 /tmp/auxdata/VBOX66DB/datafile/o1_mf_undotbs1_%u_.dbf
通道 ORA_AUX_DISK_1: 将数据文件 00002 还原到 /tmp/auxdata/VBOX66DB/datafile/o1_mf_sysaux_%u_.dbf
通道 ORA_AUX_DISK_1: 将数据文件 00006 还原到 /u01/app/oracle/oradata/vbox66db/testdb01.dbf
通道 ORA_AUX_DISK_1: 正在读取备份片段 /u01/rman_bak/full_db_0ot98f25_1_1.bak
通道 ORA_AUX_DISK_1: 段句柄 = /u01/rman_bak/full_db_0ot98f25_1_1.bak 标记 = TAG20180729T220804
通道 ORA_AUX_DISK_1: 已还原备份片段 1
通道 ORA_AUX_DISK_1: 还原完成, 用时: 00:02:25
完成 restore 于 2018-07-29 22:18:21

数据文件 1 已转换成数据文件副本
输入数据文件副本 RECID=4 STAMP=982793902 文件名=/tmp/auxdata/VBOX66DB/datafile/o1_mf_system_fovm0ws4_.dbf
数据文件 3 已转换成数据文件副本
输入数据文件副本 RECID=5 STAMP=982793902 文件名=/tmp/auxdata/VBOX66DB/datafile/o1_mf_undotbs1_fovm0wsx_.dbf
数据文件 2 已转换成数据文件副本
输入数据文件副本 RECID=6 STAMP=982793902 文件名=/tmp/auxdata/VBOX66DB/datafile/o1_mf_sysaux_fovm0wsb_.dbf

内存脚本的内容:
{
# set requested point in time
set until  time "2018-07-29 22:11:35";
# online the datafiles restored or switched
sql clone "alter database datafile  1 online";
sql clone "alter database datafile  3 online";
sql clone "alter database datafile  2 online";
sql clone "alter database datafile  6 online";
# recover and open resetlogs
recover clone database tablespace  "TESTDB", "SYSTEM", "UNDOTBS1", "SYSAUX" delete archivelog;
alter clone database open resetlogs;
}
正在执行内存脚本

正在执行命令: SET until clause

sql 语句: alter database datafile  1 online

sql 语句: alter database datafile  3 online

sql 语句: alter database datafile  2 online

sql 语句: alter database datafile  6 online

启动 recover 于 2018-07-29 22:18:22
使用通道 ORA_AUX_DISK_1

正在开始介质的恢复

线程 1 序列 22 的归档日志已作为文件 /u01/app/oracle/oradata/arch/1_22_974146828.dbf 存在于磁盘上
归档日志文件名=/u01/app/oracle/oradata/arch/1_22_974146828.dbf 线程=1 序列=22
介质恢复完成, 用时: 00:00:02
完成 recover 于 2018-07-29 22:18:25

数据库已打开

内存脚本的内容:
{
# make read only the tablespace that will be exported
sql clone 'alter tablespace  TESTDB read only';
# create directory for datapump import
sql "create or replace directory TSPITR_DIROBJ_DPDIR as ''
/tmp/auxdata''";
# create directory for datapump export
sql clone "create or replace directory TSPITR_DIROBJ_DPDIR as ''
/tmp/auxdata''";
}
正在执行内存脚本

sql 语句: alter tablespace  TESTDB read only

sql 语句: create or replace directory TSPITR_DIROBJ_DPDIR as ''/tmp/auxdata''

sql 语句: create or replace directory TSPITR_DIROBJ_DPDIR as ''/tmp/auxdata''

正在执行元数据导出...
   EXPDP> 启动 "SYS"."TSPITR_EXP_Fcny":  
   EXPDP> 处理对象类型 TRANSPORTABLE_EXPORT/PLUGTS_BLK
   EXPDP> 处理对象类型 TRANSPORTABLE_EXPORT/TABLE
   EXPDP> 处理对象类型 TRANSPORTABLE_EXPORT/CONSTRAINT/CONSTRAINT
   EXPDP> 处理对象类型 TRANSPORTABLE_EXPORT/INDEX_STATISTICS
   EXPDP> 处理对象类型 TRANSPORTABLE_EXPORT/CONSTRAINT/REF_CONSTRAINT
   EXPDP> 处理对象类型 TRANSPORTABLE_EXPORT/POST_INSTANCE/PLUGTS_BLK
   EXPDP> 已成功加载/卸载了主表 "SYS"."TSPITR_EXP_Fcny" 
   EXPDP> ******************************************************************************
   EXPDP> SYS.TSPITR_EXP_Fcny 的转储文件集为:
   EXPDP>   /tmp/auxdata/tspitr_Fcny_42764.dmp
   EXPDP> ******************************************************************************
   EXPDP> 可传输表空间 TESTDB 所需的数据文件:
   EXPDP>   /u01/app/oracle/oradata/vbox66db/testdb01.dbf
   EXPDP> 作业 "SYS"."TSPITR_EXP_Fcny" 已于 星期日 7月 29 22:20:31 2018 elapsed 0 00:01:15 成功完成
导出完毕


内存脚本的内容:
{
# shutdown clone before import
shutdown clone immediate
# drop target tablespaces before importing them back
sql 'drop tablespace  TESTDB including contents keep datafiles cascade constraints';
}
正在执行内存脚本

数据库已关闭
数据库已卸装
Oracle 实例已关闭

sql 语句: drop tablespace  TESTDB including contents keep datafiles cascade constraints

正在执行元数据导入...
   IMPDP> 已成功加载/卸载了主表 "SYS"."TSPITR_IMP_Fcny" 
   IMPDP> 启动 "SYS"."TSPITR_IMP_Fcny":  
   IMPDP> 处理对象类型 TRANSPORTABLE_EXPORT/PLUGTS_BLK
   IMPDP> 处理对象类型 TRANSPORTABLE_EXPORT/TABLE
   IMPDP> 处理对象类型 TRANSPORTABLE_EXPORT/CONSTRAINT/CONSTRAINT
   IMPDP> 处理对象类型 TRANSPORTABLE_EXPORT/INDEX_STATISTICS
   IMPDP> 处理对象类型 TRANSPORTABLE_EXPORT/CONSTRAINT/REF_CONSTRAINT
   IMPDP> 处理对象类型 TRANSPORTABLE_EXPORT/POST_INSTANCE/PLUGTS_BLK
   IMPDP> 作业 "SYS"."TSPITR_IMP_Fcny" 已于 星期日 7月 29 22:21:27 2018 elapsed 0 00:00:10 成功完成
导入完毕


内存脚本的内容:
{
# make read write and offline the imported tablespaces
sql 'alter tablespace  TESTDB read write';
sql 'alter tablespace  TESTDB offline';
# enable autobackups after TSPITR is finished
sql 'begin dbms_backup_restore.AutoBackupFlag(TRUE); end;';
}
正在执行内存脚本

sql 语句: alter tablespace  TESTDB read write

sql 语句: alter tablespace  TESTDB offline

sql 语句: begin dbms_backup_restore.AutoBackupFlag(TRUE); end;

删除自动实例
自动实例已删除
已删除辅助实例文件 /tmp/auxdata/VBOX66DB/datafile/o1_mf_temp_fovm638r_.tmp
已删除辅助实例文件 /tmp/auxdata/VBOX66DB/onlinelog/o1_mf_3_fovm5vqb_.log
已删除辅助实例文件 /tmp/auxdata/VBOX66DB/onlinelog/o1_mf_2_fovm5p7q_.log
已删除辅助实例文件 /tmp/auxdata/VBOX66DB/onlinelog/o1_mf_1_fovm5krt_.log
已删除辅助实例文件 /tmp/auxdata/VBOX66DB/datafile/o1_mf_sysaux_fovm0wsb_.dbf
已删除辅助实例文件 /tmp/auxdata/VBOX66DB/datafile/o1_mf_undotbs1_fovm0wsx_.dbf
已删除辅助实例文件 /tmp/auxdata/VBOX66DB/datafile/o1_mf_system_fovm0ws4_.dbf
已删除辅助实例文件 /tmp/auxdata/VBOX66DB/controlfile/o1_mf_fovm0jqt_.ctl
完成 recover 于 2018-07-29 22:21:32

RMAN>

⑧查看表的数据

SYS@vbox66in>alter tablespace testdb online;

表空间已更改。

SYS@vbox66in>conn scott/tiger;
已连接。
SCOTT@vbox66in>select * from test01;

 EMPNO ENAME      JOB              MGR HIREDATE                   SAL       COMM     DEPTNO
---------- ---------- --------- ---------- ------------------- ---------- ---------- ----------
  7369 SMITH      CLERK           7902 1980-12-17 00:00:00        800                    20
  7499 ALLEN      SALESMAN        7698 1981-02-20 00:00:00       1600        300         30
  7521 WARD       SALESMAN        7698 1981-02-22 00:00:00       1250        500         30
  7566 JONES      MANAGER         7839 1981-04-02 00:00:00       2975                    20
  7654 MARTIN     SALESMAN        7698 1981-09-28 00:00:00       1250       1400         30
  7698 BLAKE      MANAGER         7839 1981-05-01 00:00:00       2850                    30
  7782 CLARK      MANAGER         7839 1981-06-09 00:00:00       2450                    10
  7788 SCOTT      ANALYST         7566 1987-04-19 00:00:00       3000                    20
  7839 KING       PRESIDENT            1981-11-17 00:00:00       5000                    10
  7844 TURNER     SALESMAN        7698 1981-09-08 00:00:00       1500          0         30
  7876 ADAMS      CLERK           7788 1987-05-23 00:00:00       1100                    20

 EMPNO ENAME      JOB              MGR HIREDATE                   SAL       COMM     DEPTNO
---------- ---------- --------- ---------- ------------------- ---------- ---------- ----------
  7900 JAMES      CLERK           7698 1981-12-03 00:00:00        950                    30
  7902 FORD       ANALYST         7566 1981-12-03 00:00:00       3000                    20
  7934 MILLER     CLERK           7782 1982-01-23 00:00:00       1300                    10

已选择14行。

SCOTT@vbox66in>select * from test02;

DEPTNO DNAME          LOC
---------- -------------- -------------
    10 ACCOUNTING     NEW YORK
    20 RESEARCH       DALLAS
    30 SALES          CHICAGO
    40 OPERATIONS     BOSTON

SCOTT@vbox66in>

此时发现数据已经全部恢复。

文章标签：
SQL
关系型数据库
数据库
Oracle
关键词：
数据库数据
持续高温
目录
相关文章
你鞋带开了~
|
25天前
|
存储 Oracle 关系型数据库
Dataphin常见问题之想要周期执行任务如何解决
Dataphin是阿里云提供的一站式数据处理服务，旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能，支持企业更高效地进行数据治理和分析。
你鞋带开了~
28 1
众所周知
|
1月前
|
SQL 开发框架 JavaScript
在 Vue 中进行数据持久化时，有哪些常用的数据库框架？
在 Vue 中进行数据持久化时，有哪些常用的数据库框架？
众所周知
48 3
Srlua
|
1月前
|
存储 数据管理 数据处理
数据之光：探索数据库技术的演进之路
数据之光：探索数据库技术的演进之路
Srlua
60 1
Srlua
|
1月前
|
存储 运维 关系型数据库
数据的力量：构筑现代大型网站之数据库基础与应用
数据的力量：构筑现代大型网站之数据库基础与应用
Srlua
49 0
穆雄雄.
|
29天前
|
SQL Java 数据库连接
从来没想到我们会扒拉nohup文件去找我们想要的数据，然后往数据库中添加。。。...
从来没想到我们会扒拉nohup文件去找我们想要的数据，然后往数据库中添加。。。...
穆雄雄.
17 0
张思睿ZGQ
|
1月前
|
SQL 关系型数据库 MySQL
【MySQL 数据库】2、MySQL 的数据控制语言、函数和约束
【MySQL 数据库】2、MySQL 的数据控制语言、函数和约束
张思睿ZGQ
28 0
疯狂的猿
|
1月前
|
NoSQL Java 数据库连接
使用Java实现从数据库查出数据存入Redis，并在查询时先查Redis，如果Redis中没有数据再从数据库中读取
使用Java实现从数据库查出数据存入Redis，并在查询时先查Redis，如果Redis中没有数据再从数据库中读取
疯狂的猿
347 1
rxzbqcijxqaoi
|
2月前
|
关系型数据库 MySQL 数据库
MySQL数据库：数据基本的增删改查
【2月更文挑战第8天】
rxzbqcijxqaoi
55 1
龙大吉
|
2天前
|
存储 关系型数据库 MySQL
如何处理爬取到的数据，例如存储到数据库或文件中？
处理爬取的数据，可存储为txt、csv（适合表格数据）或json（适合结构化数据）文件。若需存储大量数据并执行复杂查询，可选择关系型（如MySQL）或非关系型（如MongoDB）数据库。以MySQL为例，需安装数据库和Python的pymysql库，创建数据库和表，然后编写Python代码进行数据操作。选择存储方式应考虑数据类型、数量及后续处理需求。
龙大吉
5 1
以山向海
|
3天前
|
SQL 关系型数据库 MySQL
关系型数据库插入数据的语句
使用SQL的`INSERT INTO`语句向关系型数据库的`students`表插入数据。例如，插入一个`id`为1，`name`为&#39;张三&#39;，`age`为20的记录：`INSERT INTO students (id, name, age) VALUES (1, &#39;张三&#39;, 20)。如果`id`自增，则可简化为`INSERT INTO students (name, age) VALUES (&#39;张三&#39;, 20)`。
以山向海
5 2

热门文章

最新文章

  • 1
    RocketMQ 流数据库解析：如何实现一体化流处理？
  • 2
    RDS MySQL 数据库运维简述
  • 3
    阿里云mysql数据库价格购买和使用教程
  • 4
    阿里云数据库Cassandra的产品价格
  • 5
    阿里云MySQL云数据库优惠价格、购买和使用教程分享！
  • 6
    阿里云MySQL数据库价格、购买、创建账号密码和连接数据库教程
  • 7
    成都晨云信息技术完成阿里云PolarDB数据库产品生态集成认证
  • 8
    阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言，助力业务平滑迁移
  • 9
    一文搞懂数据库中的“锁”（图文详解）
  • 10
    【软件设计师备考 专题 】数据仓库和分布式数据库基础知识
  • 1
    JAVA数据库的基础知识
    15
  • 2
    启动多个jar包来监听同一个数据库的binlog
    19
  • 3
    OceanBase数据库的主备库参照的配置文件
    29
  • 4
    参与TiDB社区，共筑开源数据库的未来
    28
  • 5
    TiDB与MySQL、PostgreSQL等数据库的比较分析
    81
  • 6
    sql数据库查询语句大全
    21
  • 7
    面对多种国产数据库，如何选择合适的技术栈和发展方向
    30
  • 8
    宝塔数据库崩溃解决方案详解
    41
  • 9
    视觉智能平台常见问题之创建人脸数据库失败如何解决
    23
  • 10
    TiDB的优势：为何选择TiDB作为您的数据库解决方案
    74

    • 相关课程

    更多
  • 数据库的前世今生
  • 数据库核心概念
  • 从传统数据库到云数据库演进
  • 数据库常见问题排查
  • 数据库及SQL/MySQL基础
  • 高校精品课-西安交通大学 -数据库理论与技术

    • 相关电子书

    更多
  • 2022 DTCC-阿里云一站式数据库上云最佳实践
  • 云时代的数据库技术趋势
  • 超大型金融机构国产数据库全面迁移成功实践

    • 相关实验场景

    更多
  • PolarDB for AI：在数据库中通过SQL实现AI能力
  • 云原生HTAP数据库，让你的交易和分析一库搞定
  • Excel文件转存到RDS数据库
  • 快速体验PolarDB开源数据库
  • 手把手教你把IoT传感器数据存储到数据库
  • WorkBench操作云上数据库
    • 下一篇
    阿里云oss简介和使用流程