[20151016]半个汉字.txt

[20151016]半个汉字.txt

--前一阵子，使用sqlldr导入数据遇到的问题，我导入数据有几条存在问题，我也没仔细看，我同事后来接手导入剩余数据，使用toad
--自带的导入向导，后来我检查发现实际上问题跟我以前遇到的例子一样，链接：
--http://blog.itpub.net/267265/viewspace-763696/
--实际上虽然导入成功，但是后面的数据是错位的。问题出在文本使用竖线做为分割符。而数据中一些字符字段存在半个汉字，导致
--半个汉字与竖线结合，这样sqlldr导入时保存，现在toad版本视乎改变了显示的字符集，导致toad下可以导入成功，但是信息错位。
--但是toad在显示这些记录存在问题，后面提到。

$ cat a1.txt
褆

$ xxd -c 16 a1.txt
0000000: d17c 0a     褆.

SCOTT@test> select dump('|',16) from dual ;
DUMP('|',16)
----------------
Typ=96 Len=1: 7c

--可以发现褆实际上的编码是d17c，最后的7c对应的就是'|',导致sqlldr报错。
--联想最近遇到的问题，另外的数据库字符集：AMERICAN_AMERICA.US7ASCII.

$ cat a1.txt
文化

$ xxd -c 16 a1.txt
0000000: cec4 bbaf 0a                             文...

--通过bvi编辑把ce换成7c,af换成7c。

$ cat a1.txt
|幕|

--这样如果字符集是AMERICAN_AMERICA.US7ASCII.这样如果查询 select * from t where name like '%幕%'，就会显示name='文化'的记
--录。例子：注意数据库字符集AMERICAN_AMERICA.US7ASCII.

$  echo $NLS_LANG
AMERICAN_AMERICA.US7ASCII

create table tx (id number ,name varchar2(20) );
insert into tx values (1,'文化');
commit ;

select * from tx where name like '%幕%';
          ID NAME
------------ --------------------
           1 文化

--这样就出现很奇怪的问题。另外出现的问题就是substr函数。如果数据库使用字符集AMERICAN_AMERICA.US7ASCII.就有可能出现情况。
select substr(name,2,2) from tx;
SU
--
幕

--当然这种情况不会在中文字符集的数据库。回到我的测试库，字符集AMERICAN_AMERICA.ZHS16GBK。

SCOTT@test> @ver1
PORT_STRING                    VERSION        BANNER
------------------------------ -------------- --------------------------------------------------------------------------------
x86_64/Linux 2.4.xx            11.2.0.3.0     Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 64bit Production

create table tx (id number ,name varchar2(20) );
insert into tx values (1,'文'||chr(187));
commit ;

--注：bb 对应 10进制就是187.这样我插入了半个汉字，但是检查发现实际上并没有插入半个汉字。真不知道PB的程序如何出现这种情况

SCOTT@test> select dump(name,16) c20 from tx ;
C20
--------------------
Typ=1 Len=2: ce,c4

--好了先不管这些，一般使用sqlldr的机会不多，我们这里的情况基本是年底使用一下，我一般使用toad生成sqlldr的导入脚本。
--我突然想起来以前使用odu恢复数据，也是存在分割符问题，我当时修改配置文件定义，加入：delimiter ^G
--^G表示喇叭。在vim在linux可以通过ctrl+v，ctrl+g输入。windows下使用ctrl+q,ctrl+g.

--但是在toad下如何输入^G呢？其实很简单，找一个编辑器vim如何这个符号，然后copy & paste就ok了。

-- SQL Loader Control and Data File created by TOAD
-- Variable length, terminated enclosed data formatting
--
-- The format for executing this file with SQL Loader is:
-- SQLLDR control=<filename> Be sure to substitute your
-- version of SQL LOADER and the filename for this file.
--
-- Note: Nested table datatypes are not supported here and
--       will be exported as nulls.
LOAD DATA
INFILE *
BADFILE './a.BAD'
DISCARDFILE './a.DSC'
APPEND INTO TABLE SCOTT.EMP
Fields terminated by "