文本数据库--.Net界未来的一朵奇葩

简介:
文本存储,这是一个我以前很少去实施具体应用的领域。
 
何以会说起文本数据库,从上篇: 秋色园QBlog技术原理解析:性能优化篇:读写分离与文本数据库(十八) 中,看出是出于应用,故而有几许冲动。
 
当然地,从上文中,可以看出:基本基于文本的简单的读写应用,轻轻地严格地一点地来说和“数据库”不太着边,境界不够。
 
我想象中“文本数据库”,再怎么简单,也得应该有以下几个的吧:
 
1 :有存储结构[表结构]

2 :有主键ID,不是GUID时,咋也得整个自增ID吧(大伙的应用习惯)。

3 :能添加,修改,删除数据。

4 :最好还能查询,排序,分页,至于分组可能要求高了点。

5 :再最好有并发控制。
 
回头再看秋色园  QBlog 当前的应用是:
 
1 :文本存储的内容少:1个文本存的不是表,基本是1行(偶尔多行)。

2 :基于第1点,只能说是文本的读取应用,和“数据库”还扯不上关系。
 
故从以上目前的应用来说,完全达不到文本数据库应用的境界。
 
当然,有了基于文本的应用,故而顺理成章的对文本扩展出的“文本数据库”产生了些许兴趣与冲动也就很自然了。
 
于是,我上网搜了一下“文本数据库”,发现.net界几乎没有它的身影,倒是曾在php界大放过异采,这是为什么呢?
 
这是为什么呢?估计是为了以下内容:
 
用文本当数据库的基本优势:
 
1 :简单的文本操作速度比数据库快:

非要解释,我只能这么说:大伙都存的磁盘,直接存肯定比数据库绕了一定的存储结构规则后存的快,当然越往后越复杂,就不好说了。

2 :存取操作简单:

不用啥ADO.NET,直接System.IO.File就可以搞定,多省事啊!
 
用文本当数据库的基本劣势:
 
1 :数据量不适合大。

2 :并发似乎不太好

3 :删除与修改不好操作

4 :要变身成“文本数据库”有好多要事要处理:

a:这自增加ID咋出来啊?

b:这要查询咋整啊?

c:这要排序咋整啊?
 
用文本数据库的基本适用的应用场景:
 
1 :小型应用,以文本为主数据库:

单个(表)文本数据量不大:10万条数据以下,10M大小以下(一次性加载到内存中操作,就成了内存数据库了,速度哗啦啦)。

2 :大型应用,以文本为辅数据库:

通过将一些数据库分散到零散的文本中,降低主数据库的压力。

3 :中型应用,以文本为主数据库:

这个不好说,说不好,不说好,需要有一定强力的技术阵容支持。 
 
 
为了更好的发挥“文本数据库”的能动性,本人花了些时间对其进行了些许研究及思考,下面和大伙分享一下经验:
 
1:存储结构
 
这个我从秋色园 QBlog 的文本应用中得到提示,存成json,挺好的呀,这不json都流行的么,直接读取传到前端,爱干啥干啥!

所以这里的技术点是:如何输出json和读取json解析。

这里:CYQ.Data V3.
0  框架开源版本(下载)里有一个JsonHelper,能把数据生成Json,也能把json字符串解析成KeyValue键值对应,感兴趣的可去研究。

于是,基本读与取就解决了。
 
2:数据插入
 
使用:System.IO.File.AppendAllText就可以轻松把一行的json加到文本的末尾中。
 
3:更新、删除
 
这两个操作几乎是差不多,个人想到的两种方式:

方式一:简单型 [这个其实挺好,因此从文本数据库的应用场景上看,基本要求并不是太高]

将整个表的重新输出json,再重写一次文本就可以了。

方式二:复杂型[这个是性能考虑的多一些,对于文本数据库追求的过些过了一点,因为如果太复杂,何不找其它数据库,用文本不就图个简单么]

这个比较痛苦,这里也给出一点个人的思路想法:

1 :定表结构时,必须定好每个字段的长度,这样就定出一行总的最大长度。

2 :写一行数据时,不够总长时,后面补空(好像通常是写入\0)。

3 :更新或删除时,根据行的(ID-1)*总长,定位到起始写的位置,然后改写一行即可,如果是删除则当行全写空(\0)。

这里其实就是空间换时间,而且数据删除时,文本大小也没变化,是不是有点像access呢?

 
针以上面方式二,这里给出点示例代码:
 
                FileStream fs  =  File.Open(文件路径);
                fs.Seek(
定位要写入的开始位置 , SeekOrigin.Current);
                fs.Write(..写入内容...);
                fs.Close();
 
4:自增ID咋出来
 
增加ID还是比较容易,读取文本最后一行的首字段的值 + 1就出来了,当然仅适合于数字型的了,然后全局缓存,每次读取 ++
 
下面给出一个参考的示例代码:
 
  ///   <summary>
        
///  下一个自增加ID
        
///   </summary>
         private   int  NextID
        {
            
get
            {
                
lock  (lockNextIDobj)
                {
                    
if  (maxID  >   0 )
                    {
                        maxID
++ ;
                    }
                    
else   if  (DataType.GetGroupID(Table.Columns[ 0 ].SqlType)  ==   1 ) // 自增ID仅对int有效
                    {
                        
if  (Table.Rows.Count  >   0 )
                        {
                            
int  lastIndex  =  _Table.Rows.Count  -   1 ;
                            
do
                            {
                                
if  (lastIndex  >=   0 )
                                {
                                    
if  (_Table.Rows[lastIndex][ 0 ].IsNull)
                                    {
                                        lastIndex
-- ;
                                    }
                                    
else
                                    {
                                        maxID 
=  Convert.ToInt32(_Table.Rows[lastIndex][ 0 ].Value)  +   1 ;
                                    }
                                }
                                
else
                                {
                                    maxID 
=   1 ;
                                }
                            }
                            
while  (maxID  ==   0 );

                        }
                        
else
                        {
                            maxID 
=   1 ;
                        }
                    }
                    
else
                    {
                        
throw   new  Exception( " Increment id only use for int type " );
                    }
                }
                
return  maxID;
            }
        }
 
5:查询怎么办
 
其实这个很好办,将json解析还原为数组列表之后,数组有个FindAll方法,搜点教程研究一下就可以了,对于数组的查询,园子里还是有不少文章介绍的。
 
6:排序怎么办
 
这个也很好办,同样json解析还原为数组列表之后,数组有个Sort方法,同样搜点教程就可以了。
 
7:单进程并发怎么控制
 
这个其实也好办,加lock锁就行了。
 
8:多进程并发怎么控制
 
在IIS应用程序池回收或启用多个exe程序时,多进程可能出现同时操作文本数据库的情况,这里我也思考了良久,怎么去控制?

最后我想出来的方式是:进程在准备更改文本时,读取文本最后修改时间进行比对,进而达到一种相对控制。
 
总结:
 
个人觉得解决完上面的问题之后,基本简单的文本数据库也成型了,当然你也可以往上继续追求。
不过文本数据库,折腾的太复杂也没必要,毕竟文本数据库,还是以简单为主。
如果NoSql会流行,何不让文本数据库也在.net界也出出风头,成长成.Net界的一朵奇葩!




     本文转自cyq1162 51CTO博客,原文链接:http://blog.51cto.com/cyq1162/633780
,如需转载请自行联系原作者



相关文章
|
1月前
|
SQL 数据库连接 数据库
你不知道ADo.Net中操作数据库的步骤【超详细整理】
你不知道ADo.Net中操作数据库的步骤【超详细整理】
16 0
|
1月前
|
SQL 数据库 C#
C# .NET面试系列十一:数据库SQL查询(附建表语句)
#### 第1题 用一条 SQL 语句 查询出每门课都大于80 分的学生姓名 建表语句: ```sql create table tableA ( name varchar(10), kecheng varchar(10), fenshu int(11) ) DEFAULT CHARSET = 'utf8'; ``` 插入数据 ```sql insert into tableA values ('张三', '语文', 81); insert into tableA values ('张三', '数学', 75); insert into tableA values ('李四',
65 2
C# .NET面试系列十一:数据库SQL查询(附建表语句)
|
2月前
|
开发框架 Oracle 关系型数据库
ASP.NET实验室LIS系统源码 Oracle数据库
LIS是HIS的一个组成部分,通过与HIS的无缝连接可以共享HIS中的信息资源,使检验科能与门诊部、住院部、财务科和临床科室等全院各部门之间协同工作。 
37 4
|
3月前
|
存储 NoSQL API
一个小巧、快速、轻量级的 .NET NoSQL 嵌入式数据库
一个小巧、快速、轻量级的 .NET NoSQL 嵌入式数据库
138 0
|
4月前
|
存储 自然语言处理 搜索推荐
ChatGPT 文本Embedding融合Qdrant向量数据库:构建智能问答系统的技术探索
向量数据库结合ChatGPT带来了什么 1. **语义搜索:** 使用向量数据库进行语义搜索,可以更准确地找到与查询相关的信息。ChatGPT可以理解用户的自然语言查询,而向量数据库可以根据语义相似性返回匹配的向量数据。 2. **智能推荐:** 结合ChatGPT的智能理解和向量数据库的相似性搜索,可以实现更智能的推荐系统。系统可以根据用户的历史行为和语境,向用户推荐相似的向量数据,如文章、产品或其他内容。 3. **自然语言处理与向量表示结合:** ChatGPT可以将自然语言转换为向量表示,这样就可以在向量数据库中进行更高效的查询。这种集成使得自然语言处理和向量数据库可以相互补充等
357 0
|
6月前
|
安全 Shell 数据库
「学习记录」.NET程序的数据库密码解密
「学习记录」.NET程序的数据库密码解密
|
7月前
|
人工智能 关系型数据库 分布式数据库
沉浸式学习PostgreSQL|PolarDB 16: 植入通义千问大模型+文本向量化模型, 让数据库具备AI能力
本文将带领大家来体验一下如何将“千问大模型+文本向量化模型”植入到PG|PolarDB中, 让数据库具备AI能力.
23548 18
沉浸式学习PostgreSQL|PolarDB 16: 植入通义千问大模型+文本向量化模型, 让数据库具备AI能力
|
30天前
|
存储 SQL 数据库
C# 将 Word 转文本存储到数据库并进行管理
C# 将 Word 转文本存储到数据库并进行管理
|
1月前
|
SQL 存储 关系型数据库
C# .NET面试系列十:数据库概念知识
#### 1. 为什么要一定要设置主键? 设置主键是数据库设计中的一个重要概念,有几个主要原因: 1、唯一性 ```c# 主键必须保证表中的每一行都有唯一的标识。这样可以避免数据冗余和不一致性。如果没有主键或者主键不唯一,就可能出现数据混乱或错误。 ``` 2、查询性能 ```c# 数据库系统通常会使用主键来加速数据检索。主键通常会被索引,这样可以更快速地找到特定行的数据,提高查询效率。 ``` 3、关联性 ```c# 主键常常用于建立表与表之间的关系。在关系数据库中,一个表的主键通常与其他表中的外键建立关联,这种关系对于数据的一致性和完整性非常重要。 ``` 4、数据完
131 1
C# .NET面试系列十:数据库概念知识
|
3月前
|
关系型数据库 MySQL 数据库
Net Core备份MySQL数据库
Net Core备份MySQL数据库
31 2

热门文章

最新文章