我有一个存储过程将数据插入3个表中(UPSERTS),并且有一些逻辑. (IF-THEN-ELSE)我需要使用不同的参数执行这个Sproc数百万次(来自C#应用程序),我需要它是快速的.这样做的最佳方法是什么?除了Lucene或Sql Server FT...

我有一个存储过程将数据插入3个表中(UPSERTS),并且有一些逻辑. (IF-THEN-ELSE)
我需要使用不同的参数执行这个Sproc数百万次(来自C#应用程序),我需要它是快速的.
这样做的最佳方法是什么?
除了Lucene或Sql Server FTS之外,有没有人知道开源(或不是)现成的文档索引器?
*我正在尝试构建一个文档单词索引.对于文档中的每个单词,我在DB中插入单词,docID和单词位置.
例如,对于100个文档,这发生了100000次.
Sproc:有3个表可插入,每个表都有一个UPSERT.
C#应用程序:
using (SqlConnection con = new SqlConnection(_connectionString))
{
con.Open();
SqlTransaction trans = con.BeginTransaction();
SqlCommand command = new SqlCommand("add_word", con, trans);
command.CommandType = System.Data.CommandType.StoredProcedure;
string[] TextArray;
for (int i = 0; i < Document.NumberOfFields; i++)
{
...
Addword(..., command); <---- this updates parameters with new values and ExecuteNonQuery.
}
}
我忘了提一下,这段代码在Sql Server中产生死锁.我不知道为什么会这样.
解决方法:
>删除正在加载的表上的所有索引,然后在加载完成后将其重新添加.这将防止每次更改的大量颠簸/重新索引.
>确保数据库在加载之前已经分配了足够的物理文件空间,这样就不必花费时间在加载时不断地从文件系统中抓取它.通常,数据库设置为在完全时增长10%,此时sql server会阻止查询,直到分配更多空间.当你加载你正在谈论的数据量时,sql将不得不做很多阻塞.
>如果可能,请查看批量加载/批量复制.
>在代码中执行所有IF THEN ELSE逻辑.只需将存储的实际值发送到s’proc即可.你甚至可以运行两个线程.一个用于评估数据并将其排队,另一个用于将队列写入DB服务器.
>查看Off The Shelf程序,它们通过索引文档来完成您正在谈论的内容.他们很可能已经解决了这些问题.
>如果可能,摆脱交易要求.尽量保持s’proc调用尽可能简单.
>看看你是否可以限制你存储的单词.例如,如果您不关心单词“it”,“as”,“I”等,则在调用s’proc之前将其过滤掉.
本文标题为:C#Sql Server – 执行存储过程很多次.最好的办法?


- C#队列的简单使用 2023-05-26
- C#基于Mongo的官方驱动手撸一个Super简易版MongoDB-ORM框架 2023-04-15
- unity里获取text中文字宽度并截断省略的操作 2023-04-14
- C#的十种语法糖介绍 2023-05-22
- 如何在C#9 中使用顶级程序 (top-level) 2023-04-10
- C#生成Word文件(图片、文字) 2023-01-22
- WPF实现调用本机摄像头的示例代码 2023-06-27
- C# 将 Stream 保存到文件的方法 2023-06-27
- C#结束进程及子进程 2023-06-15
- 利用C#9.0新语法如何提升if语句美感 2023-03-14