如何在SQL Server中批量导入数据

2024-05-18 10:49

1. 如何在SQL Server中批量导入数据

方案一、循环导入

实现方式是利用数据库访问类调用存储过程,利用循环逐条插入。很明显,这种方式效率并不高



方案二、使用Bulk插入

bulk方法主要思想是通过在客户端把数据都缓存在Table中,然后利用SqlBulkCopy一次性把Table中的数据插入到数据库,效率非常高


方案三:

利用SQLServer2008的新特性--表值参数(Table-Valued Parameter)。表值参数是SQLServer2008才有的一个新特性,使用这个新特性,我们可以把一个表类型作为参数传递到函数或存储过程里。


方案四:

对于单列字段,可以把要插入的数据进行字符串拼接,最后再在存储过程中拆分成数组,然后逐条插入。查了一下存储过程中参数的字符串的最大长度,然后除以字段的长度,算出一个值,很明显是可以满足要求的,只是这种方式跟第一种方式比起来,似乎没什么提高,因为原理都是一样的。


方案五:

考虑异步创建、消息队列等等。这种方案无论从设计上还是开发上,难度都是有的。

如何在SQL Server中批量导入数据

2. 如何将Excel数据批量导入SQL数据库

把EXCEL数据导入到SQL数据库中:
1、在数据库上点击右键,然后选择“任务”,选择“导入数据”,就看到弹出淡入数据的对话框


2、Excel 上面的字段命名最好跟要导入到最终的那个表的字段相同。假设终表为A表。组装好 如下图:


3、按照操作步骤走下去,最终会生成一个新的表(临时表B表)。
可以借助工具,MSSQL表数据导出成Insert语句的工具 即:将查询出来的这些数据都生成insert into语句。
最终在A表中执行该insert into语句就可以将excel中的数据最终放入数据库中。

3. SQL批量插入数据

一、针对批量插入数据,如果量不是太多,可以多条SQL语句运行就可以了,
类似下面的语句,当然可以使用excel 编辑后,复制到查询器中运行,
insert into table(a,b) values('1','a')
insert into table(a,b) values('2','b')
insert into table(a,b) values('3','c')

二、大量数批量插入,即数据表的移植,数据备份转换之类的,就需要工具,比如MSSQL的DTS工具,pb的数据通道 等等。这里介绍一下 DTS工具。

1、在SQL安装目录下开启导入和导出数据,即DTS。



2、选择一个批量的数据,可以是表,也可以是带分隔符的文件,或excel文档之类,如图中选择,导入的格式


3、选择导入的目标


4、选择导入方式


5.具体的导入规则

SQL批量插入数据

4. 如何将sql server数据库的数据批量导出

  方法/步骤
打开数据库SQL server ,右击数据库选择“任务” “生成脚本”

选择将要导出的数据库

“将编写数据脚本”改为TRUE

选择表

选择下图中表里面要导出表的数据

在这一步要选择将脚本保存到“新建查询”窗口

点击完成,直到生成脚本成功后,点击关闭按钮即可。

5. sql server怎么批量导入

1、打开“Microsoft SQL Server Management Studio” 并连接 数据库。
2、在需要导入数据的数据库上右键 - 任务 - 导入数据,打开“SQL Server导入导出向导”


3、点击下一步,选择“数据源”、“服务器名称”、“数据库”,填写“身份验证”信息,点击下一步。

4、选择“目标”、“服务器名称”、“数据库”,填写“身份验证”,点击下一步。

5、指定表复制或查询,点击下一步

6、选源要复制的表或视图,点击下一步

7、选择“立即执行”,点下一步或完成。

sql server怎么批量导入

6. 在SQL Server成批导入数据

   在软件项目实施的时候 数据导入一直是项目人员比较头疼的问题 其实 在SQL Server中集成了很多成批导入数据的方法 有些项目实施顾问头疼的问题 在我们数据库管理员眼中 是小菜一碟 现在的重点就是 如何让用户了解这些方法 让数据导入变得轻松一些 
    第一种方法 使用Select Into语句
    若企业数据库都采用的是SQL Server数据库的话 则可以利用Select Into语句来实现数据的导入 Select Into语句 他的作用就是把数据从另外一个数据库中查询出来 然后加入到某个用户指定的表中 
    在使用这条语句的时候 需要注意几个方面的内容 
    一是需要在目的数据库中先建立相关的表 如想把进销存系统数据库(SQLServer)中的产品信息表(Product)导入到ERP系统中的产品信息表(M_Product)中 则前期是在ERP系统的数据库中已经建立了这张产品信息表 
   
    二是这种方法只复制表中的数据 而不复制表中的索引 如在进销存系统数据中的产品信息表中 在产品编号 产品种类等字段上建立了索引 则利用Select Into语句把数据复制到ERP系统的表中的时候 只是复制了数据内容的本身 而不会复制索引等信息 
    三是这条语句使用具有局限性 一般情况下 这只能够在SQL Server数据库中采用 不过 对于SQL Server不同版本的数据库 如 或者 还都是兼容的 若需要导入的对象数据库不是SQL Server的 则需要采用其他的方法 
    四是采用这条语句的话 在目的表中必须不存在数据 否则的话 目的表中的数据会被清除 也就是说 这个语句不支持表与表数据的合并 在SQL Server中 有一条类似的语句 可以实现这个功能 这条语句就是 Insert Into 他的作用就是把另外一张表中的数据插入到当前表中 若用户想要的时表与表数据的合并 则可以采用这条语句 两者不能够混淆使用 否则的话 很容易导致数据的丢失 
    五是以上两条语句都支持兼容的不同类型的数据类型 如在原标中 某个字段的数据类型是整数型 但是在目的表中这个字段的数据类型则是浮点型 只要这个两个数据类型本来就兼容的 则在导入的时候 数据库是允许的 
    第二种方法 利用Excel等中间工具进行控制
    虽然第一种方法操作起来比较简单 但是其也有一些缺点 如他只支持同一种类型的数据库;不能够对数据进行过多的干预等等 一般情况下 若用户原数据准确度比较高 不需要过多的修改就可以直接拿来用的话 则笔者就已采用第一种方式 
    但是 若在原数据库中 数据的准确度不是很高 又或者 有很多数据是报废的 总之 需要对原数据库的数据进行整理 才能够使用的情况 笔者不建议先导入进去 再进行更改 笔者在遇到这种情况时 喜欢利用Excle作为中间工具 也就是说 先把数据中原数据库中导到Excle中 有些数据库 如Oracle数据库 他不支持Excle格式 但是 我们可以把它导为CSV格式的文件 这种文件Excle也可以打得开 
    然后 再在Excle中 对记录进行修改 由于Excle是一个很强的表格处理软件 所以 其数据修改 要比在数据库中直接修改来得方便 来得简单 如可以利用按时间排序等功能 把一些长久不用的记录清楚掉 也可以利用替换等功能 把一些不规范的字符更改掉 这些原来在数据库中比较复杂的任务 在Excle等工具中都可以轻松的完成 
    等到表中的内容修改无误后 数据库管理员就可以把Excle表格中的文件直接导入到SQL Server数据库中 由于SQL Server与Excel是同一个父母生的 所以 他们之间的兼容性很好 在Sql Server中提供了直接从Excel文件中导入数据的工具 
    虽然这要借助中间工具导入数据 但是 因为其处理起来方便 直观 所以 笔者在大部分时候都是采用这种方式 
    第三种方式 使用数据转换服务导入数据
    数据转换服务是SQL Server数据库中提供的一个非常强大的工具 在SQLServer中 数据转换功能有一个图形用户接口 用户可以在图形界面中导入数据 并对数据进行相应的编辑 
    另外 数据转换服务还支持组件的编程接口 这也就是说 在前台应用程序开发的时候 可以直接调用数据转换服务 让用户通过前台应用系统 而不用在后台数据库系统进行任何的操作 就可以把数据导入数据库系统中去 在前台对数据库系统进行导入 有一个明显的好处 就可以预先对数据的合法性进行检查 如可以利用VB等脚本语言对数据进行检验 净化和一定的转换 以符合目的数据库的需要 
    如在员工信息表中的婚姻状况字段 在Oracle数据库系统中 可能是用 或者 来表示婚姻状况 表示未婚 表示已婚 而在SQL Server数据库中 则利用Y或者N来表示婚姻状况 Y表示已婚 N表示未婚 在导入数据的时候 若直接把Oracle数据库表中的数据导入到SQL Server数据库中 因为婚姻状况这个字段存储的内容类型不同 所以 不能够直接导 遇到这种情况的话 则就可以在导入数据之前 先利用脚本语言对数据类型进行验证 若不符合要求的 则可以通过脚本语言对数据进行一定的转换 把 转换为N 把 转换为Y等等 
    所以 有时候程序员在开发前台应用程序的时候 若要开发数据导入功能的话 我们都是建议采用这个数据转换服务 不但有现成的接口 而且 还可以对数据进行验证与一定程度的转换 另外 数据转换服务的数据导入效率非常的高 即使通过前台程序调用 其性能也比其他方法在同等条件下 要高一个档次 而且 随着数据量的增加 数据转换服务的优势会越来越明显 
    不过 在前台应用程序调用数据转换服务的时候 需要注意 数据转换服务提供的接口比较复杂 所以 前台程序调用数据转换服务的代码也比较复杂 若再加上一些脚本语言的话 可能处理起来更加的繁琐 故一般只有在大型系统上才会用到这个接口 若数据不多 否则不需要复杂验证与转换的话 利用这个接口是大刀小用 得不偿失 
    第四种方式 异构数据库之间的导入导出
    虽然第二种 第三种方式都可以完成异构数据库之间数据的导入导出作业 不过 在SQL Server中 还提供了另外一种解决方案 即直接在SQL Server数据库中连接到其他类型的数据库上 然后采用Select Into等语句实现数据的导入作业 
    在SQL Server中 提供了两个函数可以帮助我们实现对非SQL Server数据库的连接 这两个函数分别为Opendatesource与Openrowset 他们的功能基本相同 只是在细节上有所差异 
    如Opendatesource这个函数至能够打开源数据库的表和视图 而不能够对其进行过滤 若用户只想把源表中的部分数据导入到SQL Server数据库的表中 则不能对源表直接进行过滤 过滤的动作需要在SQL Server数据库中进行 而Openrowset这个函数 可以在打开对方数据库的表或者视图的时候 直接利用Where等条件限制语句对记录进新过滤 为此 在实际应用中 还是Openrowset这个函数使用的频率比较高 
    不过由于其需要用户写复杂的参数 而且 又不能够提供复杂的数据验证功能 所以在实际工作中用的并不是很多 在一些小的应用系统中 偶尔还可以见到其的踪影 在一些大的成熟的商业软件中 很少采用这种方式 对数据进行导入 
  lishixinzhi/Article/program/SQLServer/201311/22294 
   

7. 在SQLServer成批导入数据

   在软件项目实施的时候 数据导入一直是项目人员比较头疼的问题 其实 在SQL Server中集成了很多成批导入数据的方法 有些项目实施顾问头疼的问题 在我们数据库管理员眼中 是小菜一碟 现在的重点就是 如何让用户了解这些方法 让数据导入变得轻松一些 
    第一种方法 使用Select Into语句
    若企业数据库都采用的是SQL Server数据库的话 则可以利用Select Into语句来实现数据的导入 Select Into语句 他的作用就是把数据从另外一个数据库中查询出来 然后加入到某个用户指定的表中 
    在使用这条语句的时候 需要注意几个方面的内容 
    一是需要在目的数据库中先建立相关的表 如想把进销存系统数据库(SQLServer)中的产品信息表(Product)导入到ERP系统中的产品信息表(M_Product)中 则前期是在ERP系统的数据库中已经建立了这张产品信息表 
   
    二是这种方法只复制表中的数据 而不复制表中的索引 如在进销存系统数据中的产品信息表中 在产品编号 产品种类等字段上建立了索引 则利用Select Into语句把数据复制到ERP系统的表中的时候 只是复制了数据内容的本身 而不会复制索引等信息 
    三是这条语句使用具有局限性 一般情况下 这只能够在SQL Server数据库中采用 不过 对于SQL Server不同版本的数据库 如 或者 还都是兼容的 若需要导入的对象数据库不是SQL Server的 则需要采用其他的方法 
    四是采用这条语句的话 在目的表中必须不存在数据 否则的话 目的表中的数据会被清除 也就是说 这个语句不支持表与表数据的合并 在SQL Server中 有一条类似的语句 可以实现这个功能 这条语句就是 Insert Into 他的作用就是把另外一张表中的数据插入到当前表中 若用户想要的时表与表数据的合并 则可以采用这条语句 两者不能够混淆使用 否则的话 很容易导致数据的丢失 
    五是以上两条语句都支持兼容的不同类型的数据类型 如在原标中 某个字段的数据类型是整数型 但是在目的表中这个字段的数据类型则是浮点型 只要这个两个数据类型本来就兼容的 则在导入的时候 数据库是允许的 
    第二种方法 利用Excel等中间工具进行控制
    虽然第一种方法操作起来比较简单 但是其也有一些缺点 如他只支持同一种类型的数据库;不能够对数据进行过多的干预等等 一般情况下 若用户原数据准确度比较高 不需要过多的修改就可以直接拿来用的话 则笔者就已采用第一种方式 
    但是 若在原数据库中 数据的准确度不是很高 又或者 有很多数据是报废的 总之 需要对原数据库的数据进行整理 才能够使用的情况 笔者不建议先导入进去 再进行更改 笔者在遇到这种情况时 喜欢利用Excle作为中间工具 也就是说 先把数据中原数据库中导到Excle中 有些数据库 如Oracle数据库 他不支持Excle格式 但是 我们可以把它导为CSV格式的文件 这种文件Excle也可以打得开 
    然后 再在Excle中 对记录进行修改 由于Excle是一个很强的表格处理软件 所以 其数据修改 要比在数据库中直接修改来得方便 来得简单 如可以利用按时间排序等功能 把一些长久不用的记录清楚掉 也可以利用替换等功能 把一些不规范的字符更改掉 这些原来在数据库中比较复杂的任务 在Excle等工具中都可以轻松的完成 
    等到表中的内容修改无误后 数据库管理员就可以把Excle表格中的文件直接导入到SQL Server数据库中 由于SQL Server与Excel是同一个父母生的 所以 他们之间的兼容性很好 在Sql Server中提供了直接从Excel文件中导入数据的工具 
    虽然这要借助中间工具导入数据 但是 因为其处理起来方便 直观 所以 笔者在大部分时候都是采用这种方式 
    第三种方式 使用数据转换服务导入数据
    数据转换服务是SQL Server数据库中提供的一个非常强大的工具 在SQLServer中 数据转换功能有一个图形用户接口 用户可以在图形界面中导入数据 并对数据进行相应的编辑 
    另外 数据转换服务还支持组件的编程接口 这也就是说 在前台应用程序开发的时候 可以直接调用数据转换服务 让用户通过前台应用系统 而不用在后台数据库系统进行任何的操作 就可以把数据导入数据库系统中去 在前台对数据库系统进行导入 有一个明显的好处 就可以预先对数据的合法性进行检查 如可以利用VB等脚本语言对数据进行检验 净化和一定的转换 以符合目的数据库的需要 
    如在员工信息表中的婚姻状况字段 在Oracle数据库系统中 可能是用 或者 来表示婚姻状况 表示未婚 表示已婚 而在SQL Server数据库中 则利用Y或者N来表示婚姻状况 Y表示已婚 N表示未婚 在导入数据的时候 若直接把Oracle数据库表中的数据导入到SQL Server数据库中 因为婚姻状况这个字段存储的内容类型不同 所以 不能够直接导 遇到这种情况的话 则就可以在导入数据之前 先利用脚本语言对数据类型进行验证 若不符合要求的 则可以通过脚本语言对数据进行一定的转换 把 转换为N 把 转换为Y等等 
    所以 有时候程序员在开发前台应用程序的时候 若要开发数据导入功能的话 我们都是建议采用这个数据转换服务 不但有现成的接口 而且 还可以对数据进行验证与一定程度的转换 另外 数据转换服务的数据导入效率非常的高 即使通过前台程序调用 其性能也比其他方法在同等条件下 要高一个档次 而且 随着数据量的增加 数据转换服务的优势会越来越明显 
    不过 在前台应用程序调用数据转换服务的时候 需要注意 数据转换服务提供的接口比较复杂 所以 前台程序调用数据转换服务的代码也比较复杂 若再加上一些脚本语言的话 可能处理起来更加的繁琐 故一般只有在大型系统上才会用到这个接口 若数据不多 否则不需要复杂验证与转换的话 利用这个接口是大刀小用 得不偿失 
    第四种方式 异构数据库之间的导入导出
    虽然第二种 第三种方式都可以完成异构数据库之间数据的导入导出作业 不过 在SQL Server中 还提供了另外一种解决方案 即直接在SQL Server数据库中连接到其他类型的数据库上 然后采用Select Into等语句实现数据的导入作业 
    在SQL Server中 提供了两个函数可以帮助我们实现对非SQL Server数据库的连接 这两个函数分别为Opendatesource与Openrowset 他们的功能基本相同 只是在细节上有所差异 
    如Opendatesource这个函数至能够打开源数据库的表和视图 而不能够对其进行过滤 若用户只想把源表中的部分数据导入到SQL Server数据库的表中 则不能对源表直接进行过滤 过滤的动作需要在SQL Server数据库中进行 而Openrowset这个函数 可以在打开对方数据库的表或者视图的时候 直接利用Where等条件限制语句对记录进新过滤 为此 在实际应用中 还是Openrowset这个函数使用的频率比较高 
    不过由于其需要用户写复杂的参数 而且 又不能够提供复杂的数据验证功能 所以在实际工作中用的并不是很多 在一些小的应用系统中 偶尔还可以见到其的踪影 在一些大的成熟的商业软件中 很少采用这种方式 对数据进行导入 
  lishixinzhi/Article/program/SQLServer/201311/22189 
   

在SQLServer成批导入数据

8. sql server怎么批量导入

在SQL Server中集成了很多成批导入数据的方法。
一、使用Select Into语句
若企业数据库都采用的是SQL Server数据库的话,则可以利用Select Into语句来实现数据的导入。Select Into语句,作用就是把数据从另外一个数据库中查询出来,然后加入到某个用户指定的表中。
在使用这条语句的时候,需要注意几个方面的内容。
1、需要在目的数据库中先建立相关的表。如想把进销存系统数据库(SQLServer)中的产品信息表(Product)导入到ERP系统中的产品信息表(M_Product)中。则前期是在ERP系统的数据库中已经建立了这张产品信息表。
2、这种方法只复制表中的数据,而不复制表中的索引。如在进销存系统数据中的产品信息表中,在产品编号、产品种类等字段上建立了索引。则利用Select Into语句把数据复制到ERP系统的表中的时候,只是复制了数据内容的本身,而不会复制索引等信息。
3、这条语句使用具有局限性。一般情况下,这只能够在SQL Server数据库中采用。不过,对于SQL Server不同版本的数据库,如2008或者2003,还都是兼容的。若需要导入的对象数据库不是SQL Server的,则需要采用其他的方法。
4、采用这条语句的话,在目的表中必须不存在数据。否则的话,目的表中的数据会被清除。也就是说,这个语句不支持表与表数据的合并。在SQL Server中,有一条类似的语句,可以实现这个功能。这条语句就是:Insert Into。作用就是把另外一张表中的数据插入到当前表中。若用户想要的时表与表数据的合并,则可以采用这条语句。两者不能够混淆使用,否则的话,很容 易导致数据的丢失。
5、以上两条语句都支持兼容的不同类型的数据类型。如在原标中,某个字段的数据类型是整数型,但是在目的表中这个字段的数据类型则是浮点型,只要这个两个数据类型本来就兼容的,则在导入的时候,数据库是允许的。
另外再补上一个小技巧:
想复制表a的所有字段名到一个新表b的时候,可以使用以下方法:
1)select * into b from a where 11 (仅SQL Server可用)
2)select top 0 * into b from a
二、利用Excel等中间工具进行控制
1、虽然第一种方法操作起来比较简单,但是其也有一些缺点。如只支持同一种类型的数据库;不能够对数据进行过多的干预等等。一般情况下,若用户原数据准确度比较高,不需要过多的修改就可以直接拿来用的话,则就已采用第一种方式。
2、但是,若在原数据库中,数据的准确度不是很高,又或者,有很多数据是报废的。总之,需要对原数据库的数据进行整理,才能够使用的情况,不建议先导入进去,再进行更改。在遇到这种情况时,喜欢利用Excle作为中间工具。也就是说,先把数据中原数据库中导到Excle中。有些数据库,如 Oracle数据库,不支持Excle格式。但是,可以导为CSV格式的文件。这种文件Excle也可以打得开。
3、然后,再在Excle中,对记录进行修改。由于Excle是一个很强的表格处理软件,所以,其数据修改,要比在数据库中直接修改来得方便,来得简 单。如可以利用按时间排序等功能,把一些长久不用的记录清楚掉。也可以利用替换等功能,把一些不规范的字符更改掉。这些原来在数据库中比较复杂的任务,在 Excle等工具中都可以轻松的完成。
4、等到表中的内容修改无误后,数据库管理员就可以把Excle表格中的文件直接导入到SQL Server数据库中。由于SQL Server与Excel是同一个父母生的,所以,之间的兼容性很好。在Sql Server中提供了直接从Excel文件中导入数据的工具。
5、虽然这要借助中间工具导入数据,但是,因为其处理起来方便、直观,所以,在大部分时候都是采用这种方式。
最后,再附上如何让Excel表格在数据库中能查看到的相关代码:
exec sp_addlinkedserver 'excel','ex','Microsoft.Jet.OLEDB.4.0','C:\Documents and Settings\Administrator\桌面\abc.xls',null,'Excel 5.0' --创建一个名为excel的连接服务,可以查看到abc.xls里面的内容EXEC sp_addlinkedsrvlogin 'excel', 'false', 'sa', 'Admin', NULL --创建一个映射以允许 SQL Server 登录 sa 使用 Excel 登录 Admin 连接到 excel,并且没有密码--exec sp_dropserver 'excel' --删除连接select * from excel...Sheet1$ --查看Excel的Sheet1表里面的内容