导出到数据库常见问题

一、连接数据库问题

1、在连接数据库时提示：无法连接到指定的数据库，详细信息：Keyword not supported.参数名：!!!Charset。

问题原因：请检查数据库密码是否包含了特殊符号

解决方法：建议密码修改为：字母和数字组合。

二、导入数据库问题

1、提示：Invalid column type from bcp client for colid x.(从 bcp 客户端收到一个对 colid x 无效的列长度)

问题原因：datatable(数据表中)中的colid列x的数据字段长度超过了数据表中定义的字段长度。

解决方法：将数据库该字段的长度增大。

例如，mysql中设置了某字段类型为varchar(255)，根据colid x判断是该字段问题要修改字段的长度为varchar(1255)，具体的要看该字段采集的字符数多少，要是超过varchar的长度，要改字段类型为文本型longtext 字段长度无效再填写。

2、导出数据提示：“max_allowed_packet”相关的字眼

问题原因：mysql的设置参数中max_allowed_packet过小导致操作异常。

mysql中max_allowed_packet参数的配置方法（避免大数据写入或者更新失败）

MySQL根据配置文件会限制Server接受的数据包大小。有时候大的插入和更新会受 max_allowed_packet 参数限制，导致写入或者更新失败。

查看目前配置：

复制代码代码如下:

show VARIABLES like '%max_allowed_packet%';

显示的结果为：

+--------------------+---------+
| Variable_name | Value |
+--------------------+---------+
| max_allowed_packet | 1048576 |
+--------------------+---------+
以上说明目前的配置是：1M

修改方法

① 修改配置文件

可以编辑my.cnf来修改（windows下my.ini）,在[mysqld]段或者mysql的server配置段进行修改。

复制代码代码如下:

max_allowed_packet = 20M

如果找不到my.cnf可以通过复制代码去寻找my.cnf文件，代码如下:

mysql --help | grep my.cnf

② 在mysql命令行中修改，在mysql 命令行中运行，复制代码代码如下:

set global max_allowed_packet = 2*1024*1024*10

然后退出命令行，重启mysql服务，再进入。

复制代码代码如下:

show VARIABLES like '%max_allowed_packet%';

查看下max_allowed_packet是否编辑成功

注意：该值设置过小将导致单个记录超过限制后写入数据库失败，且后续记录写入也将失败。

3、导出数据提示： Incorrect string value: '\xF0\x9F\x92\xAA",...' for column 'raw_json' at row 1

应用日志显示：

java.sql.SQLException: Incorrect string value: '\xF0\x9F\x92\xAA",...' for column 'raw_json' at row 1, 异常:org.springframework.jdbc.UncategorizedSQLException:

问题原因：由提示可知，插入的字段里面包含emoji表情符。基本可以判定是字符编码的问题。我们的数据库里面使用的是utf8编码，普通的字符串或者表情都是占位3个字节，所以utf8足够用了，但是移动端的表情符号占位是4个字节，普通的utf8就不够用了，为了避免 emoji 表情符号带来的问题、涉及无线相关的 MySQL 数据库建议都提前采用utf8mb4 字符集。

解决方法参考链接：https://www.cnblogs.com/janehoo/archive/2016/04/06/5359800.html

解决方法：更换字符集utf8-->utf8mb4，数据库和数据表字段都要同时修改。