MySQL 乱码问题详解

jopen 10年前

 

先着重介绍一下mysql的字符集,这样能对产生mysql的根源有一个了解。mysql 的字符集支持有两个方面:字符集(Character set)和排序方式(Collation)。另外对于字符集的支持细化到四个层次: 服务器(server),数据库(database),数据表(table)和连接(connection)。

连上mysql 后使用status 命令,可以看到类似如下输出:

>mysql status  Connection id:          305  Current database:  Current user:           root@localhost  SSL:                    Not in use  Current pager:          stdout  Using outfile:          ''  Using delimiter:        ;  Server version:         5.6.23 MySQL Community Server (GPL)  Protocol version:       10  Connection:             Localhost via UNIX socket  Server characterset:    utf8  Db     characterset:    utf8  Client characterset:    utf8  Conn.  characterset:    utf8

Server characterset 就是mysql默认字符集,当创建数据库没有指定字符集时数据库就采用此默认值。可以在mysql的配置文件中的 mysqld 段中对此值进行修改
[mysqld]  port        = 3306  socket      = /tmp/mysql.sock  character-set-server = utf8  collation-server = utf8_general_ci 

Db characterset:是当前数据库默认的字符集,当创建表时没有指定字符集,此表就使用当前默认值。例如创建一个 db_test 数据库,字符集使用 latin1
CREATE DATABASE `db_test` CHARACTER SET 'latin1' COLLATE 'latin1_swedish_ci';    use db_test;

然后再使用 status 命令,可以看到这个时候 Db characterset 变为 latin1 了

>mysql status  Connection id:          305  Current database:       db_test  Current user:           root@localhost  SSL:                    Not in use  Current pager:          stdout  Using outfile:          ''  Using delimiter:        ;  Server version:         5.6.23 MySQL Community Server (GPL)  Protocol version:       10  Connection:             Localhost via UNIX socket  Server characterset:    utf8  Db     characterset:    latin1  Client characterset:    utf8  Conn.  characterset:    utf8

在数据库中分别创建两种表 test1 和 test2,其中 test1 使用默认字符集, test2 指定字符集为GBK
create table test1 (name varchar(20));    create table test2 (name varchar(20)) default charset=GBK;

使用 show create table 命令查看上述两张表,可以看到 test1 使用了当前数据库的默认字符集latin1,而test2使用的字符集是GBK。
mysql> show create table test1;  +-------+-------------------------------------------------------------------------------------------------+  | Table | Create Table                                                                                    |  +-------+-------------------------------------------------------------------------------------------------+  | test1 | CREATE TABLE `test1` (    `name` varchar(20) DEFAULT NULL  ) ENGINE=InnoDB DEFAULT CHARSET=latin1 |  +-------+-------------------------------------------------------------------------------------------------+    mysql> show create table test2;  +-------+----------------------------------------------------------------------------------------------+  | Table | Create Table                                                                                 |  +-------+----------------------------------------------------------------------------------------------+  | test2 | CREATE TABLE `test2` (    `name` varchar(20) DEFAULT NULL  ) ENGINE=InnoDB DEFAULT CHARSET=gbk |  +-------+----------------------------------------------------------------------------------------------+

mysql 存储信息最终是已二进制的形式来存储的。所以在存储之前就需要对信息进行编码,同时从数据库读取信息后需要解码。具体使用那种编码、解码方式就是根据 Client characterset以及表对应的字符集,如果没有显示的指定,那么会有一个默认值。当使用命令行的方式连接mysql,可以在mysql 配置中 mysql 段来指定默认Client characterset。例如:
[client]  port        = 3306  socket      = /tmp/mysql.sock  default-character-set   = utf8

也可以使用在连接时候指定

mysql -uroot -p --default-character-set=utf8

另外在登录mysql 后也可以使用 set names 来指定

set names utf8 

关于优先级,set names utf8 最高,mysql -uroot -p --default-character-set=utf8 其次、my.cnf 最后。

上面对字符集做了一个简单的介绍,建议大家也把上面的mysql 命令试一下,这样理解或更加深刻。现在再来说一下乱码的情况,一般出现乱码就是因为字符集(编码)不同,换句话说就是当字符集(编码)一致时就不会出现乱码。前面介绍了一下字符集,所以知道了好几种,那到底是需要什么字符集一致呢?答案是:Client characterset 与 数据库表的字符集。 下面还是通过例子来说明,使用上面创建的表 test1。

由于test1使用的字符集是 latin1,那么使用下面的方式连上mysql

mysql -uroot -p  db_test --default-character-set=latin1

再次确认一下Client characterset 与 数据库表的字符集

mysql> status  --------------  mysql  Ver 14.14 Distrib 5.6.23, for osx10.8 (x86_64) using  EditLine wrapper    Connection id:          310  Current database:       db_test  Current user:           root@localhost  SSL:                    Not in use  Current pager:          stdout  Using outfile:          ''  Using delimiter:        ;  Server version:         5.6.23 MySQL Community Server (GPL)  Protocol version:       10  Connection:             Localhost via UNIX socket  Server characterset:    utf8  Db     characterset:    latin1  Client characterset:    latin1  Conn.  characterset:    latin1    -------------------------    mysql> show create table test1;  +-------+-------------------------------------------------------------------------------------------------+  | Table | Create Table                                                                                    |  +-------+-------------------------------------------------------------------------------------------------+  | test1 | CREATE TABLE `test1` (    `name` varchar(20) DEFAULT NULL  ) ENGINE=InnoDB DEFAULT CHARSET=latin1 |  +-------+-------------------------------------------------------------------------------------------------+

可以看到Client characterset与表的字符集是一致的,然后插入一条含有中文的记录,同时查询看看。
mysql> insert into test1(name) values('中test文1234测试');    mysql> select * from test1;  +----------------------+  | name                 |  +----------------------+  | 中test文1234测试 |  +----------------------+

现在证明当Client characterset与表的字符集一致时,没有出现乱码。那现在使用set names 来修改一下 Client characterset 看看效果。
mysql> set names utf8;  Query OK, 0 rows affected (0.00 sec)    mysql> status  --------------  mysql  Ver 14.14 Distrib 5.6.23, for osx10.8 (x86_64) using  EditLine wrapper    Connection id:          310  Current database:       db_test  Current user:           root@localhost  SSL:                    Not in use  Current pager:          stdout  Using outfile:          ''  Using delimiter:        ;  Server version:         5.6.23 MySQL Community Server (GPL)  Protocol version:       10  Connection:             Localhost via UNIX socket  Server characterset:    utf8  Db     characterset:    latin1  Client characterset:    utf8  Conn.  characterset:    utf8    mysql> select * from test1;  +--------------------------------------+  | name                                 |  +--------------------------------------+  | 中test文1234测试 |  +--------------------------------------+

utf8 出现乱码,再试试gbk
mysql> set names gbk;  Query OK, 0 rows affected (0.00 sec)    mysql> status  --------------  mysql  Ver 14.14 Distrib 5.6.23, for osx10.8 (x86_64) using  EditLine wrapper    Connection id:          310  Current database:       db_test  Current user:           root@localhost  SSL:                    Not in use  Current pager:          stdout  Using outfile:          ''  Using delimiter:        ;  Server version:         5.6.23 MySQL Community Server (GPL)  Protocol version:       10  Connection:             Localhost via UNIX socket  Server characterset:    utf8  Db     characterset:    latin1  Client characterset:    gbk  Conn.  characterset:    gbk    mysql> select * from test1;  +------------------------+  | name                   |  +------------------------+  | ???test?1234???? |  +------------------------+

上面把Client characterset 设置分别设置为 utf8 或 GBK 后,然后查询都出现了乱码,而且乱码显示还不一样。下面再测试一样不同Client characterset字符集先插入在读取的情况。
mysql -uroot -p  db_test --default-character-set=utf8     mysql> status  --------------  mysql  Ver 14.14 Distrib 5.6.23, for osx10.8 (x86_64) using  EditLine wrapper    Connection id:          312  Current database:       db_test  Current user:           root@localhost  SSL:                    Not in use  Current pager:          stdout  Using outfile:          ''  Using delimiter:        ;  Server version:         5.6.23 MySQL Community Server (GPL)  Protocol version:       10  Connection:             Localhost via UNIX socket  Server characterset:    utf8  Db     characterset:    latin1  Client characterset:    utf8  Conn.  characterset:    utf8    mysql> truncate table test1;  Query OK, 0 rows affected (0.01 sec)    mysql> select * from test1;  Empty set (0.00 sec)    mysql> insert into test1(name) values('中test文1234测试');                                                                                                                                               Query OK, 1 row affected, 1 warning (0.00 sec)    mysql> select * from test1;  +--------------+  | name         |  +--------------+  | ?test?1234?? |  +--------------+

上面的例子说明当字符集不一致出现乱码了。 如果再把Client characterset 修改为和数据库表一致,然后看看刚刚插入的记录是否还是显示乱码
mysql> set names latin1;  Query OK, 0 rows affected (0.00 sec)    mysql> select * from test1;  +--------------+  | name         |  +--------------+  | ?test?1234?? |  +--------------+  1 row in set (0.00 sec)

还是乱码,也就是通过字符集设置也无法把乱码还原了。

通过上面这些例子可以得出结论,只有 当Client characterset与表的字符集一致才不会出现乱码