Eyoucms报错:General error: 1366 Incorrect string value: '\xF0\x9F\x98' for column 'content'

一、问题描述

向数据库中写入包含表情符号或生僻字的文本时,报错如下:

SQLSTATE[HY000]: General error: 1366 Incorrect string value: '\xF0\xA7\x92\xAD\xEF\xBC...' for column 'content' at row 1


二、问题分析

在 MySQL 5.5 之前,UTF-8 编码只支持 1~3 个字节,仅能覆盖 BMP(基本多文种平面)范围内的 Unicode 字符,因此无法存储 emoji 表情等 4 字节字符。

从 MySQL 5.5 开始,支持 4 字节的 UTF 编码 utf8mb4,一个字符可表示更丰富的字符集,也能支持更多表情符号。



1.png


utf8mb4 完全兼容 utf8,且能表示比 utf8 更多的字符,是 utf8 字符集的超集。 因此,现在越来越多的新业务(如电商、社交等)都会将 MySQL 数据库的字符集设置为 utf8mb4,以完整支持各类字符和表情的存储。

三、解决方案


第 1 步:升级 MySQL 版本

将 MySQL 版本升级为 5.7 或以上,确保数据库支持 utf8mb4 编码(5.5 及以上版本均可,推荐 5.7)。

第 2 步:修改数据库字符集

进入数据库,将数据库的字符集修改为 utf8mb4_general_ci

ALTER DATABASE `数据库名` CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;

第 3 步:修改数据表字段

将报错字段(如 content)的类型修改为 LONGTEXT,排序规则设置为 utf8mb4_general_ci

ALTER TABLE `表名` MODIFY COLUMN `content` LONGTEXT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;

第 4 步:修改 my.cnf 配置文件

继续在 MySQL 配置文件 my.cnf 中修改字符集相关配置,完整配置参考如下(# 这是我们添加的 标注为新增加的内容):

[client]
#password = your_password
port = 3306
socket = /tmp/mysql.sock
default-character-set=utf8mb4                  # 这是我们添加的

[mysqld]
port = 3306
socket = /tmp/mysql.sock
datadir = /www/server/data
default_storage_engine = InnoDB
performance_schema_max_table_instances = 400
table_definition_cache = 400
skip-external-locking
key_buffer_size = 32M
max_allowed_packet = 100G
table_open_cache = 128
sort_buffer_size = 768K
net_buffer_length = 4K
read_buffer_size = 768K
read_rnd_buffer_size = 256K
myisam_sort_buffer_size = 8M
thread_cache_size = 16
query_cache_size = 16M
tmp_table_size = 32M
sql-mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

explicit_defaults_for_timestamp = true
#skip-name-resolve
max_connections = 500
max_connect_errors = 100
open_files_limit = 65535

log-bin=mysql-bin
binlog_format=mixed
server-id = 1
expire_logs_days = 10
slow_query_log=1
slow-query-log-file=/www/server/data/mysql-slow.log
long_query_time=3
#log_queries_not_using_indexes=on
early-plugin-load = ""

innodb_data_home_dir = /www/server/data
innodb_data_file_path = ibdata1:10M:autoextend
innodb_log_group_home_dir = /www/server/data
innodb_buffer_pool_size = 128M
innodb_log_file_size = 64M
innodb_log_buffer_size = 16M
innodb_flush_log_at_trx_commit = 1
innodb_lock_wait_timeout = 50
innodb_max_dirty_pages_pct = 90
innodb_read_io_threads = 2
innodb_write_io_threads = 2

character-set-server = utf8mb4                 # 这是我们添加的
collation-server = utf8mb4_unicode_ci          # 这是我们添加的
init_connect='SET NAMES utf8mb4'               # 这是我们添加的
skip-character-set-client-handshake = true     # 这是我们添加的

[mysqldump]
quick
max_allowed_packet = 500M

[mysql]
no-auto-rehash
default-character-set = utf8mb4                # 这是我们添加的

[myisamchk]
key_buffer_size = 32M
sort_buffer_size = 768K
read_buffer = 2M
write_buffer = 2M

[mysqlhotcopy]
interactive-timeout

宝塔面板路径说明:宝塔下安装的 MySQL,其 my.cnf 配置文件位于 根目录 > etc 下;也可以直接在宝塔面板的「MySQL 配置文件」中修改。

第 5 步:重载配置并重启 MySQL

修改完成后,重载 MySQL 配置并重启 MySQL 服务:

# 宝塔面板中可直接在软件商店 MySQL 管理里重启
systemctl restart mysqld

配置生效后,即可正常存储输入法自带的表情符号和生僻字。

四、注意事项

  1. 字符集保持统一:数据库、数据表、字段的字符集建议统一为 utf8mb4,避免混用导致乱码;
  2. 排序规则一致性:第 2、3 步使用的 utf8mb4_general_ci 与配置文件中的 utf8mb4_unicode_ci 均为 utf8mb4 的合法排序规则,建议整体保持一致;
  3. 历史数据:修改字符集前建议先备份数据库,修改后注意检查原有数据是否有乱码。
分享: