使用Shell脚本来组装“Lua配置模板文件”和“属性配置文件”并生成配置文件

【问题背景】

前几天，我们上线了“基于’Nginx + Lua‘实现的统一权限校验功能”。该功能需要Nginx守护线程定期地从MySQL加载“合作方数据”，我们直接在Lua文件里写死了MySQL等配置信息（硬编码），然后通过一个“中间配置文件”手动修改来针对不同的部署环境选择不同的数据源。

这里有个坑：当开发和运维都忘记修改这个“中间配置文件”时，部署到不同的环境指向的数据源确一样的，会导致验证失败错误。默认是指向线上数据源，当我们部署完线上之后，确认一切正常之后，就立马着手部署测试联调环境，结果都为了要修改这个“中间配置文件”（部署完成后，没有通过本地curl确认，其实这样可以减少犯错的机会！）。下午刚把所有相关的环境部署替换完成，结果晚上就有运营接收到客户（“挖财”）的API验证失败错误投诉，因为下午同样的调用还是正常的。

 

【线上问题紧急处理】

虽然，当时接到运营反馈后，leader结合下午的功能上线动作，很快就确认可能由于刚上线的“统一权限校验功能”，马上先回滚了测试联调环境的Nginx配置，保证客户可以联调。（后来确认问题根源确实是由于数据源加载错误引起，需要加载测试联调环境的数据源，结果却加载了线上数据源）

 

【解决方案】

从上面这个问题可以看到，“如果依赖人的手动修改才能做正确的事情”是不现实的，应当尽可能地避免这样的情况出现。所以，针对以上问题，我们就联想到能不能通过类似“Spring XML与Properties”分离解耦的技术来实现，然后通过类似Maven预编译来自动生成相关的配置文件。针对以上想法，我做了“通过Shell脚本来组装Lua配置模板文件与配置属性文件来生成配置文件”的尝试，上苍不负有心人，最终搞定这事了。方案步骤，如下：

1. 定义“Lua配置模板文件”
2. 针对不同的部署环境，定义相关的“配置属性文件”
3. 通过Shell脚本来生成最终的配置文件（当然这一步也可以实现自动化）

具体实施步骤，如下：

1. 查看config-generator.sh是否具有“执行权限” 
ll -h nginx/lua/bin/config-generator.sh

 

2. 若config-generator.sh没有“执行权限”，则授予其“执行权限” 
chmod a+x nginx/lua/bin/config-generator.sh

 

3. 根据“配置模板”、“配置属性文件”和“部署环境”来生成配置文件（config.lua） 
nginx/lua/bin/config-generator.sh -e test -c /usr/apps/nginx/lua/lib/cn/fraudmetrix/ngx/ 
or 
nginx/lua/bin/config-generator.sh -e test -c nginx/lua/lib/cn/fraudmetrix/ngx/

 

【前后方案实现】

原实现

    中间配置文件 

-- in development
--return require "cn.fraudmetrix.ngx.config.config-dev"

-- in production
return require "cn.fraudmetrix.ngx.config.config-prod"

 

    开发环境的配置

-- config value
local config = {
  version = "1.1",
  mysql = {
    host = "127.0.0.1",
    port = 3306,
    database = "dev",
    user = "dev",
    password = "123456",
    max_packet_size = 1024 * 1024, -- 1M mysql返回包大小上限
    timeout = 500, -- ms
    idle_timeout = 60000, -- ms
    pool_size = 4
  },
  cache = { -- 缓存大小上限
    partner = 10000, -- 合作方
    upstream = 100  -- 上游
  },
  timer = { -- timer执行周期
    partner = 3600, -- s
  },
}

return config

 

 

现在实现

    完整的代码见附件～～～

 

    Lua配置模板文件 

-- config value
-- 【变量占位符替换】若替换值为“字符串”类型的，以单引号(\')定义；若替换值为“数值”类型的，以双引号(\")定义。
local config = {
  version = '1.1',
  mysql = {
    host = '$mysql_host',
    port = "$mysql_port",
    database = '$mysql_database',
    user = '$mysql_user',
    password = '$mysql_password',
    max_packet_size = "$mysql_max_packet_size", -- 1M mysql返回包大小上限
    timeout = "$mysql_timeout", -- ms
    idle_timeout = "$mysql_idle_timeout", -- ms
    pool_size = "$mysql_pool_size"
  },
  cache = { -- 缓存大小上限
    partner = "$cache_partner_max_num", -- 合作方
    upstream = "$cache_upstream_max_num"  -- 上游
  },
  timer = { -- timer执行周期
    partner = "$timer_partner_period", -- s
  },
}

return config

 

    测试环境的配置属性文件

# 配置属性名称定义以下划线("_")分割，不能以点号(".")分割（因为在Shell脚本中，点号(".")是一个特殊字符）

# MySQL
mysql_host=127.0.0.1
mysql_port=3306
mysql_database=test
mysql_user=test
mysql_password=123456
# 风险点：随着”合作方“接入增多，未来”合作方“MySQL加载的数据大小可能超过该值！
mysql_max_packet_size=1024*1024
mysql_timeout=500
mysql_idle_timeout=60000
mysql_pool_size=4

# Local Cache
# 风险点：随着”合作方“接入增多，未来”合作方“的数量可能超过该值！
cache_partner_max_num=10000
cache_upstream_max_num=100

# Timer
timer_partner_period=3600

 

    Shell解析脚本

#!/usr/bin/env bash

# -----------------------------------------------------------------------------
# Generates 'Configuration' file of Lua (config.lua) automatically.
# -----------------------------------------------------------------------------

usage() {
    echo "Usage:"
    echo "  sh config-generator.sh [-e app_deploy_env] [-c config_file_dir]"
    echo ""
    echo "Description:"
    echo "  -e   application deploy environment. The option value is prod, test or dev."
    echo "  -c   configuration file directory for Lua (/absolute/path/to/lua/config)."
    echo ""
    echo "Example:"
    echo "  nginx/lua/bin/config-generator.sh -e test -c /usr/apps/nginx/lua/lib/cn/fraudmetrix/ngx/"
    echo "  nginx/lua/bin/config-generator.sh -e test -c nginx/lua/lib/cn/fraudmetrix/ngx/"
    echo ""

    exit 1
}

# 默认是“生产环境”
app_deploy_env="prod"
# “配置文件”默认放在“当前目录下”
config_file_dir="."

# 1. 接收“参数”
while getopts ":e:c:h" arg
do
   case $arg in
      e) app_deploy_env="$OPTARG";;
      c) config_file_dir="$OPTARG";;
      h) usage;;
      ?) usage;;
   esac
done

# 2. get 'config_file'
# 兼容“path”与“path/”的情况
config_file_dir_last_char="${config_file_dir: -1}"
if [ "$config_file_dir_last_char"x = "/"x ]; then
    # "path/" + "config.lua"
    config_file="$config_file_dir"config.lua
else
    # "path" + "/config.lua"
    config_file="$config_file_dir"/config.lua
fi

# 兼容“path”与“/path”(相对路径与绝对路径)的情况
config_file_dir_first_char="${config_file_dir:0:1}"
if [ "$config_file_dir_first_char"x != "/"x ]; then
    # relative path
    cur_prg_dir=`pwd`
    config_file="$cur_prg_dir"/"$config_file"
fi

# 3. 根据“配置模板”、“配置属性文件”和“部署环境”来生成“配置内容”
# resolve links - $0 may be a softlink  (解析链接 - $0 可能是一个“软链接”)
# 执行程序
PRG="$0"

while [ -h "$PRG" ] ; do
  ls=`ls -ld "$PRG"`
  link=`expr "$ls" : '.*-> \(.*\)$'`
  if expr "$link" : '/.*' > /dev/null; then
    PRG="$link"
  else
    PRG=`dirname "$PRG"`/"$link"
  fi
done

# ”执行程序“所在的”相对根目录“
PRGDIR=`dirname "$PRG"`
# 转换为”绝对根目录“
PRGDIR=`readlink -f "$PRGDIR"`

config_template_file="$PRGDIR"'/../config/config-template.lua'
config_properties_file="$PRGDIR"/../properties/config-"$app_deploy_env".properties

# 执行“配置模板解析器”
CONFIG_PARSER_EXECUTABLE="$PRGDIR"/config-parser.sh
if [ ! -x "$CONFIG_PARSER_EXECUTABLE" ]; then
    `sudo chmod a+x "$CONFIG_PARSER_EXECUTABLE"`
fi
exec "$CONFIG_PARSER_EXECUTABLE" "$config_file" "$config_template_file" "$config_properties_file"

 

#!/usr/bin/env bash

# -----------------------------------------------------------------------------
# Generates 'config.lua' by 'config-template.lua' and 'config-${mode}.properties'.
# -----------------------------------------------------------------------------

config_file="$1"
config_template_file="$2"
config_properties_file="$3"

# source the properties
. "$config_properties_file"

# replace the placeholder
eval "echo \"$(<$config_template_file)\"" > "$config_file"

echo "Generates 'Configuration' file of Lua to '$config_file'"