• ADADADADAD

    Xtrabackup备份恢复原理是什么[ mysql数据库 ]

    mysql数据库 时间:2024-11-26 22:09:57

    作者:文/会员上传

    简介:

    一、Xtrabackup备份恢复原理 备份innodb表时,xtrabackup若干个线程拷贝独立表空间的.ibd文件,并不停监视此过程中redo log的变化,添加到自己的事务日志文件(xtrabackup_logfile)

    以下为本文的正文内容,内容仅供参考!本站为公益性网站,复制本文以及下载DOC文档全部免费。

    一、Xtrabackup备份恢复原理
    备份innodb表时,xtrabackup若干个线程拷贝独立表空间的.ibd文件,并不停监视此过程中redo log的变化,添加到自己的事务日志文件(xtrabackup_logfile)中。在此过程中,发生的
    物理写操作越多,xtrabackup_logfile越大。在拷贝完成后的第一个prepare阶段,xtrabackup采用类似于innodb崩溃恢复的方法,把数据文件恢复到与日志文件一致的状态,并把未提交的事
    务回滚。如果同时需要备份myisam表以及innodb表结构等文件,那么就需要用flush tables with lock来获得全局锁,开始拷贝这些不再变化的文件,同时获得binlog位置,拷贝结束后释放锁,
    也停止对redo log的监视。
    很多同学对上面的理解有混淆,以为拷贝.ibd文件就跟操作系统拷贝文件一样。其实这里涉及到fractured page的问题,他应该会重新读取(应该也有重试次数,超过后备份不成功)。
    其实这个原理很简单,了解下doublewrite就可以理解了“本段摘录自《MySQL技术内幕:InnoDB存储引擎》”:
    如果说插入缓冲带给InnoDB存储引擎的是性能,那么两次写带给InnoDB存储引擎的是数据的可靠性。当数据库宕机时,可能发生数据库正在写一个页面,而这个页只写了一部分(比如16K的
    页,只写前4K的页)的情况,我们称之为部分写失效(partial page write)。在InnoDB存储引擎未使用double write技术前,曾出现过因为部分写失效而导致数据丢失的情况。
    有人也许会想,如果发生写失效,可以通过重做日志进行恢复。这是一个办法。但是必须清楚的是,重做日志中记录的是对页的物理操作,如偏移量800,写“aaaa”记录。如果这个页本身
    已经损坏,再对其进行重做是没有意义的。这就是说,在应用(apply)重做日志前,我们需要一个页的副本,当写入失效发生时,先通过页的副本来还原该页,再进行重做,这就是doublewrite。

    二、备份脚本
    #!/bin/sh
    #===================================================================================================
    ## 备份工具:
    ## percona-xtrabackup-2.2.6
    ##
    ## 备份策略:
    ## (1)、每天凌晨04:20点进行全量备份一次;
    ## (2)、每隔1小时增量备份一次;
    ##
    #===================================================================================================
    PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin

    ## DB备份基路径
    BACKUP_BASE_DIR="/data/mysql_backup"

    ## 增量备份时,用到的基准目录列表文件
    ## 内容格式:基准目录|本次备份目录|备份类型【full|inc】
    INC_BASE_LIST="${BACKUP_BASE_DIR}/incremental_basedir_list.txt"

    ## 备份工具路径
    XTRABACKUP_PATH="/usr/local/xtrabackup/bin/innobackupex"

    ## MySQL配置路径
    MYSQL_CNF_PATH="/etc/my.cnf"

    ## 线程数
    THREAD_CNT=6

    #===================================================================================================
    function print_help_info()
    {
    echo "--------------------------------------------------------------"
    echo "Usage: $0 full | inc | help"
    echo "--------------------------------------------------------------"
    echo ""
    exit 1
    }

    [[ $# -lt 1 ]] && print_help_info
    [[ -d ${BACKUP_BASE_DIR} ]] || mkdir -p ${BACKUP_BASE_DIR}

    ## xtrabackup基础套件不存在时,进行自动下载安装
    if [[ ! -e ${XTRABACKUP_PATH} ]]; then
    cd /usr/local
    wget -q -O xtrabackup-2.2.6.tgz http://www.percona.com/redir/downloads/XtraBackup/LATEST/binary/tarball/percona-xtrabackup-2.2.6-5042-Linux-x86_64.tar.gz
    tar xvzf xtrabackup-2.2.6.tgz >/dev/null 2>&1 && rm -f xtrabackup-2.2.6.tgz
    mv percona-xtrabackup-2.2.6-Linux-x86_64 xtrabackup-2.2.6
    rm -rf xtrabackup && ln -s xtrabackup-2.2.6 xtrabackup

    for FNAME in `ls -1t /usr/local/xtrabackup/bin`
    do
    rm -f /usr/bin/${FNAME} && ln -s /usr/local/xtrabackup/bin/${FNAME} /usr/bin/${FNAME}
    done
    fi

    ## 只允许一个副本运行,以避免全量备份与增量备份出现交叉,发生数据错乱的可能性
    ##[[ -n `ps uax | grep innobackupex | grep -v grep` ]] && exit 1

    ## 目录名默认精确到分钟,为避免意外情况,导致备份任务失败,可以精确到秒
    CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M`
    [[ -d ${CURRENT_BAK_PATH} ]] && CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M-%S`

    #===================================================================================================
    ## 全量备份
    if [[ "$1" == "full" ]]; then
    ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
    echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}

    ## 增量备份
    elif [[ "$1" == "inc" ]]; then
    ## 基准目录列表文件不存在或者为空的情况,需要做一次全量备份
    if [[ ! -f ${INC_BASE_LIST} || `sed '/^$/d' ${INC_BASE_LIST} | wc -l` -eq 0 ]]; then
    ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
    echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}

    ## 不存在任何目录的情况,需要做一次全量备份,以避免增量备份失败
    elif [[ `find ${BACKUP_BASE_DIR} -maxdepth 1 -type d | wc -l` -eq 1 ]]; then
    ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
    echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}

    ## 在上一次备份的基础上,进行增量备份
    else
    PREV_BACKUP_DIR=`sed '/^$/d' ${INC_BASE_LIST} | tail -1 | awk -F '|' '{print $2}'`
    ## 上次的备份目录不存在或者目录为空的情况,以避免人为删除的可能性【针对部分恶意删除的情况,目前还没有较好的检查方法】
    if [[ ! -d ${PREV_BACKUP_DIR} || -z `ls ${PREV_BACKUP_DIR}` ]]; then
    ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
    echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}
    else
    ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp --incremental ${CURRENT_BAK_PATH} --incremental-basedir=${PREV_BACKUP_DIR}
    echo "${PREV_BACKUP_DIR}|${CURRENT_BAK_PATH}|inc" >> ${INC_BASE_LIST}
    fi
    fi

    elif [[ "$1" == "help" ]]; then
    print_help_info

    else
    print_help_info
    fi

    ## 删除2周前的数据备份
    rm -rf ${BACKUP_BASE_DIR}/`date -d '14 days ago' +'%F'`_*
    sed -i "/`date -d '14 days ago' +'%F'`/d" ${INC_BASE_LIST}

    #===================================================================================================
    ##The End

    ####################################################################################################
    ## 需要添加的crontab信息:
    ## (1)、全量备份
    ## 20 04 * * * /data/scripts/mysql_backup.sh full >/dev/null 2>&1
    ##
    ## (2)、增量备份
    ## 00 * * * * /data/scripts/mysql_backup.sh inc >/dev/null 2>&1
    ##
    ####################################################################################################

    ####################################################################################################
    ## DB数据恢复步骤:
    ## (1)、应用基准
    ## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log --redo-only /data/mysql_backup/full
    ##
    ## (2)、应用第一个增量备份
    ## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log --redo-only /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_one
    ##
    ## (3)、应用第二个增量备份
    ## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_two
    ##
    ## (4)、再次应用基准
    ## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log /data/mysql_backup/full
    ##
    ## (5)、恢复
    ## innobackupex --user=root --defaults-file=/etc/my.cnf --copy-back /data/mysql_backup/full
    ####################################################################################################

    三、效果展示

    # cat mysql_backup.sh

    #!/bin/sh
    #===================================================================================================
    ## 备份工具:
    ## percona-xtrabackup-2.2.6
    ##
    ## 备份策略:
    ## (1)、每天凌晨04:20点进行全量备份一次;
    ## (2)、每隔1小时增量备份一次;
    ##
    #===================================================================================================
    PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin

    ## DB备份基路径
    BACKUP_BASE_DIR="/data/mysql_backup"

    ## 增量备份时,用到的基准目录列表文件
    ## 内容格式:基准目录|本次备份目录|备份类型【full|inc】
    INC_BASE_LIST="${BACKUP_BASE_DIR}/incremental_basedir_list.txt"

    ## 备份工具路径
    XTRABACKUP_PATH="/usr/local/xtrabackup/bin/innobackupex"

    ## MySQL配置路径
    MYSQL_CNF_PATH="/etc/my.cnf"

    ## 线程数
    THREAD_CNT=6

    #===================================================================================================
    function print_help_info()
    {
    echo "--------------------------------------------------------------"
    echo "Usage: $0 full | inc | help"
    echo "--------------------------------------------------------------"
    echo ""
    exit 1
    }

    [[ $# -lt 1 ]] && print_help_info
    [[ -d ${BACKUP_BASE_DIR} ]] || mkdir -p ${BACKUP_BASE_DIR}

    ## xtrabackup基础套件不存在时,进行自动下载安装
    if [[ ! -e ${XTRABACKUP_PATH} ]]; then
    cd /usr/local
    wget -q -O xtrabackup-2.2.6.tgz http://www.percona.com/redir/downloads/XtraBackup/LATEST/binary/tarball/percona-xtrabackup-2.2.6-5042-Linux-x86_64.tar.gz
    tar xvzf xtrabackup-2.2.6.tgz >/dev/null 2>&1 && rm -f xtrabackup-2.2.6.tgz
    mv percona-xtrabackup-2.2.6-Linux-x86_64 xtrabackup-2.2.6
    rm -rf xtrabackup && ln -s xtrabackup-2.2.6 xtrabackup

    for FNAME in `ls -1t /usr/local/xtrabackup/bin`
    do
    rm -f /usr/bin/${FNAME} && ln -s /usr/local/xtrabackup/bin/${FNAME} /usr/bin/${FNAME}
    done
    fi

    ## 只允许一个副本运行,以避免全量备份与增量备份出现交叉,发生数据错乱的可能性
    ##[[ -n `ps uax | grep innobackupex | grep -v grep` ]] && exit 1

    ## 目录名默认精确到分钟,为避免意外情况,导致备份任务失败,可以精确到秒
    CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M`
    [[ -d ${CURRENT_BAK_PATH} ]] && CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M-%S`

    #===================================================================================================
    ## 全量备份
    if [[ "$1" == "full" ]]; then
    ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
    echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}

    ## 增量备份
    elif [[ "$1" == "inc" ]]; then
    ## 基准目录列表文件不存在或者为空的情况,需要做一次全量备份
    if [[ ! -f ${INC_BASE_LIST} || `sed '/^$/d' ${INC_BASE_LIST} | wc -l` -eq 0 ]]; then
    ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
    echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}

    ## 不存在任何目录的情况,需要做一次全量备份,以避免增量备份失败
    elif [[ `find ${BACKUP_BASE_DIR} -maxdepth 1 -type d | wc -l` -eq 1 ]]; then
    ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
    echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}

    ## 在上一次备份的基础上,进行增量备份
    else
    PREV_BACKUP_DIR=`sed '/^$/d' ${INC_BASE_LIST} | tail -1 | awk -F '|' '{print $2}'`
    ## 上次的备份目录不存在或者目录为空的情况,以避免人为删除的可能性【针对部分恶意删除的情况,目前还没有较好的检查方法】
    if [[ ! -d ${PREV_BACKUP_DIR} || -z `ls ${PREV_BACKUP_DIR}` ]]; then
    ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
    echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}
    else
    ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp --incremental ${CURRENT_BAK_PATH} --incremental-basedir=${PREV_BACKUP_DIR}
    echo "${PREV_BACKUP_DIR}|${CURRENT_BAK_PATH}|inc" >> ${INC_BASE_LIST}
    fi
    fi

    elif [[ "$1" == "help" ]]; then
    print_help_info

    else
    print_help_info
    fi

    ## 删除2周前的数据备份
    rm -rf ${BACKUP_BASE_DIR}/`date -d '14 days ago' +'%F'`_*
    sed -i "/`date -d '14 days ago' +'%F'`/d" ${INC_BASE_LIST}

    #===================================================================================================
    ##The End


    ## 需要添加的crontab信息:
    ## (1)、全量备份
    ## 20 04 * * * /data/scripts/mysql_backup.sh full >/dev/null 2>&1
    ##
    ## (2)、增量备份
    ## 00 * * * * /data/scripts/mysql_backup.sh inc >/dev/null 2>&1




    ## DB数据恢复步骤:
    ## (1)、应用基准
    ## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log --redo-only /data/mysql_backup/full
    ##
    ## (2)、应用第一个增量备份
    ## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log --redo-only /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_one
    ##
    ## (3)、应用第二个增量备份
    ## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_two
    ##
    ## (4)、再次应用基准
    ## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log /data/mysql_backup/full
    ##
    ## (5)、恢复
    ## innobackupex --user=root --defaults-file=/etc/my.cnf --copy-back /data/mysql_backup/full

    Xtrabackup备份恢复原理是什么.docx

    将本文的Word文档下载到电脑

    推荐度:

    下载
    热门标签: xtrabackup