Serverless 音视频转码 —— 芒果 TV 落地实践(下)

作者:
发布于: 2021-1-11
归档于:

标签:Serverless转码

《Serverless 音视频转码——芒果 TV 落地实践(上)》中,我们回顾了芒果 TV 吴坚强老师在 techo 大会的精彩分享,芒果TV 音视频编解码业务团队通过使用腾讯云 Serverless 音视频转码服务,成本降低 45% 以上,引起大家的广泛关注,小伙伴们都跃跃欲试!

本文我们将带领大家一起使用云函数 + COS + CLS + FFmpeg 构建高可用、并行处理、实时日志、高度自定义的视频转码服务。我们在此提供了两种方案,您可以直接用转码应用,一键部署,也可以通过 用函数的长运行方案来自己处理。

实现方案

方案一: 使用官网的流式音视频转码,一键部署。查看详情

方案二: 利用云函数的异步执行机制,自主研发。查看详情

流式音视频转码方案

通过云函数创建 FFmpeg 任务进程,云函数进程与 FFmpeg 任务进程通过 pipe 和 FIFO 的方式进行数据传输。云函数进程中的两个任务线程分别接收 FFmpeg 任务进程向函数进程输出的 FFmpeg 日志流与转码后的文件流,从而实现流式读写 COS 和实时日志输出的转码应用场景。

方案优势

  • 流式转码 采用流式拉取源视频文件,流式上传转码文件的工作方式,突破了本地存储的限制,且不需要额外部署 CFS 等产品。
  • 实时日志 视频转码过程中,可通过 CLS 日志实时查看转码进度。同时支持输出 FFmpeg 应用的完整日志。
  • 长时运行 利用云函数的长时运行机制,支持 12h-24h 的运行时长,可覆盖大文件耗时较长的转码场景。
  • 自定义参数 支持用户自定义配置 FFmpeg 命令参数。

前提条件

  1. 安装 Serverlesss Framework
  2. 函数长时运行 白名单申请
  3. 配置部署账号权限。参考 账号和权限配置
  4. 配置 运行角色 权限。

操作步骤

1. 下载转码应用

sls init transcode-app

进入项目目录 transcode-app,将看到目录结构如下:

transcode-app
|- .env  #环境配置
|- serverless.yml # 应用配置
|- log/ #log 日志配置
|  └── serverless.yml
└──transcode/  #转码函数配置
       |- src/
       |   |- ffmpeg   #转码 FFmpeg 工具
       |   └── index.py
       └── serverless.yml
  • log/serverless.yml 定义一个 CLS 日志集和主题,用于转码过程输出的日志保存,目前采用腾讯云 CLS 日志存储。每个转码应用将会根据配置的 CLS 日志集和主题去创建相关资源,CLS 的使用会产生计费,具体参考 CLS 计费规则
  • transcode/serverless.yml 定义函数的基础配置及转码参数配置。
  • transcode/src/index.py 转码功能实现。
  • transcode/src/ffmpeg 转码工具 FFmpeg。

2. 配置环境变量和应用参数

  • 应用参数,文件 transcode-app/serverless.yml
#应用信息
app: transcodeApp # 您需要配置成您的应用名称
stage: dev # 环境名称,默认为 dev
  • 环境变量,文件transcode-app/.env
REGION=ap-shanghai  # 应用创建所在区,目前只支持上海区
TENCENT_SECRET_ID=xxxxxxxxxxxx # 您的腾讯云sercretId
TENCENT_SECRET_KEY=xxxxxxxxxxxx # 您的腾讯云sercretKey

说明:

  • 您可以登录腾讯云控制台,可以在 API 密钥管理 中获取 SecretId 和 SecretKey。
  • 如果您的账号为主账号,或者子账号具有扫码权限,也可以不配置 SercretId 与 SercretKey,直接扫码部署应用。更多详情参考 账号和权限配置

3. 配置转码需要的参数信息

  • CLS 日志定义,文件transcode-app/log/serverless.yml

    #组件信息
    component: cls # 引用 component 的名称
    name: cls-video # 创建的实例名称,请修改成您的实例名称
    
    #组件参数
    inputs:
    name: cls-log  # 您需要配置一个name,作为您的cls日志集名称
    topic: video-log # 您需要配置一个topic,作为您的cls日志主题名称
    region: ${env:REGION} # 区域,统一在环境变量中定义
    period: 7 # 日志保存时间,单位天
  • 云函数及转码配置,文件transcode-app/transcode/serverless.yml

    #组件信息
    component: scf # 引用 component 的名称
    name: transcode-video # 创建的实例名称,请修改成您的实例名称
    
    #组件参数
    inputs:
    name: transcode-video-${app}-${stage}
    src: ./src
    handler: index.main_handler 
    role: transcodeRole # 函数执行角色,已授予cos对应桶全读写权限
    runtime: Python3.6 
    memorySize: 3072 # 内存大小,单位MB
    timeout: 43200 # 函数执行超时时间, 单位秒, 即本demo目前最大支持12h运行时长
    region: ${env:REGION} # 函数区域,统一在环境变量中定义
    asyncRunEnable: true # 开启长时运行,目前只支持上海区
    cls: # 函数日志
      logsetId: ${output:${stage}:${app}:cls-video.logsetId}  # cls日志集  cls-video为cls组件的实例名称
      topicId: ${output:${stage}:${app}:cls-video.topicId}  # cls日志主题
    environment: 
      variables:  # 转码参数
        REGION: ${env:REGION} # 输出桶区域
        DST_BUCKET: test-123456789 # 输出桶名称
        DST_PATH: video/outputs/ # 输出桶路径
        DST_FORMATS: avi # 转码生成格式
        FFMPEG_CMD: ffmpeg -i {inputs} -y -f {dst_format} {outputs}  # 转码基础命令,您可自定义配置,但必须包含ffmpeg配置参数和格式化部分,否则会造成转码任务失败。
        FFMPEG_DEBUG: 0 # 是否输出ffmpeg日志 0为不输出 1为输出
        TZ: Aisa/Shanghai # cls日志输出时间的时区
    events:
      - cos: # cos触发器    	
          parameters:          
            bucket: test-123456789.cos.ap-shanghai.myqcloud.com  # 输入文件桶
            filter:
              prefix: video/inputs/  # 桶内路径
            events: 'cos:ObjectCreated:*'  # 触发事件
            enable: true
  • 输出桶与函数建议配置在同一区域,跨区域配置应用稳定性及效率都会降低,并且会产生跨区流量费用。
  • 内存大小上限为3072MB,运行时长上限为43200s。如需调整,请 提交工单 申请配额调整。
  • 转码应用必须开启函数长时运行 asyncRunEnable: true。
  • 运行角色请根据 运行角色 创建并授权。
  • 示例配置的 FFmpeg 指令仅适用于 AVI 转码场景,详细介绍参考 FFmpeg 指令

4. 部署项目

transcode-app 项目目录下,执行 sls deploy 部署项目。

cd transcode-app && sls deploy

5. 上传视频文件

上传视频文件到已经配置好的cos桶指定路径,则会自动转码。本示例中是cos桶test-123456789.cos.ap-shanghai.myqcloud.com下的/video/inputs/

转码成功后,文件将保存在您配置的输出桶路径中。本示例中是cos桶test-123456789.cos.ap-shanghai.myqcloud.com下的/video/outputs/

6. 重新部署

如果需要调整转码配置,修改文件 transcode/serverless.yml 后,重新部署云函数即可:

cd transcode && sls deploy

监控与日志服务

批量文件上传到 COS 会并行触发转码执行。

  1. 登录 云函数控制台 的【函数服务】页面中,单击函数名进入函数管理页面。
  2. 单击【日志查询】,即可查看日志监控。
  3. 单击【函数管理】>【函数配置】,单击日志主题的链接,跳转至日志服务控制台。
  4. 在日志服务控制台的【检索分析】页面中,选择日志集合日志主题,即可查看日志检索分析 。

借助函数异步运行能力自主研发方案

在音视频转码、ETL 大体量数据处理、AI 推理等单任务重计算的场景下,函数的单实例运行时需要更多算力及更长时间的稳定运行。若函数的调用端长时间阻塞等待执行结果,不仅会持续占用调用方资源,还会对调用链路的稳定性产生较高要求。 云函数 SCF 提供了一种全新的函数运行机制,您可通过 SCF 提供的函数异步执行模式,提升执行超时时间上限和解决现有运行机制的问题。

操作步骤

  1. 登录 云函数控制台,单击左侧导航栏的【函数服务】。
  2. 在主界面上方选择期望创建函数的地域,并单击【新建】,进入函数创建流程。
  3. 选择使用【空白函数】或选择使用【函数模板】来新建函数。
  4. 在“函数配置”页面,展开【高级设置】,并勾选【异步执行】。
  5. 单击【完成】即可创建函数。

运行机制原理

函数启用异步执行后,通过同步(例如 API 网关)或异步(例如 COS、CKafka、Timer 等)调用端进行事件调用,函数将以异步执行模式响应事件。 即完成事件调度后立即返回事件的调用标识 RequestId,并结束调用操作,调用端无需阻塞等待。返回 RequestId 的同时,调用引擎将并行下发事件到函数运行时,开启函数逻辑执行。进入异步执行状态后,执行日志将实时上报至日志服务,提供对异步执行事件运行情况的实时反馈。其原理如图所示:

注意事项:

  • 由于运行机制差异,暂不支持切换同步/异步执行模式。仅支持创建函数时选择是否开启“异步执行”功能,函数创建后该配置将锁定,不提供修改更新操作。
  • 事件调用成功,返回信息只包含 RequestId。事件执行结果需要在函数代码逻辑中自行实现回调特定的 API 或者发送通知消息。
  • 实时日志强依赖于日志服务,系统将默认开启日志服务 CLS,您需要在函数高级配置中选定已有日志集及主题。

    • 如果没有日志集或日志主题,则需要新建。
    • 如果不开启日志服务 CLS,将无法获取实时日志。
  • 异步执行目前支持最长执行时长为24小时。如需更长运行时长,可 提交工单 申请。
  • 如果通过函数运行角色获取对其他云服务组件的访问权限,角色密钥有效期最长为12小时,需要考虑延长有效期策略或使用长期有效密钥。

状态追踪原理

函数高级配置启用状态追踪后,针对异步执行的事件,将开始记录并上报事件响应的实时状态,并提供事件状态的统计、查询及终止等事件管理相关服务。其原理如下图所示:

相关接口

事件管理相关服务 API 通过云 API 的方式提供,详情参考官网

温馨提示

  • 产生的事件状态数据仅保留3天,将以3天为时间窗口滑动清理。如需保留全部记录,则需要定期拉取并保存至自有存储。
  • 关闭状态追踪后,将停止提供异步执行事件相关记录、统计、查询、终止等事件管理相关服务,已产生的事件状态数据将在3天内清空。
  • 异步运行函数的事件调用 QPS 限制为并发数量的十分之一,超出部分将被限制,造成响应失败。
  • 由于请求 QPS 超限、账户欠费等原因,事件调用将由调度引擎直接返回对应异常,不会生成事件状态记录。

欢迎访问:Serverless 中文网,您可以在 最佳实践 里体验更多关于 Serverless 应用的开发!