硕士课题研究思路

前提

对恢复质量有重大影响的因素

• 对当前帧进行超分时，采用的临近帧越多，质量越佳
• 如果后面几帧有在当前帧中被遮挡的细节，那么反向传播会对超分质量有显著影响

视频分发场景：提前计算

特点：对实时性要求不高，图像计算好了可以缓一缓再发

• 根据用户的播放情况（用户还没播放到当前位置），可以将用户还没播放到的帧纳入计算（“提前量”）
• 根据用户的播放情况将待超分的视频帧提前发送到算力网络中

直播场景：实时计算

特点：对实时性要求高，图像计算好了必须立即发送

• 无法进行反向传播
• 模型需要具有较强泛化性或者可以进行在线训练
• 无法进行提前计算

将“超分计算总延迟<可接受的延迟”作为优化的限制条件，视频质量作为优化目标？ 将“超分计算总延迟”作为优化目标，视频质量作为优化条件？

延迟和质量都作为优化目标！视频分发保证质量，直播保证延迟！

• 直播场景在延迟允许的情况下也可以提前计算！

有待实验

• 同一个模型运行两次vs提前退出
• 特征图大小不变vs特征图变大vs多尺度连接
• 在线训练的性能有多少提升？在线训练是否必要？

有待思考

• 既然是按片段超分的，那片段与片段之间的中间数据如何衔接？

  • 不衔接：每一个片段都重新算（在线训练时）
  • 部分衔接：取长期数据在片段间传递
  • 完全衔接：直接把前面几个片段拿过来一起算

• 如何获取最终视频质量并选择合适的SR帧？

  • 直播场景：在起点处用模型进行估计
  • 视频分发场景：训练时标记好（同NEMO）

• 连贯性很重要！（待实验：有多重要？）

  • 如果只处理一个个片段的话会影响到连贯性进而影响性能

• 多用户？