摘要：本文提出新任务——空间-时间实例分割，目标对整个传感器输入（包括连续事件和可选对齐帧）进行实例分割。为此，介绍了名为MouseSIS的数据集，其中包含对齐的灰度帧和事件，标注了多达7只自由移动和互动的老鼠的真实标签（像素级实例分割）。此外，还提供了两种参考方法
《MouseSIS: A Frames-and-Events Dataset for Space-Time Instance Segmentation of Mice》
论文链接：
项目链接：
摘要：本文提出新任务——空间-时间实例分割，目标对整个传感器输入（包括连续事件和可选对齐帧）进行实例分割。为此，介绍了名为MouseSIS的数据集，其中包含对齐的灰度帧和事件，标注了多达7只自由移动和互动的老鼠的真实标签（像素级实例分割）。此外，还提供了两种参考方法，展示了利用事件数据可以显著提升追踪性能，尤其是与传统相机结合使用时。
任务定义
MouseSIS 提出了一个新的任务：Space-Time Instance Segmentation（时空实例分割），目标是对视频中出现的多个对象（本文为多只小鼠）在时间和空间上持续地进行实例级分割和跟踪。
数据特点
双模态输入：事件相机（Event Camera）+ 灰度图像（Grayscale Frames）数据量： 共 33 段视频，总长度约 638 秒提供 约 75,000 个像素级别实例掩码（masks）标注信息：逐帧 pixel-level mask，且同一目标保持一致 ID挑战性设置： 场景中最多有 7 只鼠标存在复杂的光照条件、不透明/半透明遮挡、交叉移动等问题空间对齐：通过 beamsplitter 光路合并系统实现事件数据与帧数据的像素级别对齐✅ 创新点
提出 首个支持事件相机的时空分割数据集拥有 像素级、时间一致 的标签高分辨率（1280×720），对齐精度高涉及复杂环境：光照变化、遮挡、物体交互✅ 应用前景
行为识别（生物学/神经科学）多目标追踪事件视觉任务（Event Vision）中的 benchmark 参考⚙️ 提供的两种基线方法1️⃣ ModelMixSort（基于检测-跟踪）
框架：经典 tracking-by-detection组件： E2VID：事件图像重建YOLOv8：在重建图像和灰度图像上分别检测小鼠SAM（Segment Anything）：生成实例分割 maskXMem：用于基于掩码的目标跟踪（替代 Kalman filter）➡️ 优点：结构清晰、组件可替换、融合多种模型
➡️ 缺点：依赖组件质量，如 E2VID 出现错误会影响整体性能
2️⃣ EventSeqFormer（基于 Transformer）
框架：端到端 tracking-by-query（基于 SeqFormer）输入形式： E2VID 图像序列或事件体素（Voxel Grids）训练方式：窗口滑动处理（140 帧滑窗 + 20 帧重叠）匹配方法：通过 IoU 和 Hungarian 算法关联时序 tracklets➡️ 优点：时空联合建模，适合长时间跟踪
➡️ 缺点：对事件数据质量敏感、对内存消耗较大
来源：鼠meme
