Ego 4d dan Ego Ekso 4d Challenge 2024 |

Ego4d dan egoexo4d tantangan 2024

CVPR 2024 akan mengadakan 16 tantangan, termasuk dua tantangan baru (langkah tujuan dan skema ego) yang mewakili masin g-masing dari lima tolok ukur EGO4D. 16 tantangan yang harus diadakan di CVPR termasuk dua Teaser Ego-Exo4D Challenge (ego-pose tubuh dan ego-pose tangan). Lihat di bawah untuk detail masalah:

Ego4D challenges ​

Episodic memory:​

• Lokalisasi 2D Kueri Visual (VQ2D) dan Lokalisasi 3D Kueri Visual (VQ3D): Jika tanaman gambar dengan klip video egosentris dan querio harus diberikan, kotak pembatas kontinu (lokalisasi waktu 2D +) atau vektor perpindahan 3D dari kamera ke sebuah Objek di lingkungan mengembalikan penampilan objek terbaru dalam video input.
  • Awal yang cepat
  • Awal yang cepat

  Hands and Objects:​

  • Wakt u-Fi x-Posisi: Jika klip video yang ditata sendiri diberikan, bingkai kunci, yang menunjukkan status objek, terlokalisasi tepat waktu.

  Audio-Visual Diarization:​

  • Lokalisasi dan Pelacakan: Jika klip video yang berpusat pada diri sendiri diberikan, setiap orang dalam adegan akan dikenali dan identitas akan dipertahankan untuk waktu yang lama.
  • Transfer Suara: Jika klip video egosentris diberikan, salin pidato setiap orang.

  Social Understanding:​

  • Ketika Anda diberi klip video yang berpusat pada diri sendiri yang melihat saya, identifikasi apakah seseorang dalam adegan itu melihat orang dengan kamera.
  • Bicaralah dengan saya: Ketika klip video yang berpusat pada diri sendiri diberikan, identifikasi apakah seseorang dalam adegan berbicara dengan pemakai kamera.

  Forecasting:​

  • Perkiraan target jangka pendek: Ketika klip video diberikan, prediksi objek aktif berikutnya dan prediksi waktu untuk menghubungi tindakan berikutnya untuk setiap objek.
    • Awal yang cepat

    Tantangan EGO4D lainnya yang tidak termasuk dalam lokakarya CVPR2024 masih menerima aplikasi di situs web Evalai, tetapi mereka tidak memenuhi syarat untuk penghargaan.

    Dataset​

    Peserta dalam EGO4D Challenge akan menggunakan dataset video komentar 3. 670 jam yang disediakan oleh EGO4D. Pelatihan unik, verifikasi, dan set tes komentar adalah https://ego4d-data. org/docs/ untuk setiap tantangan.

    Tantangan tahun ini akan terus menggunakan EGO4D v2. 0.~Pelatihan ganda dan anotasi verifikasi untuk prediksi, tangan dan objek, banyak koreksi dan peningkatan kegunaan, memperkuat dua dataset baru yang relevan (EGO KEMA dan langkah tujuan). Set tes sama dengan versi sebelumnya. Klik di sini untuk detailnya.

    EgoExo4D teaser challenges ​

    Ego-Exo4D adalah dataset video multi-view yang beragam dan berskala besar dan tantangan benchmark. Ego-Exo4D berfokus pada aktivitas manusia yang terampil (misalnya, olahraga, musik, tari, dan perbaikan sepeda).

    Berikut ini adalah truk Teaser Challenge khusus yang diadakan di Egovis Workshop CVPR 2024.

    • Ego Pose Body: Jika video egosentris diberikan, pose tubuh 3D untuk pemakai kamera diperkirakan. Secara khusus, setiap bingkai memprediksi posisi 3D dari 17 sendi fisik beranotasi.
    • Pose Egu Tangan: Memperkirakan posisi 3D dari sambungan tangan yang ditentukan untuk tangan yang terlihat. Secara khusus, koordinat (x, y, z) dari setiap sambungan dalam kerangka koordinat egosentris diperkirakan.

    Untuk menjalankan tuga s-tugas ini, gunakan dataset egoexo4d. Klik di sini untuk dokumentasi dataset.

    Participation Guidelines​

    Daftar di halaman Evalai Challenge, buat tim dan berpartisipasi dalam kontes. Semua peserta perlu mendaftar sebagai bagian dari “tim yang berpartisipasi” di evalai untuk mengamati pembatasan pengajuan. Peserta dievaluasi pada instance AWS dengan mengunggah prediksi dalam format yang ditentukan dan dibandingkan dengan prediksi Kebenaran Besar. Pelatihan, evaluasi lokal, dan prosedur pengiriman online disediakan oleh Evalai. Lihat halaman Evalai untuk setiap tantangan untuk pedoman yang akan diserahkan, spesifikasi tugas, dan kriteria evaluasi.

    Dates​

    • Tugas EGO4D dimulai pada 15 Maret 2024, dan Dewan Pemimpin akan berakhir pada 30 Mei 2024.
    • Tantangan Egoexo4D akan dimulai pada 29 Maret 2024, dan Dewan Pemimpin akan berakhir pada 30 Mei 2024.
    • Kedua pemenang akan diumumkan pada lokakarya visi egosentris bersama pertama yang diadakan di CVPR 2024.

    Competition Rules and Prize Information​

    Klik di sini untuk aturan kompetisi. Selain itu, Fair memiliki hadiah berikut:

    • Juara: $ 1500
    • 2: $ 1000
    • Tempat k e-3: $ 500

    Tahun ini, penghargaan tambahan akan diberikan untuk para pemenang yang menantang yang dapat menjalankan dengan beberapa tugas EGO4D untuk mendorong eksplorasi model dasar. Semua model dasar dievaluasi oleh kondisi buku aturan.

    Challenge Reports​

    Selain mengirimkan di evalai, para peserta harus mengirimkan laporan tentang metode mereka ke CMT (tautan rag u-ragu) dalam lokakarya. Ingatlah untuk memasukkan metode dan hasil, tetapi juga hasil positif dari model dan hasil negatif (batas). Laporan verifikasi ini dievaluasi oleh tuan rumah EGO4D Consortium Challenge sebelum memutuskan pemenang. Demikian pula, laporan verifikasi tantangan, kode penelitian kary a-karya yang menang, dan pemenang tim pemenang dari pekerjaan pemenang harus diterbitkan di komunitas riset. Untuk informasi lebih lanjut, lihat halaman Lokakarya Egovis.

    Acknowledgements​

    Tantangan EGO4D tidak mungkin tanpa infrastruktur dan dukungan tim Evalai. Terima kasih banyak!

    Organizers​

    • Meletu serum
    • Soyog Jane
    • Andrew Westberry
    • Santosh Kumar Rama Clishenan
    • Chen Chao
    • Melay Lamasanova
    • Satowick Cotour
    • Cartilier Vansan
    • Ifay hoan
    • Chichen Foo
    • Hao Jean
    • Leda Sari
    • Eric Chun g-Con
    • Francesco Ragusa
    • T-Shard Nagarajan
    • Hao Tan
    • Kevin Ryan
    • Menakutkan
    • Curtikeya Mangalam
    • RAINBEK AXURA KOV
    • Zhang Kinu
    • Shan Shu
    • Gabriel Perez Santamaria
    • Juanita Puentes
    • Maria Camilla Escobal Paromeke
    • Lagu Ale
    • Matt Faizuri
    • Giovanni Maria Farinella
    • Mike Z. Schu
    • Pablo Alberaes
    • Jumbo Sea
    • Kristen Grauman

    Past Challenges / Winners​

    CVPR Workshop 2023 (19 Juni 2023)

    ECCV Workshop 2022 (24 Oktober 2022)

    CVPR Workshop 2022 (19 Juni 2022)

    • ringkasan
    • Penugasan ego4d
      • Memori episode
      • Tangan dan bend a-benda
      • D i-diary audiens
      • Pemahaman Sosial
      • ramalan
      • Selain mengirimkan di penyelenggara