Please follow LAVT for dataset preparation.
After downloading the dataset, the directory should look like this:
├── ref_dataset/data
│ │
│ ├── train2014
│ │ ├── COCO_train2014_000000193977.jpg
│ │ ├── COCO_train2014_000000387678.jpg
│ │ └── ...
│ │
│ ├── refcoco
│ │ ├── instances.json
│ │ ├── refs(google).p
│ │ └── refs(unc).p
│ │
│ ├── refcoco+
│ │ └── ...
│ │
│ ├── refcocog
│ └── ...