Как вы считаете, если для дев среды использовать допольнительный docker-compose.dev.yml с переопределением конфигурации для celery и для django. А именно добавить volumes и расшарить общую директорию (c кодом проекта) с хост машиной. Это даст возможность не останавливая контейнеры, отслеживать изменения, и автоматически перезагружать celery и gunicorn.