Додам про Patrol, маю купу позитивного досвіду з ним. (у порівнянні з Аппіумом)
— Тести фактично раняться на девайсі, назовні сервер лиш слухає за результами проходження. Зовнішній сервер якщо ляже то тести можуть на девайсі продовжити ранитись. Аппіум то навпаки тест виконується ззовні, апіум то HTTP сервак який штрикає апку.
— Patrol огортає всю апку, і можна перед запуском теста всередені задати потрібний стан, або перевіряти стан не через UI а просто подивившись що засетапилось. Через аппіум сетап стану то треба писати файли в ситему і на запуску вони підтянуться. Уявіть що трапиться коли деви почнуть шифрувати дані? Розробники так і зробили, а мої тести навіть того не помітили. На аппіумі то щоб зробити треба шифрування самому робити і ключами ділитися. І коли щось десь оновиться дуже важко те підтримувати.
— Вихід контенту за межу контейнера навіть на 1 піксель = патруль падає з людською помилкою. Аппіумом треба окремо читати десь логи дивитися хто і де падає.
— Скріншоти можливі, хоча і не з коробки тільки треба інтегрувати навколо апки, потім викидати їх з девайса на якому раняться тести.
— Селектори можна через тексти перекладів робити, або додавати власні семантики. По селекторам треба б детальніше розповісти. Вони працюють через Dart машину, а не через UI, тому працюють супер стабільно. Буває треба UI зовнішній посмикати, то можливі ті самі проблеми що і у Appium. Дерево відбудовується але без нод.
— Тести супер швидкі, розігнав до абсурду. Проходять швидше і стабільніше за playwright Web тести.
— Можливі проблеми з тим щоб на ферми кудись віддавати тести. Проте треба зауважити що тестів відро і трошки але менше 10 хвилин працюють. На CI один iOS і один Andoid емулятор і того досить.
— Тести ближче до розробників, їм легше зрозуміти що падає. Можна запустити дебаг E2E теста, а зупинити в коді самого застосунку.
— Зробив тести на Android, а потім з пів тика вони завелись на iOS. Але це ще і заслуга Flutter.

Були з Patrol і проблеми, але не суттєві. Але то окрема розмова.