Test Engineering Notes — Vol. 17: вразливості LLM-систем та складність Safety-Critical-розробки

💡 Усі статті, обговорення, новини про тестування — в одному місці. Приєднуйтесь до QA спільноти!

Вітаю, друзі! Якщо ви бачите цей дайджест вперше, нумо знайомитися.

Мене звати Олександр Романов. Я працюю в автоматизації та розробці з 2011 року. З того часу постійно читаю та вивчаю щось нове. Щоб знання не просто накопичувались, я ділюся ними у своєму каналі Test Engineering Notes та подкасті Testing Minutes.

Цього разу статей про CrowdStrike було так багато, що я виділив їх в окремий розділ.

TLDR, або Що у випуску за серпень 2024:

• Як Uber тестує платежі в продакшені.
• Що означає бути контекстно-орієнтованим тестувальником.
• Які баги в безпеці є в сучасних LLM-системах.
• Що треба знати інженеру про Safety-Critical софт.
• Огляд подій та причин помилки в CrowdStrike від Gergely Orosz.
• Тисяча й одне застосування Playwright.
• Багато іншого...

Новини

Цього місяця ми з Артемом Григоренком продовжили четвертий сезон подкасту Testing Minutes. Вже можна подивитись випуски:

• Як тестувальнику залишатись технічним без написання коду.
• Що таке testability — разом з Rob Meaney.
• Які бувають баги в мисленні.
• З чого почати менторинг.
• Розбираємось з метриками в тестуванні.

Далі буде ще цікавіше!

CrowdStrike

• The biggest-ever global outage: lessons for software engineers — детальний огляд подій та причин помилки.
• Just disconnect the internet — роздуми інженера про те, чи можна швидко заподіяти помилкам оновлення.
• Inside Crowdstrike’s Deployment Process — невеличке пояснення процесу деплою в CrowdStrike.

Тестування

• Navigating the World as a Context-Driven Tester — що таке контекстно-орієнтоване тестування.
• Top 10 for LLMs and Generative AI Apps — OWASP вже робили добірки найбільш поширених вразливостей у web та mobile. Цього разу — добірка вразливостей LLM-систем.
• Why Do We Test? — риторичне, але водночас практичне питання: «Навіщо ми тестуємо?»
• Developer tests — mobile focused — mobile-розробниця розповідає про те, чому тестування — це класно. Але й не так легко, як усі вважають.
• End-to-End Testing in Microservices: Where’s the Real Issue? — чергова стаття про те, як організувати тестування мікросервісів.

Автоматизація

• Cringey, But True: How Uber Tests Payments In Production — як Uber проводить тестування платежів в продакшені.
• UI Testing of Mobile apps at SafetyCulture — про підходи та організацію мобільних тестів в компанії SafetyCulture.
• How we changed Our Testing Framework From Cypress to Playwright — успішний кейс переходу з Cypress на Playwright.
• Crawling Pages with Infinite Scroll using Scrapy and Playwright — як написати свій Crawler на Python.
• End-to-End Testing an AI Application with Playwright and GitHub Actions — короткий приклад E2E-тестування системи з AI.
• Containerized Browser Testing with Playwright on Kubernetes — як запускати Playwright-тести в контейнерах з Kubernetes.
• Tracking supermarket prices with Playwright — ще один практичний приклад застосування Playwright поза межами тестування.

Python

• Behavior Driven Chaos with AWS Fault Injection Simulator — AWS мають окремий сервіс для хаос-тестування. Можна писати тести навіть з BDD.
• Tea-tasting: a Python package for the statistical analysis of A/B tests — цікава бібліотека для статистичних тестів на Python.
• Are Function Calls Still Slow in Python? An Analysis of Recent Optimizations in CPython — наскільки ж повільні виклики функцій в Python.

Hard Skills

• Safety-Critical Software: 15 things every developer should — дуже гарний пост про те, що таке Safety-Critical софт та які проблеми з якістю в ньому бувають.
• Two Threads, One Core: How Simultaneous Multithreading Works Under the Hood — розповідь про те, як під капотом працює багатопотоковість.
• The Elegance of the ASCII Table — чому ASCII саме така, як є.
• Reader Q&A. What does it mean to initialize an int? — що ж насправді відбувається в системі, коли ви створюєте змінну типу Integer.
• Continuous reinvention. A brief history of block storage at AWS — еволюція Blob Storage на AWS.
• Exploring Generative AI — огляд того, як працюють Generative AI-системи.
• Faster continuous integration builds at Canva — як в Canva оптимізували час збірки продукту з декількох годин до менш ніж 30 хвилин.

Дякую за увагу! Діліться найкращими статтями та відео у коментарях!