Coding-Agents in einer Sandbox

Ein Coding-Agent liest Quelltext, Anweisungen und Webseiten und handelt auf dieser Grundlage. Er bearbeitet Dateien, führt Befehle aus und ruft Dienste im Netz auf. Jeder Text, den er liest, kann damit sein Handeln beeinflussen, auch ein Kommentar in einer Abhängigkeit oder eine präparierte Webseite. Dieses Risiko wird als Prompt-Injection beschrieben (OWASP LLM01  ). Kritisch wird es, wenn ein Agent zugleich private Daten liest, fremden Inhalten ausgesetzt ist und nach außen kommunizieren kann (Willison  ). Auf einem Entwicklerrechner treffen alle drei Bedingungen zu. ...

5 Minuten · Christopher Horn

Wegwerf-Postfächer für End-to-End-Tests

Ein Registrierungsablauf gilt erst dann als getestet, wenn die Bestätigungsnachricht zugestellt wurde und der enthaltene Link funktioniert. Ein Mock des Mailversands prüft lediglich, ob die Anwendung eine Nachricht versenden wollte, nicht jedoch deren Zustellung. Öffentliche Wegwerfdienste eignen sich ebenfalls nur bedingt. Registrierungsformulare können deren Domains ablehnen, die Dienste können die Anfragerate begrenzen, und die Testdaten verlassen die eigene Infrastruktur. Ansatz Der hier beschriebene Dienst stellt eine Mail-Domain mit einer REST-API bereit. Ein Test legt per POST ein Postfach an und erhält eine zufällig erzeugte, eindeutige Adresse wie 3f9a1c2e@example.com. Mit dieser Adresse durchläuft der Test die Registrierung und ruft die Nachricht anschließend über die API ab. Nach 24 Stunden läuft das Postfach ab. ...

3 Minuten · Christopher Horn