Injeksi Kode
Injeksi kode adalah eksploitasi hacking yang cepat di mana penyerang dapat membuat LLM menjalankan kode sembarang (seringkali Python). Ini dapat terjadi pada LLM yang diperkuat alat, di mana LLM dapat mengirim kode ke interpreter, tetapi juga dapat terjadi ketika LLM itu sendiri digunakan untuk mengevaluasi kode.
Injeksi kode dilaporkan been telah dilakukan pada aplikasi AI, MathGPT dan dgunakan untuk memperoleh OpenAI API key (MITRE report).
MathGPT sejak itu telah diamankan dari injeksi kode. Tolong jangan mencoba untuk meretasnya; mereka membayar untuk panggilan API.
Contoh
Mari kita bekerja dengan contoh sederhana dari MathGPT. Kami akan menganggap bahwa itu mengambil masalah matematika dan menulis kode Python untuk mencoba memecahkan masalah tersebut.
Ini adalah prompt yang digunakan oleh aplikasi contoh yang disederhanakan:
Tulis kode Python untuk menyelesaikan permasalahan matematika berikut:
{{user_input}}
Mari kita bobol di sini:
Ini adalah contoh sederhana, tetapi ini menunjukkan bahwa jenis penyalahgunaan ini signifikan dan berbahaya.
Sander Schulhoff
Sander Schulhoff is the CEO of HackAPrompt and Learn Prompting. He created the first Prompt Engineering guide on the internet, two months before ChatGPT was released, which has taught 3 million people how to prompt ChatGPT. He also partnered with OpenAI to run the first AI Red Teaming competition, HackAPrompt, which was 2x larger than the White House's subsequent AI Red Teaming competition. Today, HackAPrompt partners with the Frontier AI labs to produce research that makes their models more secure. Sander's background is in Natural Language Processing and deep reinforcement learning. He recently led the team behind The Prompt Report, the most comprehensive study of prompt engineering ever done. This 76-page survey, co-authored with OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions, analyzed 1,500+ academic papers and covered 200+ prompting techniques.
Footnotes
-
Kang, D., Li, X., Stoica, I., Guestrin, C., Zaharia, M., & Hashimoto, T. (2023). Exploiting Programmatic Behavior of LLMs: Dual-Use Through Standard Security Attacks. ↩