Learn PromptingPrompt Leaking
Prompt leaking adalah salah satu bentuk prompt injection di mana model diminta untuk ‘memuntahkan’ prompt-nya sendiri.
Seperti yang ditunjukkan dalam gambar contoh di bawah ini, penyerang mengubah input_pengguna untuk mencoba mengembalikan prompt. Tujuan yang dimaksud berbeda dari penyusupan tujuan (injeksi instruksi normal), di mana penyerang mengubah masukan_pengguna untuk mencetak instruksi jahat.
Gambar berikut, lagi-lagi dari contoh remoteli.io, menampilkan pengguna Twitter yang membuat model bocor dengan promptnya.
Ya, lalu apa? Mengapa kita harus peduli tentang prompt leaking?
Terkadang orang ingin merahasiakan tanggapan mereka. Contohnya sebuah perusahaan pendidikan bisa menggunakan prompt jelaskan ini kepadaku seperti saya berumur 5 tahun untuk menjelaskan topik yang kompleks. Jika prompt bocor, maka siapa saja bisa menggunakannya tanpa melalui perusahaan itu.
Microsoft Bing Chat
Lebih mencolok, Microsoft merilis mesin pencari berbasis ChatGPT yang dikenal sebagai "Bing baru" pada 2/7/23, yang terbukti rentan terhadap kebocoran prompt. Contoh berikut oleh @kliu128 menunjukkan bagaimana dengan versi sebelumnya dari Pencarian Bing yang bernama kode "Sydney", rentan ketika memberikan potongan dari perintahnya. Ini akan memungkinkan pengguna untuk mengambil sisa prompt tanpa otentikasi yang tepat untuk melihatnya.
Dengan lonjakan baru-baru ini dalam startup berbasis GPT-3, dengan prompt yang jauh lebih rumit yang dapat memakan banyak waktu untuk dikembangkan, ini adalah kekhawatiran yang nyata.
Latihan
Coba bocorkan prompt berikut dengan menambahkan teks ke dalamnya:
Sander Schulhoff
Sander Schulhoff is the CEO of HackAPrompt and Learn Prompting. He created the first Prompt Engineering guide on the internet, two months before ChatGPT was released, which has taught 3 million people how to prompt ChatGPT. He also partnered with OpenAI to run the first AI Red Teaming competition, HackAPrompt, which was 2x larger than the White House's subsequent AI Red Teaming competition. Today, HackAPrompt partners with the Frontier AI labs to produce research that makes their models more secure. Sander's background is in Natural Language Processing and deep reinforcement learning. He recently led the team behind The Prompt Report, the most comprehensive study of prompt engineering ever done. This 76-page survey, co-authored with OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions, analyzed 1,500+ academic papers and covered 200+ prompting techniques.
Footnotes
-
Perez, F., & Ribeiro, I. (2022). Ignore Previous Prompt: Attack Techniques For Language Models. arXiv. https://doi.org/10.48550/ARXIV.2211.09527 ↩ ↩2
-
Willison, S. (2022). Prompt injection attacks against GPT-3. https://simonwillison.net/2022/Sep/12/prompt-injection/ ↩
-
Liu, K. (2023). The entire prompt of Microsoft Bing Chat?! (Hi, Sydney.). https://twitter.com/kliu128/status/1623472922374574080 ↩
-
Chase, H. (2022). adversarial-prompts. https://github.com/hwchase17/adversarial-prompts ↩