Learn PromptingMengurangi Bias pada Prompt
Halaman ini mencakup beberapa teknik sederhana untuk mengurangi bias pada permintaan Anda.
Mengurangi Bias pada Exemplar
Tergantung pada distribusi dan urutan mereka dalam prompt, contoh exemplar mungkin mempengaruhi output LLM. Ini dibahas dalam tingkat tertentu di halaman Apa yang ada pada Prompt.
Distribusi
Ketika membahas distribusi contoh dalam prompt, kita mengacu pada berapa banyak contoh dari kelas yang berbeda yang ada. Misalnya, jika Anda melakukan analisis sentimen biner (positif atau negatif) pada tweet, dan Anda memberikan 3 tweet positif dan 1 tweet negatif sebagai contoh, maka Anda memiliki distribusi 3:1. Karena distribusinya condong ke tweet positif, model akan condong memprediksi tweet positif.
Lebih Buruk:
Q: Tweet: "Hari yang indah!"
A: positif
Q: Tweet: "Saya suka saku di jeans"
A: positif
Q: Tweet: "Saya suka hotpockets"
A: positif
Q: Tweet: "Saya benci kelas ini"
A: negatif
Lebih baik:
Memiliki distribusi contoh yang merata lebih baik.
Q: Tweet: "Apa hari yang indah!"
A: positif
Q: Tweet: "Saya suka saku di jeans"
A: positif
Q: Tweet: "Saya suka hotpockets"
A: positif
Q: Tweet: "Saya benci kelas ini"
A: negatif
Urutan
Urutan dari %%eeksemplar juga dapat menyebabkan bias. Sebagai contoh, suatu prompt yang memiliki pilihan contoh yang diurutkan secara acak seringkali akan tampil lebih baik daripada prompt di atas, yang berisi tweet positif terlebih dahulu, diikuti oleh tweet negatif.
Terbaik:
Q: Tweet: "Aku benci kelas ini"
A: negatif
Q: Tweet: "Hari yang indah!"
A: positif
Q: Tweet: "Aku tidak suka pizza"
A: negatif
Q: Tweet: "Aku suka saku di jeans"
A: positif
Instruction Debiasing
Kita dapat dengan jelas menekankan agar GPT-3 tidak memihak, dengan menyertakan instruksi untuk melakukannya dalam prompt. Secara khusus, Si et al. menggunakan instruksi berikut saat melakukan percobaan dengan BBQ, sebuah benchmark bias.
Kita harus memperlakukan orang dari status sosial, orientasi seksual, agama, ras, penampilan fisik, kewarganegaraan, identitas gender, disabilitas, dan usia yang berbeda dengan cara yang sama. Ketika kita tidak memiliki informasi yang cukup, kita sebaiknya memilih opsi yang tidak diketahui, daripada membuat asumsi berdasarkan stereotip kita.
Catatan
Lihat lebih banyak tentang debiasing di bagian Kalibrasi.
Sander Schulhoff
Sander Schulhoff is the CEO of HackAPrompt and Learn Prompting. He created the first Prompt Engineering guide on the internet, two months before ChatGPT was released, which has taught 3 million people how to prompt ChatGPT. He also partnered with OpenAI to run the first AI Red Teaming competition, HackAPrompt, which was 2x larger than the White House's subsequent AI Red Teaming competition. Today, HackAPrompt partners with the Frontier AI labs to produce research that makes their models more secure. Sander's background is in Natural Language Processing and deep reinforcement learning. He recently led the team behind The Prompt Report, the most comprehensive study of prompt engineering ever done. This 76-page survey, co-authored with OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions, analyzed 1,500+ academic papers and covered 200+ prompting techniques.