Learn PromptingChain of Thought Prompting
Chain of Thought (CoT) prompting adalah metode prompting yang baru dikembangkan, yang mendorong LLM untuk menjelaskan pemikirannya. Gambar di bawah ini menunjukkan prompt standar dari few shot prompt (kiri) dibandingkan dengan prompt chain of thought (kanan).
Ide utama CoT adalah dengan menunjukkan beberapa contoh few shot dimana proses pemikiran (reasoning) dijelaskan dalam contoh, LLM juga akan menunjukkan proses pemikiran tersebut saat menjawab prompt. Penjelasan pemikiran ini sering kali mengarah pada hasil yang lebih akurat.
Contoh
Berikut beberapa contoh. Pertama menunjukkan GPT-3 (davinci-003) gagal menyelesaikan masalah kata sederhana. Yang kedua menunjukkan GPT-3 (davinci-003) berhasil menyelesaikan masalah yang sama dengan menggunakan CoT prompting.
Salah
Benar
Hasil
CoT telah terbukti efektif dalam meningkatkan hasil dalam tugas-tugas seperti aritmatika, nalar umum, dan tugas penalaran simbolik. Secara khusus, PaLM 540B yang dipicu oleh mencapai akurasi tingkat 57% dalam menyelesaikan pada GSM8K (SOTA pada saat itu).
Perbandingan model pada benchmark GSM8K (Wei et al.)
Batasan
Yang penting, menurut Wei et al., "CoT hanya menghasilkan peningkatan kinerja ketika digunakan dengan model sekitar 100 miliar parameter". Model-model yang lebih kecil menulis rantai pikiran yang tidak logis, yang mengakibatkan akurasi yang lebih buruk dibandingkan dengan permintaan standar. Model-model biasanya mendapatkan peningkatan performa dari CoT yang mempromosikan dengan cara yang sebanding dengan ukuran model.
Catatan
Tidak ada model bahasa yang terluka dalam proses penulisan bab ini 😊.
Sander Schulhoff
Sander Schulhoff is the CEO of HackAPrompt and Learn Prompting. He created the first Prompt Engineering guide on the internet, two months before ChatGPT was released, which has taught 3 million people how to prompt ChatGPT. He also partnered with OpenAI to run the first AI Red Teaming competition, HackAPrompt, which was 2x larger than the White House's subsequent AI Red Teaming competition. Today, HackAPrompt partners with the Frontier AI labs to produce research that makes their models more secure. Sander's background is in Natural Language Processing and deep reinforcement learning. He recently led the team behind The Prompt Report, the most comprehensive study of prompt engineering ever done. This 76-page survey, co-authored with OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions, analyzed 1,500+ academic papers and covered 200+ prompting techniques.
Footnotes
-
Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q., & Zhou, D. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. ↩ ↩2
-
Chowdhery, A., Narang, S., Devlin, J., Bosma, M., Mishra, G., Roberts, A., Barham, P., Chung, H. W., Sutton, C., Gehrmann, S., Schuh, P., Shi, K., Tsvyashchenko, S., Maynez, J., Rao, A., Barnes, P., Tay, Y., Shazeer, N., Prabhakaran, V., … Fiedel, N. (2022). PaLM: Scaling Language Modeling with Pathways. ↩
-
Cobbe, K., Kosaraju, V., Bavarian, M., Chen, M., Jun, H., Kaiser, L., Plappert, M., Tworek, J., Hilton, J., Nakano, R., Hesse, C., & Schulman, J. (2021). Training Verifiers to Solve Math Word Problems. ↩