Oke, hari ini mulai membaca kembali paper dari paperswithcode.com.
Judul papernya adalah ChatLaw : Open-Source Legal Large Language Model with Integrated External Knowledge Bases. Penulisnya 5 orang dari Peking University.
Paper ini dirilis tanggal 23 Juni 2023 jadi masih fresh saat tulisan ini dibuat.
Teknologi yang digunakan untuk pembuatan proyeknya : PyTorch.
Konsepnya menarik. Jadi sepemahaman saya mereka mengembangkan Large Language Model (LLM) yang sudah ada kemudian dilakukan fine-tuning dengan menambahkan domain yang lebih spesifik yaitu bidang hukum (law).
Latar belakangnya karena mereka belum menemukan yang semacam itu untuk kasus di China sana…
By the way, di luar sana juga sudah ada beberapa LLM yang dikembangkan untuk kebutuhan khusus di bidang finansial, kesehatan dan pendidikan seperti BloombergGPT, FinGPT, Huatuo dan ChatMed. Sejauh ini yang saya tahu lisensinya cukup tertutup.
ChatLaw dikembangkan diatas OpenLLaMA. OpenLLaMA sendiri dituliskan sebagai “a permissively licensed open source reproduction of Meta AI’s LLaMA 7B trained on the RedPajama dataset”.
Besok-besok harus saya eksplor lebih lanjut soal ini.
Kembali ke konteks ChatLaw.
Dataset yang digunakan meliputi :
- legal data dalam jumlah besar yang dikumpulkan dari berita, konten sosial media, dan
- hasil diskusi forum hukum
- kumpulan interpretasi regulasi dan keputusan pengadilan
- crawling dari badan konsultasi hukum
- kumpulan soal ujian dalam bentuk multiple choice
Untuk proses training mereka melakukan fine-tuning dengan basis Ziya-LlaMA-13B dengan teknik Low-rank Adaptation (LoRA). Kalau tidak salah ini sudah ada tambahan bahasa Mandarin-nya sih.
Melakukan evaluasi sebuah model LLM merupakan sebuah tantangan tersendiri. Untuk pengetesan, mereka mengumpulkan soal ujian hukum nasional 10 tahun terakhir, menjadikannya dataset sejumlah 2000 soal dengan jawaban standar untuk mengukur kemampuan model dalam menangani pertanyaan pilihan ganda.
Sayangnya hasilnya termasuk rendah… 🤨
Alhasil, mereka menggunakan mekanisme “Elo model points” yang terinspirasi dari proses matchmaking di e-sport dan desain dari Chatbot Arena.
Saat mempelajari ini saya tiba-tiba mendapatkan ide.
Kalau kita melakukan fine-tuning dari model LLM yang sudah ada misal OpenLLaMA atau Falcon 7B kemudian menambahkan data ilmu fiqh dan sirah, dijadikan bentuk chatbot, sepertinya menarik… 🤔