Perpustakaan sampel kod
Kod praktikal yang meliputi senario LLM biasa, hanya salin dan tampal untuk bermula.
Keupayaan eksklusif Nexevo
Undur automatik untuk berbilang model
Lulus senarai `model: [...]` dan ejen akan mencuba satu demi satu sehingga ia berjaya - toleransi kesalahan terbina dalam.
Lihat contoh
Gunakan max_price untuk menangkap kos terburuk
Tetapkan had atas harga unit untuk mengelakkan gelung luar kawalan/input tidak dipercayai daripada membakar kuota.
Lihat contoh
:cepat / :murah / :akhiran penghalaan berkualiti
Tambahkan akhiran pada nama model untuk memberikan petunjuk penghalaan, tanpa menyusun semula badan permintaan.
Lihat contoh
Gelung tertutup maklum balas RLHF
Kumpulkan ibu jari ke atas/bawah daripada gelagat pengguna dan suapan semula secara automatik ke sistem penghalaan, membolehkan algoritma pembelajaran kendiri mengoptimumkan pemilihan model masa hadapan.
Lihat contoh
Pemprosesan kelompok serentak tak segerak (10x pemprosesan)
Gunakan AsyncNexevo + asyncio.gather untuk memproses permintaan kelompok, daya pemprosesan adalah 10x+ lebih tinggi daripada bersiri, sesuai untuk tugas luar talian seperti anotasi/pengkelasan data.
Lihat contoh