🤖 The free, Open Source alternative to OpenAI, Claude and others. Self-hosted and local-first. Drop-in replacement for OpenAI, running on consumer-grade hardware. No GPU required. Runs gguf, transformers, diffusers and many more models architectures. Features: Generate Text, Audio, Video, Images, Voice Cloning, Distributed inference
URL: https://localai.io/
LocalAI adalah alternatif OpenAI dan layanan AI lain yang berlisensi open source sehingga dapat digunakan secara gratis. LocalAI berjalan sebagai REST API yang kompatibel dengan API dari OpenAI yang dapat dijalankan secara lokal. Dengan LocalAI berbagai model AI populer dapat dijalankan pada perangkat lokal, bahkan tanpa GPU.
LocalAI dibuat dan dikelola oleh Ettore Di Giancinto.
Tentang LocalAI
LocalAI dikembangkan sebagai alternatif OpenAI, yang kompatibel dengan API milik OpenAI, dan dijalankan secara lokal. Sehingga pemilik total sumber daya adalah Anda.
Tidak membutuhkan sumberdaya GPU dan Internet untuk menjalankannya. Karena tidak terhubung ke internet, data Anda yang rahasia tidak akan kemana-mana. Bila membutuhkan komputasi yang lebih baik dengan GPU, ada opsi.
Mendukung berbagai macam model: Text-2-Speech, Image Generation, Text Generation, Multimodal, Embedings, Rerankers dan Audio Transcription. Sekali terload, model akan tersimpan di memory sehingga akan mempercepat proses berikutnya.
Dana yang digunakan sebagai operasional dapat disesuaikan dengan kebutuhan dan sumber daya yang dimiliki. Dengan kelengkapan fitur dan model, perangkat ini layak dicoba.
Mulai!
LocalAI dapat dijalankan dengan docker dengan melakukan pull dan run dari docker hub.
docker run -p 8080:8080 –name local-ai -ti localai/localai:latest-aio-cpu
Atau bila Anda menggunakan GPU dari Nvidia dan menggunakan cuda 12 bisa dengan menjalankan:
docker run -p 8080:8080 –gpus all –name local-ai -ti localai/localai:latest-aio-gpu-nvidia-cuda-12
Selain itu juga bisa menggunakan installer yang disediakan pengembang.
curl https://localai.io/install.sh | sh
Fitur Utama
Dari menu kita dapat memilih fitur utama yang bisa langsung digunakan bila kita sudah mengunduh model yang diinginkan. Fitur chat sebagai asisten untuk berkonsultasi, generate images bila ingin mengubah teks menjadi gambar, TTS bila ingin mengubah teks menjadi suara, talk bila ingin berkonsultasi dengan asisten dengan berbicara.
Selain fitur utama tersebut, dokumentasi LocalAI dan bagaimana berdialog dengannya melalui API tersedia. Fitur lain yang mungkin perlu dieksplorasi bila ingin memperluas lingkup dan sumber daya adalah swarm.
Dukungan model yang diadopsi juga tak kalah menarik. Melalui menu models dapat dilihat berbagai macam jenis model yang didukung yang saat ini di tulis terdapat 461 model. Untuk dapat menggunakannya pun mudah, tinggal klik pada install.
Untuk eksplorasi lebih lanjut silakan ke halaman pengembangan.