LLM στο κινητό, ιδιωτικότητα σε επίπεδο Ai και διασυνδεσιμότητα

Παραθέτω εδώ τα ερωτήματα όπως τα έκανα σε γνωστό γκρουπ για κινητά στο Telegram, για να αναπτύξουμε το θέμα περισσότερο, και να μείνουν πληροφορίες για μετέπειτα αναζητήσεις από χρήστες..

Έχω ξεκινήσει έρευνα να τρέξω τοπικά llm στο κινητό μου Oneplus13 με δυνατότητες mcp, ώστε ο απώτερος σκοπός είναι να μην χρησιμοποιώ ούτε Perplexity ή άλλο, παρά να μπορεί το τοπικό μοντέλο να ψάξει και στο internet και να δώσει απαντήσεις μετά από συλλογικό “έργο” που θα έχει πράξει για το prompt που έχω δώσει.

Έχει βρει κανείς κάποια σχετική πληροφορία online ?

Κοιτάζω με LLM-Hub που έχει web search δυνατότητες μεσω DuckDuckGo endpoints, δεν κακό.

Αλλά θέλω να μπορώ να συνδεθώ και στο σπιτικό μου llm που τρέχω συμβατό με openai api μέσω lm-studio να μπορώ να χρησιμοποιήσω την δύναμη του συστήματός μου με nvidia 4080 super ως api..

Ένα από αυτά είναι και το lm-studio android, γενικά δεν υπάρχει κάτι χειροπιαστό όπως σε desktop εφαρμογές..

Έχω φτιάξει δικό μου api implementation, μιλάω μέσω δικού μου api με όποιο μοντέλο έχω περασμένο στο σπίτι και με τη δύναμη της nvidia 4080 super μου.

Δεν έχω βρει εύκολο τρόπο να μπορώ να τρέχω κάτι μέσα στο κινητό.

Έχω δυνατό κινητό, κάποιο quanitized μοντέλο μέχρι και 13B μπορεί και παραπάνω, θα μπορώ να το τρέξω στο κινητό.

Εάν βάλω το lm-studio android είτε οποιοδήποτε άλλο app μιλάει με openai api key και υποστηρίζει override api server url επίσης μπορώ να μιλήσω με το σπίτι μου, δοκιμασμένο δουλεύει ήδη.

Το θέμα δε θέλω μόνο αυτό, και να έχω το σπίτι συνέχεια ανοιχτό το desktop να καίει ρεύμα, πόσο ακόμα να παιδεύομαι να περάσω το api endpoint από την ip του σπιτιού με tunnels (cf/ts) μέσω ενός vps μου

Αν μου πει κάποιος μέσω Termux, νταξ εκεί κάνεις ότι θες, και υπάρχουν και μερικκά tui, but it is not an app.. θα κάθομαι τώρα “στο κινητό” να δουλεύω terminal, it beats the perpose, θα είχα laptop μαζί.

---

Το πρόβλημα με την έρευνα είναι ότι το αποτέλεσμα είναι το εξής..

Αυτή τη στιγμή δεν υπάρχει open-source mobile agent stack.

Ό,τι βλέπεις:

1. είναι desktop
2. ή είναι cloud-locked
3. ή είναι demo