Configurer la température et le topK dans l'API Prompt de Chrome

DEV - 18/01
Chrome Canary expose une API d'invite expérimentale qui permet à l'utilisateur de poser une requête au système interne...

Chrome Canary expose une API d'invite expérimentale qui permet à l'utilisateur de poser une requête au Gemini Nano interne pour générer une réponse. La température et le topK par défaut sont respectivement de 1 et 3, et le topK maximum est de 8. Dans cet article de blog, je montre comment configurer la température et le topK d'une session d'invite afin que le modèle puisse générer des réponses créatives avec une température et un topK plus élevés. .

Installer Gemini Nano sur Chrome

Mettez à jour Chrome Dev/Canary vers la dernière version. Au moment d’écrire ces lignes, la version la plus récente de Chrome Canary est la 134.

Veuillez vous référer à cette section pour vous inscrire au programme de préversion anticipée de Chrome Built-in AI. https://developer.chrome.com/docs/ai/built-in#get_an_early_preview

Veuillez vous référer à cette section pour activer Gemini Nano sur Chrome et télécharger le modèle. https://developer.chrome.com/docs/ai/get-started#use_apis_on_localhost

Désactiver le classificateur de sécurité de texte sur Chrome

  1. (Développement local) Accédez à chrome://flags/#text-safety-classifier.
  2. (Développement local) Sélectionnez Désactivé
  3. Cliquez sur Relancer ou redémarrez Chrome.

Échafauder une application angulaire

ng la nouvelle invite-api-demo
Entrer en mode plein écran Quitter le mode plein écran

Installer les dépendances

npm je -save-exact -save-dev @types/dom-chromium-ai
Entrer en mode plein écran Quitter le mode plein écran

Cette dépendance fournit le typage TypeScript de toutes les API Chrome Built-in. Par conséquent, les développeurs peuvent écrire des codes élégants pour créer des applications d’IA en TypeScript.

Dans main.ts, ajoutez une balise de référence pour pointer vers le fichier de définition de typage du package.

// main.ts ///
Entrer en mode plein écran Quitter le mode plein écran

Amorcer le modèle de langage

importer { InjectionToken } depuis '@angular/core' ; export const AI_PROMPT_API_TOKEN = nouveau InjectionToken('AI_PROMPT_API_TOKEN');
Entrer en mode plein écran Quitter le mode plein écran
fonction d'exportation provideLanguageModel() : EnvironmentProviders { return makeEnvironmentProviders([ { provide : AI_PROMPT_API_TOKEN, useFactory: () => { const platformId = inject(PLATFORM_ID); const objWindow = isPlatformBrowser(platformId) ? window : non défini ; return objWindow?.ai? .langageModèle; }, } ]); }
Entrer en mode plein écran Quitter le mode plein écran

Je définis des fournisseurs d'environnement pour renvoyer le LanguageModel dans l'espace de noms window.ai. Quand les codes injectent leAI_LANGUAGE_PROMPT_API_TOKENjeton, ils peuvent accéder à l’API Prompt pour appeler ses méthodes afin de soumettre des requêtes au Gemini Nano.

// app.config.ts export const appConfig : ApplicationConfig = { four...
[Courte citation de 8% de l'article original]