[GCP en action] Évolution du robot de carte de visite LINE : reconnaissance double face et fusion avec Gemini

DEV - 15:24
Pain Point : une carte de visite chinoise est en fait deux cartes de visite Cartes de visite en...

Point douloureux : une carte de visite chinoise est en fait deux cartes de visite

À Taiwan, les cartes de visite ont souvent un design commun : chinois imprimé au recto et anglais au verso (ou vice versa). La logique originale de notre robot de cartes de visite LINE était très simple : recevoir une image, effectuer une OCR une fois et enregistrer un enregistrement.

C'est là que réside le problème. Lorsqu'un utilisateur envoie le recto, le bot enregistre un enregistrement avec uniquement le nom chinois. Si l'utilisateur envoie ensuite le verso, le robot le traite comme « une autre nouvelle carte de visite », ce qui entraîne deux enregistrements pour la même personne dans la base de données, chacun manquant la moitié des informations. Les utilisateurs doivent comparer et supprimer manuellement les données en double, ce qui est une expérience terrible.

Cet article explique comment nous avons appris au robot à reconnaître que « ce sont les deux faces d'une même carte de visite » et à fusionner les informations des deux faces en un seul enregistrement complet.

Solution : demandez d'abord : « Y a-t-il un verso ? »

Au lieu d'écrire des règles pour deviner si deux images sont la même carte de visite, nous avons choisi une approche plus directe : demander à l'utilisateur.

Le flux de travail est conçu comme suit :

  1. L'utilisateur envoie le recto de la carte de visite et le robot effectue l'OCR comme d'habitude.
  2. Une fois l’OCR terminée, le bot n’enregistre pas immédiatement. Au lieu de cela, il répond par "📇 Données recto reconnues. Y a-t-il un verso à cette carte?" et fournit deux boutons de réponse rapide.
  3. L'utilisateur clique sur "Non, enregistrer directement" → Enregistrer selon le processus d'origi...
    [Courte citation de 8% de l'article original]
Loading...