Mardi 15 novembre 2022 s’est tenue la septième édition du Meetup Search & Data autour des moteurs de recherche développés à Station F.
François Massot, co-founder de Quickwit, Arthur Caillaud, co-founder de Outmind et Lucian Precup, founder de all.site ont donc présenté à leur tour ce qui fait la spécialité de leur moteur.
Dans un monde où les données sont omniprésentes, il est commun de devoir effectuer des recherches dans des téraoctets de logs. Cette tâche simple peut s’avérer décourageante et très coûteuse. Cet exposé a présenté comment implémenter un tel moteur avec une architecture efficace fortement inspirée de Snowflake qui sépare le calcul et le stockage.
Outmind est un moteur de recherche qui se connecte à tous vos outils, et améliore l’efficacité de vos équipes grâce à une puissante intelligence artificielle. Fondée par Arthur et Grace en 2019, Outmind repose massivement sur l’usage de la technologie ElasticSearch. A travers cette présentation, Arthur a parlé spécifiquement de cette technologie. Pourquoi a-t-elle été choisie ? Quelles ont été les principales difficultés d’implémentation ? Cette première partie a permis d’aborder des sujets plus complexes et de rentrer dans le détail de l’infrastructure as code d’Outmind. Comment sont déployés leurs clusters mais aussi comment ils garantissent la sécurité des données de leurs clients. Pour finir, Arthur a parlé des technologies NLP développées et utilisées par Outmind. Quel est le besoin de leurs clients sur ces sujets d’avenir et comment ils pensent y répondre.
Est-il possible d’indexer tout Internet avec un nouveau moteur de recherche ? Nous ne le savons pas. Mais nous avons essayé en construisant un moteur de recherche collaboratif fonctionnant sur le modèle de GitHub et Wikipedia.
Dans les moteurs de recherche du Web, la pertinence et l’ordre des résultats sont gérés par le nombre de liens, la qualité et la conformité avec certaines règles et un peu de personnalisation. Les sites e-commerce classent et filtrent les résultats au moyen d’algorithmes business. En entreprise, la pertinence des résultats peut être configurée par les experts et expertes des différents domaines. D’un autre côté, les réseaux sociaux fournissent une expérience basée principalement sur la notoriété : les préférences et le suivi des autres utilisateurs. Nous tentons de regrouper le meilleur de ces mondes en créant all.site - un moteur de recherche collaboratif dont le contenu et la pertinence seraient proposés par la communauté à la manière de Wikipedia ou GitHub. Dans cette présentation nous avons partagé l’expérience de cette aventure : ce que nous avons essayé, ce que nous avons appris, les limites que nous avons rencontrées et les étapes à venir. Nous avons présenté le fonctionnement interne d’un moteur de recherche avec ses différentes étapes, l’architecture et l’infrastructure d’une telle plateforme, les notions de sécurité, le passage à l’échelle et la performance.
Merci à tous les participants, nous espérons vous retrouver nombreux très prochainement.
Un grand merci à François Massot, Arthur Caillaud et Grace Mehrabe et Lucian Precup pour leur intervention !
Un énorme merci aux sponsors de la soirée : Quickwit, Outmind et Adelean. Et bien entendu merci à Station F qui nous a mis à disposition encore une fois son infrastructure. Merci Adèle Duvillier, la team Events et à l'équipe Fennix pour le service et la collation.