Data engineer / data scientist python & ia générative (llm) : python, langchain

Descriptif de la mission :

Missions principales

Concevoir, développer et déployer des applications et services basés sur des modèles de langage (LLMs).
Intégrer des solutions d’IA générative dans les processus métier (chatbots, assistants, résumés, génération de contenu, RAG).
Mettre en place des pipelines de données pour l’entraînement, le fine-tuning et l’évaluation de modèles IA.
Développer en Python des API, scripts et librairies permettant l’intégration des modèles dans des environnements existants.
Explorer et comparer différents modèles (OpenAI, LLaMA, Mistral, Falcon, HuggingFace, etc.).
Implémenter des architectures RAG (Retrieval-Augmented Generation) avec vecteurs et bases de données spécialisées (Pinecone, FAISS, Weaviate).
Assurer le monitoring, la scalabilité et la performance des solutions IA déployées.
Collaborer avec les équipes Data, Produit et Cloud pour industrialiser les solutions d’IA.

Compétences techniques requises

Langages & Outils :
Python (pandas, NumPy, scikit-learn, FastAPI, LangChain, Pydantic)
Connaissance de frameworks IA : HuggingFace Transformers, PyTorch, TensorFlow
Gestion d’APIs IA (OpenAI API, Anthropic, Azure OpenAI, etc.)
LLM & IA générative :
Fine-tuning, prompt engineering, RAG
Vector databases : Pinecone, Weaviate, FAISS, ChromaDB
Embeddings et optimisation de modèles
Data Engineering & Cloud :
ETL/ELT avec Airflow, Prefect ou Dagster
Bases SQL (Postgres, BigQuery) & NoSQL (MongoDB, ElasticSearch)
Cloud : AWS (SageMaker, Lambda, Bedrock), GCP (Vertex AI), Azure AI

Méthodologies :
CI/CD (GitHub Actions, GitLab CI)
Tests & évaluation des modèles IA (BLEU, Rouge, perplexité, benchmarks LLM)
Agile / Scrum

Environnement Technique

Agile

CI/CD

NumPy

Pandas

Python

HuggingFace Transformers

PyTorch

OpenAI AP

Azure OpenAI

Fine-tuning

Vector databases

ETL/ELT