Un ingénieur de données met des semaines à bâtir un pipeline incrémental Zoho Desk vers BigQuery

ccinaza, ingénieur de données, a récemment mis plusieurs semaines à bâtir un pipeline incrémental extrayant les tickets de support client de Zoho Desk, la plateforme d’assistance cloud de Zoho, vers BigQuery, l’entrepôt de données sans serveur de Google. Initialement prévu pour quelques jours seulement, ce projet visait à centraliser les analyses de support client au sein de son entreprise, en intégrant des transformations via dbt, outil de construction de données. Des complications imprévues ont considérablement étiré les délais. L’approche initiale reposait sur des chargements complets quotidiens de l’ensemble des tickets, une méthode simple et prévisible. Cependant, elle s’est rapidement révélée inadaptée à l’échelle : la table dépassait déjà le million de lignes et grossissait chaque jour avec de nouveaux tickets. Cette stratégie générait des opérations intenables à long terme, en raison des coûts croissants en temps de traitement et en ressources face au volume accumulé de données historiques. Pour le chargement initial des années de données historiques, la pagination de l’API Zoho Desk s’est avérée trop lente, pouvant prendre des heures voire des jours. ccinaza a alors adopté des chargements incrémentaux, orchestrés via Apache Airflow pour la gestion des flux de travail, avec Google Cloud Storage comme zone d’atterrissage intermédiaire et des opérateurs personnalisés. Une approche de génération de code a accéléré le développement et la mise en œuvre. Ces leçons tirées des difficultés rencontrées s’appliquent à d’autres API SaaS, comme celles de Salesforce ou HubSpot, où les pipelines de production exigent souvent des adaptations au-delà du chemin standard. Les patterns d’opérateurs personnalisés et les techniques incrémentales facilitent ainsi les intégrations REST futures, rendant les processus plus efficaces et réutilisables dans un contexte d’ingénierie de données en expansion.