|
| 1 | +<div align="center"> |
| 2 | + |
| 3 | +<img src="/docs/logo.png" alt="VideoLingo Logo" height="140"> |
| 4 | + |
| 5 | +# Connecter le Monde, Image par Image |
| 6 | + |
| 7 | +[**English**](/README.md)｜[**简体中文**](/translations/README.zh.md)｜[**繁體中文**](/translations/README.zh-TW.md)｜[**日本語**](/translations/README.ja.md)｜[**Español**](/translations/README.es.md)｜[**Русский**](/translations/README.ru.md)｜[**Français**](/translations/README.fr.md) |
| 8 | + |
| 9 | +</div> |
| 10 | + |
| 11 | +## 🌟 Aperçu ([Essayez VL maintenant !](https://videolingo.io)) |
| 12 | + |
| 13 | +VideoLingo est un outil tout-en-un de traduction, de localisation et de doublage vidéo visant à générer des sous-titres de qualité Netflix. Il élimine les traductions automatiques rigides et les sous-titres multi-lignes tout en ajoutant un doublage de haute qualité, permettant le partage des connaissances à l'échelle mondiale au-delà des barrières linguistiques. |
| 14 | + |
| 15 | +Fonctionnalités principales : |
| 16 | +- 🎥 Téléchargement de vidéos YouTube via yt-dlp |
| 17 | + |
| 18 | +- **🎙️ Reconnaissance de sous-titres au niveau des mots et à faible illusion avec WhisperX** |
| 19 | + |
| 20 | +- **📝 Segmentation des sous-titres basée sur le NLP et l'IA** |
| 21 | + |
| 22 | +- **📚 Terminologie personnalisée + générée par IA pour une traduction cohérente** |
| 23 | + |
| 24 | +- **🔄 Processus en 3 étapes : Traduction-Réflexion-Adaptation pour une qualité cinématographique** |
| 25 | + |
| 26 | +- **✅ Sous-titres uniquement sur une ligne, aux normes Netflix** |
| 27 | + |
| 28 | +- **🗣️ Doublage avec GPT-SoVITS, Azure, OpenAI et plus** |
| 29 | + |
| 30 | +- 🚀 Démarrage et traitement en un clic dans Streamlit |
| 31 | + |
| 32 | +- 🌍 Support multi-langues dans l'interface utilisateur Streamlit |
| 33 | + |
| 34 | +- 📝 Journalisation détaillée avec reprise de la progression |
| 35 | + |
| 36 | +Différence par rapport aux projets similaires : **Sous-titres sur une seule ligne uniquement, qualité de traduction supérieure, expérience de doublage transparente** |
| 37 | + |
| 38 | +## 🎥 Démo |
| 39 | + |
| 40 | +<table> |
| 41 | +<tr> |
| 42 | +<td width="50%"> |
| 43 | + |
| 44 | +### Traduction en russe |
| 45 | +--- |
| 46 | +https://github.com/user-attachments/assets/25264b5b-6931-4d39-948c-5a1e4ce42fa7 |
| 47 | + |
| 48 | +</td> |
| 49 | +<td width="50%"> |
| 50 | + |
| 51 | +### Doublage GPT-SoVITS |
| 52 | +--- |
| 53 | +https://github.com/user-attachments/assets/47d965b2-b4ab-4a0b-9d08-b49a7bf3508c |
| 54 | + |
| 55 | +</td> |
| 56 | +</tr> |
| 57 | +</table> |
| 58 | + |
| 59 | +### Support des langues |
| 60 | + |
| 61 | +**Support des langues d'entrée (d'autres à venir) :** |
| 62 | + |
| 63 | +🇺🇸 Anglais 🤩 | 🇷🇺 Russe 😊 | 🇫🇷 Français 🤩 | 🇩🇪 Allemand 🤩 | 🇮🇹 Italien 🤩 | 🇪🇸 Espagnol 🤩 | 🇯🇵 Japonais 😐 | 🇨🇳 Chinois* 😊 |
| 64 | + |
| 65 | +> *Le chinois utilise un modèle whisper séparé amélioré par la ponctuation, pour l'instant... |
| 66 | +
|
| 67 | +**La traduction prend en charge toutes les langues, tandis que la langue de doublage dépend de la méthode TTS choisie.** |
| 68 | + |
| 69 | +## Installation |
| 70 | + |
| 71 | +Vous n'avez pas besoin de lire toute la documentation, [**ici**](https://share.fastgpt.in/chat/share?shareId=066w11n3r9aq6879r4z0v9rh) se trouve un agent IA en ligne pour vous aider. |
| 72 | + |
| 73 | +> **Note :** Pour les utilisateurs Windows avec un GPU NVIDIA, suivez ces étapes avant l'installation : |
| 74 | +> 1. Installez [CUDA Toolkit 12.6](https://developer.download.nvidia.com/compute/cuda/12.6.0/local_installers/cuda_12.6.0_560.76_windows.exe) |
| 75 | +> 2. Installez [CUDNN 9.3.0](https://developer.download.nvidia.com/compute/cudnn/9.3.0/local_installers/cudnn_9.3.0_windows.exe) |
| 76 | +> 3. Ajoutez `C:\Program Files\NVIDIA\CUDNN\v9.3\bin\12.6` à votre PATH système |
| 77 | +> 4. Redémarrez votre ordinateur |
| 78 | +
|
| 79 | +> **Note :** FFmpeg est requis. Veuillez l'installer via les gestionnaires de paquets : |
| 80 | +> - Windows : ```choco install ffmpeg``` (via [Chocolatey](https://chocolatey.org/)) |
| 81 | +> - macOS : ```brew install ffmpeg``` (via [Homebrew](https://brew.sh/)) |
| 82 | +> - Linux : ```sudo apt install ffmpeg``` (Debian/Ubuntu) |
| 83 | +
|
| 84 | +1. Clonez le dépôt |
| 85 | + |
| 86 | +```bash |
| 87 | +git clone https://github.com/Huanshere/VideoLingo.git |
| 88 | +cd VideoLingo |
| 89 | +``` |
| 90 | + |
| 91 | +2. Installez les dépendances (nécessite `python=3.10`) |
| 92 | + |
| 93 | +```bash |
| 94 | +conda create -n videolingo python=3.10.0 -y |
| 95 | +conda activate videolingo |
| 96 | +python install.py |
| 97 | +``` |
| 98 | + |
| 99 | +3. Démarrer l'application |
| 100 | + |
| 101 | +```bash |
| 102 | +streamlit run st.py |
| 103 | +``` |
| 104 | + |
| 105 | +### Docker |
| 106 | +Alternativement, vous pouvez utiliser Docker (nécessite CUDA 12.4 et NVIDIA Driver version >550), voir [Documentation Docker](/docs/pages/docs/docker.en-US.md) : |
| 107 | + |
| 108 | +```bash |
| 109 | +docker build -t videolingo . |
| 110 | +docker run -d -p 8501:8501 --gpus all videolingo |
| 111 | +``` |
| 112 | + |
| 113 | +## APIs |
| 114 | +VideoLingo prend en charge le format d'API OpenAI et diverses interfaces TTS : |
| 115 | +- LLM : `claude-3-5-sonnet-20240620`, `deepseek-chat(v3)`, `gemini-2.0-flash-exp`, `gpt-4o`, ... (triés par performance) |
| 116 | +- WhisperX : Exécutez whisperX localement ou utilisez l'API 302.ai |
| 117 | +- TTS : `azure-tts`, `openai-tts`, `siliconflow-fishtts`, **`fish-tts`**, `GPT-SoVITS`, `edge-tts`, `*custom-tts`(Vous pouvez modifier votre propre TTS dans custom_tts.py !) |
| 118 | + |
| 119 | +> **Note :** VideoLingo fonctionne avec **[302.ai](https://gpt302.saaslink.net/C2oHR9)** - une seule clé API pour tous les services (LLM, WhisperX, TTS). Ou exécutez localement avec Ollama et Edge-TTS gratuitement, sans API nécessaire ! |
| 120 | +
|
| 121 | +Pour des instructions détaillées sur l'installation, la configuration de l'API et le mode batch, veuillez consulter la documentation : [English](/docs/pages/docs/start.en-US.md) | [中文](/docs/pages/docs/start.zh-CN.md) |
| 122 | + |
| 123 | +## Limitations actuelles |
| 124 | + |
| 125 | +1. Les performances de transcription de WhisperX peuvent être affectées par le bruit de fond de la vidéo, car il utilise le modèle wav2vac pour l'alignement. Pour les vidéos avec une musique de fond forte, veuillez activer l'amélioration de la séparation vocale. De plus, les sous-titres se terminant par des chiffres ou des caractères spéciaux peuvent être tronqués prématurément en raison de l'incapacité de wav2vac à mapper les caractères numériques (par exemple, "1") à leur forme parlée ("un"). |
| 126 | + |
| 127 | +2. L'utilisation de modèles plus faibles peut entraîner des erreurs lors des processus intermédiaires en raison des exigences strictes de format JSON pour les réponses. Si cette erreur se produit, veuillez supprimer le dossier `output` et réessayer avec un LLM différent, sinon l'exécution répétée lira la réponse erronée précédente causant la même erreur. |
| 128 | + |
| 129 | +3. La fonction de doublage peut ne pas être parfaite à 100% en raison des différences de débit et d'intonation entre les langues, ainsi que de l'impact de l'étape de traduction. Cependant, ce projet a mis en œuvre un traitement d'ingénierie extensif pour les débits de parole afin d'assurer les meilleurs résultats de doublage possibles. |
| 130 | + |
| 131 | +4. **La reconnaissance de transcription vidéo multilingue ne conservera que la langue principale**. C'est parce que whisperX utilise un modèle spécialisé pour une seule langue lors de l'alignement forcé des sous-titres au niveau des mots, et supprimera les langues non reconnues. |
| 132 | + |
| 133 | +5. **Impossible de doubler séparément plusieurs personnages**, car la capacité de distinction des locuteurs de whisperX n'est pas suffisamment fiable. |
| 134 | + |
| 135 | +## 📄 Licence |
| 136 | + |
| 137 | +Ce projet est sous licence Apache 2.0. Remerciements spéciaux aux projets open source suivants pour leurs contributions : |
| 138 | + |
| 139 | +[whisperX](https://github.com/m-bain/whisperX), [yt-dlp](https://github.com/yt-dlp/yt-dlp), [json_repair](https://github.com/mangiucugna/json_repair), [BELLE](https://github.com/LianjiaTech/BELLE) |
| 140 | + |
| 141 | +## 📬 Contactez-moi |
| 142 | + |
| 143 | +- Soumettez des [Issues](https://github.com/Huanshere/VideoLingo/issues) ou des [Pull Requests](https://github.com/Huanshere/VideoLingo/pulls) sur GitHub |
| 144 | +- DM moi sur Twitter : [@Huanshere](https://twitter.com/Huanshere) |
| 145 | +- Envoyez-moi un email à : [email protected] |
| 146 | + |
| 147 | +## ⭐ Historique des étoiles |
| 148 | + |
| 149 | +[](https://star-history.com/#Huanshere/VideoLingo&Timeline) |
| 150 | + |
| 151 | +--- |
| 152 | + |
| 153 | +<p align="center">Si vous trouvez VideoLingo utile, donnez-moi une ⭐️ !</p> |
0 commit comments