4月27日,在中關村論壇未來人工智慧先鋒論壇上,生數科技聯合清華大學正式釋出中國首個長時長、高一致性、高動態性影片大模型——Vidu。該模型採用團隊原創的Diffusion與Transformer融合的架構U-ViT,支援一鍵生成長達16秒、解析度高達1080P的高畫質影片內容。
Vidu不僅能夠模擬真實物,還擁有豐富想象力,具備多鏡頭生成、時空一致性高等特點。Vidu是自Sora釋出之後全球率先取得重大突破的影片大模型,效能全面對標國際頂尖水平,並在加速迭代提升中。
多維度模擬真實世界,全面對標Sora與Sora一致,Vidu能夠根據提供的文字描述直接生成長達16秒的高質量影片。除了在時長方面的突破外,Vidu在影片效果方面實現顯著提升,主要體現在幾個方面:
模擬真實物理世界:能夠生成細節複雜的場景,且符合真實的物理規律,例如合理的光影效果、細膩的人物表情等;
具有豐富想象力:能夠生成真實世界不存在的虛構畫面,創造出具有深度和複雜性的超現實主義內容。
多鏡頭語言:能夠生成複雜的動態鏡頭,不再侷限於簡單的推、拉、移等固定鏡頭,而是能夠圍繞統一主體在一段畫面裡就實現遠景、近景、中景、特寫等不同鏡頭的切換,包括能直接生成長鏡頭、追焦、轉場等效果,給影片注入鏡頭語言;
時空一致性高:在16秒的時長上保持連貫流暢,隨著鏡頭的移動,人物和場景在時間、空間中能夠保持一致;

理解中國元素:能夠生成特有的中國元素,例如熊貓、龍等;
值得一提的是,短片中的片段都是從頭到尾連續生成,沒有明顯的插幀現象,從這種“一鏡到底”的表現能夠推測出,Vidu採用的是“一步到位”的生成方式,與Sora一樣,文字到影片的轉換是直接且連續的,在底層演算法實現上是基於單一模型完全端到端生成,不涉及中間的插幀和其他多步驟的處理。
早於Sora提出全球首個U-ViT融合架構Vidu的快速突破源自於團隊在貝葉斯機器學習和多模態大模型的長期積累和多項原創性成果。其核心技術U-ViT架構由團隊於2022年9月提出,早於Sora採用的DiT架構,是全球首個Diffusion與Transformer融合的架構,完全由團隊自主研發。
2023年3月,團隊開源全球首個基於U-ViT架構的多模態擴散大模UniDiffuser,在全球範圍內率先完成融合架構的大規模可擴充套件性(Scaling Law)驗證。UniDiffuser是在大規模圖文資料集LAION-5B上訓練出的近10億引數目模型,支援圖文模態間的任意生成和轉換。在架構上,UniDiffuser比同樣DiT架構的Stable Diffusion 3領先了一年。
自今年2月Sora釋出推出後,團隊基於對U-ViT架構的深入理解以及長期積累的工程與資料經驗,在短短兩個月進一步突破長影片表示與處理關鍵技術,研發推出Vidu影片大模型,顯著提升影片的連貫性與動態性。
從圖文任務的統一到融合影片能力,作為通用視覺模型,Vidu能夠支援生成更加多樣化、更長時長的影片內容,同時面向未來,靈活架構也將能夠相容更廣泛的模態,進一步拓展多模態通用能力的邊界。
Vidu的問世,不僅是U-ViT融合架構在大規模視覺任務中的又一次成功驗證,也代表了生數科技在多模態原生大模型領域的持續創新能力和領先性。同時生數科技表示,大模型的突破是一個多維度、跨領域的綜合性過程,需要技術與產業應用的深度融合。因此在釋出之際,生數科技正式推出“Vidu大模型合作伙伴計劃”,誠邀產業鏈上下游企業、研究機構加入,共同構建合作生態。
申請連結:https://shengshu.feishu.cn/share/base/form/shrcnybSDE4Id1JnA5EQ0scv1Ph
4月27日,在中關村論壇未來人工智慧先鋒論壇上,生數科技聯合清華大學正式釋出中國首個長時長、高一致性、高動態性影片大模型——Vidu。該模型採用團隊原創的Diffusion與Transformer融合的架構U-ViT,支援一鍵生成長達16秒、解析度高達1080P的高畫質影片內容。
Vidu不僅能夠模擬真實物,還擁有豐富想象力,具備多鏡頭生成、時空一致性高等特點。Vidu是自Sora釋出之後全球率先取得重大突破的影片大模型,效能全面對標國際頂尖水平,並在加速迭代提升中。
多維度模擬真實世界,全面對標Sora與Sora一致,Vidu能夠根據提供的文字描述直接生成長達16秒的高質量影片。除了在時長方面的突破外,Vidu在影片效果方面實現顯著提升,主要體現在幾個方面:
模擬真實物理世界:能夠生成細節複雜的場景,且符合真實的物理規律,例如合理的光影效果、細膩的人物表情等;
具有豐富想象力:能夠生成真實世界不存在的虛構畫面,創造出具有深度和複雜性的超現實主義內容。
多鏡頭語言:能夠生成複雜的動態鏡頭,不再侷限於簡單的推、拉、移等固定鏡頭,而是能夠圍繞統一主體在一段畫面裡就實現遠景、近景、中景、特寫等不同鏡頭的切換,包括能直接生成長鏡頭、追焦、轉場等效果,給影片注入鏡頭語言;
時空一致性高:在16秒的時長上保持連貫流暢,隨著鏡頭的移動,人物和場景在時間、空間中能夠保持一致;

理解中國元素:能夠生成特有的中國元素,例如熊貓、龍等;
值得一提的是,短片中的片段都是從頭到尾連續生成,沒有明顯的插幀現象,從這種“一鏡到底”的表現能夠推測出,Vidu採用的是“一步到位”的生成方式,與Sora一樣,文字到影片的轉換是直接且連續的,在底層演算法實現上是基於單一模型完全端到端生成,不涉及中間的插幀和其他多步驟的處理。
早於Sora提出全球首個U-ViT融合架構Vidu的快速突破源自於團隊在貝葉斯機器學習和多模態大模型的長期積累和多項原創性成果。其核心技術U-ViT架構由團隊於2022年9月提出,早於Sora採用的DiT架構,是全球首個Diffusion與Transformer融合的架構,完全由團隊自主研發。
2023年3月,團隊開源全球首個基於U-ViT架構的多模態擴散大模UniDiffuser,在全球範圍內率先完成融合架構的大規模可擴充套件性(Scaling Law)驗證。UniDiffuser是在大規模圖文資料集LAION-5B上訓練出的近10億引數目模型,支援圖文模態間的任意生成和轉換。在架構上,UniDiffuser比同樣DiT架構的Stable Diffusion 3領先了一年。
自今年2月Sora釋出推出後,團隊基於對U-ViT架構的深入理解以及長期積累的工程與資料經驗,在短短兩個月進一步突破長影片表示與處理關鍵技術,研發推出Vidu影片大模型,顯著提升影片的連貫性與動態性。
從圖文任務的統一到融合影片能力,作為通用視覺模型,Vidu能夠支援生成更加多樣化、更長時長的影片內容,同時面向未來,靈活架構也將能夠相容更廣泛的模態,進一步拓展多模態通用能力的邊界。
Vidu的問世,不僅是U-ViT融合架構在大規模視覺任務中的又一次成功驗證,也代表了生數科技在多模態原生大模型領域的持續創新能力和領先性。同時生數科技表示,大模型的突破是一個多維度、跨領域的綜合性過程,需要技術與產業應用的深度融合。因此在釋出之際,生數科技正式推出“Vidu大模型合作伙伴計劃”,誠邀產業鏈上下游企業、研究機構加入,共同構建合作生態。
申請連結:https://shengshu.feishu.cn/share/base/form/shrcnybSDE4Id1JnA5EQ0scv1Ph
4月27日,在中關村論壇未來人工智慧先鋒論壇上,生數科技聯合清華大學正式釋出中國首個長時長、高一致性、高動態性影片大模型——Vidu。該模型採用團隊原創的Diffusion與Transformer融合的架構U-ViT,支援一鍵生成長達16秒、解析度高達1080P的高畫質影片內容。
Vidu不僅能夠模擬真實物,還擁有豐富想象力,具備多鏡頭生成、時空一致性高等特點。Vidu是自Sora釋出之後全球率先取得重大突破的影片大模型,效能全面對標國際頂尖水平,並在加速迭代提升中。
多維度模擬真實世界,全面對標Sora與Sora一致,Vidu能夠根據提供的文字描述直接生成長達16秒的高質量影片。除了在時長方面的突破外,Vidu在影片效果方面實現顯著提升,主要體現在幾個方面:
模擬真實物理世界:能夠生成細節複雜的場景,且符合真實的物理規律,例如合理的光影效果、細膩的人物表情等;
具有豐富想象力:能夠生成真實世界不存在的虛構畫面,創造出具有深度和複雜性的超現實主義內容。
多鏡頭語言:能夠生成複雜的動態鏡頭,不再侷限於簡單的推、拉、移等固定鏡頭,而是能夠圍繞統一主體在一段畫面裡就實現遠景、近景、中景、特寫等不同鏡頭的切換,包括能直接生成長鏡頭、追焦、轉場等效果,給影片注入鏡頭語言;
時空一致性高:在16秒的時長上保持連貫流暢,隨著鏡頭的移動,人物和場景在時間、空間中能夠保持一致;

理解中國元素:能夠生成特有的中國元素,例如熊貓、龍等;
值得一提的是,短片中的片段都是從頭到尾連續生成,沒有明顯的插幀現象,從這種“一鏡到底”的表現能夠推測出,Vidu採用的是“一步到位”的生成方式,與Sora一樣,文字到影片的轉換是直接且連續的,在底層演算法實現上是基於單一模型完全端到端生成,不涉及中間的插幀和其他多步驟的處理。
早於Sora提出全球首個U-ViT融合架構Vidu的快速突破源自於團隊在貝葉斯機器學習和多模態大模型的長期積累和多項原創性成果。其核心技術U-ViT架構由團隊於2022年9月提出,早於Sora採用的DiT架構,是全球首個Diffusion與Transformer融合的架構,完全由團隊自主研發。
2023年3月,團隊開源全球首個基於U-ViT架構的多模態擴散大模UniDiffuser,在全球範圍內率先完成融合架構的大規模可擴充套件性(Scaling Law)驗證。UniDiffuser是在大規模圖文資料集LAION-5B上訓練出的近10億引數目模型,支援圖文模態間的任意生成和轉換。在架構上,UniDiffuser比同樣DiT架構的Stable Diffusion 3領先了一年。
自今年2月Sora釋出推出後,團隊基於對U-ViT架構的深入理解以及長期積累的工程與資料經驗,在短短兩個月進一步突破長影片表示與處理關鍵技術,研發推出Vidu影片大模型,顯著提升影片的連貫性與動態性。
從圖文任務的統一到融合影片能力,作為通用視覺模型,Vidu能夠支援生成更加多樣化、更長時長的影片內容,同時面向未來,靈活架構也將能夠相容更廣泛的模態,進一步拓展多模態通用能力的邊界。
Vidu的問世,不僅是U-ViT融合架構在大規模視覺任務中的又一次成功驗證,也代表了生數科技在多模態原生大模型領域的持續創新能力和領先性。同時生數科技表示,大模型的突破是一個多維度、跨領域的綜合性過程,需要技術與產業應用的深度融合。因此在釋出之際,生數科技正式推出“Vidu大模型合作伙伴計劃”,誠邀產業鏈上下游企業、研究機構加入,共同構建合作生態。
申請連結:https://shengshu.feishu.cn/share/base/form/shrcnybSDE4Id1JnA5EQ0scv1Ph
4月27日,在中關村論壇未來人工智慧先鋒論壇上,生數科技聯合清華大學正式釋出中國首個長時長、高一致性、高動態性影片大模型——Vidu。該模型採用團隊原創的Diffusion與Transformer融合的架構U-ViT,支援一鍵生成長達16秒、解析度高達1080P的高畫質影片內容。
Vidu不僅能夠模擬真實物,還擁有豐富想象力,具備多鏡頭生成、時空一致性高等特點。Vidu是自Sora釋出之後全球率先取得重大突破的影片大模型,效能全面對標國際頂尖水平,並在加速迭代提升中。
多維度模擬真實世界,全面對標Sora與Sora一致,Vidu能夠根據提供的文字描述直接生成長達16秒的高質量影片。除了在時長方面的突破外,Vidu在影片效果方面實現顯著提升,主要體現在幾個方面:
模擬真實物理世界:能夠生成細節複雜的場景,且符合真實的物理規律,例如合理的光影效果、細膩的人物表情等;
具有豐富想象力:能夠生成真實世界不存在的虛構畫面,創造出具有深度和複雜性的超現實主義內容。
多鏡頭語言:能夠生成複雜的動態鏡頭,不再侷限於簡單的推、拉、移等固定鏡頭,而是能夠圍繞統一主體在一段畫面裡就實現遠景、近景、中景、特寫等不同鏡頭的切換,包括能直接生成長鏡頭、追焦、轉場等效果,給影片注入鏡頭語言;
時空一致性高:在16秒的時長上保持連貫流暢,隨著鏡頭的移動,人物和場景在時間、空間中能夠保持一致;

理解中國元素:能夠生成特有的中國元素,例如熊貓、龍等;
值得一提的是,短片中的片段都是從頭到尾連續生成,沒有明顯的插幀現象,從這種“一鏡到底”的表現能夠推測出,Vidu採用的是“一步到位”的生成方式,與Sora一樣,文字到影片的轉換是直接且連續的,在底層演算法實現上是基於單一模型完全端到端生成,不涉及中間的插幀和其他多步驟的處理。
早於Sora提出全球首個U-ViT融合架構Vidu的快速突破源自於團隊在貝葉斯機器學習和多模態大模型的長期積累和多項原創性成果。其核心技術U-ViT架構由團隊於2022年9月提出,早於Sora採用的DiT架構,是全球首個Diffusion與Transformer融合的架構,完全由團隊自主研發。
2023年3月,團隊開源全球首個基於U-ViT架構的多模態擴散大模UniDiffuser,在全球範圍內率先完成融合架構的大規模可擴充套件性(Scaling Law)驗證。UniDiffuser是在大規模圖文資料集LAION-5B上訓練出的近10億引數目模型,支援圖文模態間的任意生成和轉換。在架構上,UniDiffuser比同樣DiT架構的Stable Diffusion 3領先了一年。
自今年2月Sora釋出推出後,團隊基於對U-ViT架構的深入理解以及長期積累的工程與資料經驗,在短短兩個月進一步突破長影片表示與處理關鍵技術,研發推出Vidu影片大模型,顯著提升影片的連貫性與動態性。
從圖文任務的統一到融合影片能力,作為通用視覺模型,Vidu能夠支援生成更加多樣化、更長時長的影片內容,同時面向未來,靈活架構也將能夠相容更廣泛的模態,進一步拓展多模態通用能力的邊界。
Vidu的問世,不僅是U-ViT融合架構在大規模視覺任務中的又一次成功驗證,也代表了生數科技在多模態原生大模型領域的持續創新能力和領先性。同時生數科技表示,大模型的突破是一個多維度、跨領域的綜合性過程,需要技術與產業應用的深度融合。因此在釋出之際,生數科技正式推出“Vidu大模型合作伙伴計劃”,誠邀產業鏈上下游企業、研究機構加入,共同構建合作生態。
申請連結:https://shengshu.feishu.cn/share/base/form/shrcnybSDE4Id1JnA5EQ0scv1Ph
4月27日,在中關村論壇未來人工智慧先鋒論壇上,生數科技聯合清華大學正式釋出中國首個長時長、高一致性、高動態性影片大模型——Vidu。該模型採用團隊原創的Diffusion與Transformer融合的架構U-ViT,支援一鍵生成長達16秒、解析度高達1080P的高畫質影片內容。
Vidu不僅能夠模擬真實物,還擁有豐富想象力,具備多鏡頭生成、時空一致性高等特點。Vidu是自Sora釋出之後全球率先取得重大突破的影片大模型,效能全面對標國際頂尖水平,並在加速迭代提升中。
多維度模擬真實世界,全面對標Sora與Sora一致,Vidu能夠根據提供的文字描述直接生成長達16秒的高質量影片。除了在時長方面的突破外,Vidu在影片效果方面實現顯著提升,主要體現在幾個方面:
模擬真實物理世界:能夠生成細節複雜的場景,且符合真實的物理規律,例如合理的光影效果、細膩的人物表情等;
具有豐富想象力:能夠生成真實世界不存在的虛構畫面,創造出具有深度和複雜性的超現實主義內容。
多鏡頭語言:能夠生成複雜的動態鏡頭,不再侷限於簡單的推、拉、移等固定鏡頭,而是能夠圍繞統一主體在一段畫面裡就實現遠景、近景、中景、特寫等不同鏡頭的切換,包括能直接生成長鏡頭、追焦、轉場等效果,給影片注入鏡頭語言;
時空一致性高:在16秒的時長上保持連貫流暢,隨著鏡頭的移動,人物和場景在時間、空間中能夠保持一致;

理解中國元素:能夠生成特有的中國元素,例如熊貓、龍等;
值得一提的是,短片中的片段都是從頭到尾連續生成,沒有明顯的插幀現象,從這種“一鏡到底”的表現能夠推測出,Vidu採用的是“一步到位”的生成方式,與Sora一樣,文字到影片的轉換是直接且連續的,在底層演算法實現上是基於單一模型完全端到端生成,不涉及中間的插幀和其他多步驟的處理。
早於Sora提出全球首個U-ViT融合架構Vidu的快速突破源自於團隊在貝葉斯機器學習和多模態大模型的長期積累和多項原創性成果。其核心技術U-ViT架構由團隊於2022年9月提出,早於Sora採用的DiT架構,是全球首個Diffusion與Transformer融合的架構,完全由團隊自主研發。
2023年3月,團隊開源全球首個基於U-ViT架構的多模態擴散大模UniDiffuser,在全球範圍內率先完成融合架構的大規模可擴充套件性(Scaling Law)驗證。UniDiffuser是在大規模圖文資料集LAION-5B上訓練出的近10億引數目模型,支援圖文模態間的任意生成和轉換。在架構上,UniDiffuser比同樣DiT架構的Stable Diffusion 3領先了一年。
自今年2月Sora釋出推出後,團隊基於對U-ViT架構的深入理解以及長期積累的工程與資料經驗,在短短兩個月進一步突破長影片表示與處理關鍵技術,研發推出Vidu影片大模型,顯著提升影片的連貫性與動態性。
從圖文任務的統一到融合影片能力,作為通用視覺模型,Vidu能夠支援生成更加多樣化、更長時長的影片內容,同時面向未來,靈活架構也將能夠相容更廣泛的模態,進一步拓展多模態通用能力的邊界。
Vidu的問世,不僅是U-ViT融合架構在大規模視覺任務中的又一次成功驗證,也代表了生數科技在多模態原生大模型領域的持續創新能力和領先性。同時生數科技表示,大模型的突破是一個多維度、跨領域的綜合性過程,需要技術與產業應用的深度融合。因此在釋出之際,生數科技正式推出“Vidu大模型合作伙伴計劃”,誠邀產業鏈上下游企業、研究機構加入,共同構建合作生態。
申請連結:https://shengshu.feishu.cn/share/base/form/shrcnybSDE4Id1JnA5EQ0scv1Ph