Difyを非エンジニアの方がセットアップするにあたってつまづきそうなところをまとめました。
Difyとは
Difyは、生成型AIアプリケーションを開発するためのオープンソースのローコードプラットフォームです。以下にDifyの主な特徴をまとめます。
- ローコード開発プラットフォーム: プログラミングの知識がなくても、直感的なGUIを使ってAIアプリケーションを開発できます
- RAG (Retrieval-Augmented Generation) エンジン: 検索AI技術と生成AIモデルを統合したRAGエンジンを活用しており、より正確な回答を生成できます
- 多様なLLMとの連携: さまざまな大規模言語モデル(LLM)とシームレスに連携できます
利用の仕方
利用の仕方は下記二つでSaasだと非エンジニアでもサクッと開始できます。
- Saas
- サーバーにオープンソースを落とす
Dify自体はオープンソースなので無料で使えます。そのため自前でサーバーを用意すれば無料で利用できます。
OpenAIとの連携
api keyを登録することでopenaiのモデルを利用することができる。
https://zenn.dev/acntechjp/articles/03d6e8fa2b58bd
この時よく間違えがちなのがchatgpt plus使ってたらapiも同じ支払いの中で払えるでしょと思いがちだが、別なのでapiに課金をしてから設定しよう。
ナレッジとは？
Difyのナレッジは、RAG (Retrieval-Augmented Generation) 技術を活用した知識ベース機能の一部です。以下にDifyのナレッジの主な特徴と機能をまとめます。
- チャンク処理: アップロードされたドキュメントはテキストチャンクの形式で保存され、効率的な検索と利用が可能になります
- 複数のナレッジをわけ、アプリケーションごとに適用できる
ナレッジの取得方法
- web（firecrawl
- notion
- ファイルアップロード
ナレッジの取得方法は上記がメイン。
firecrawlとは？
firecrawlドキュメント
https://docs.firecrawl.dev/introduction
Firecrawlは、ウェブサイト全体をLLM（大規模言語モデル）に適したMarkdownまたは構造化データに変換するための強力なウェブスクレイピングツールです。このツールはMendable.aiのチームによって開発され、リバースプロキシ、キャッシング、レート制限、JavaScriptによってブロックされたコンテンツなどの複雑なタスクを処理します。Firecrawlは、アクセス可能なすべてのサブページをクロールしてコンテンツを収集し、クリーンなMarkdownに変換することで、特に言語モデルアプリケーションに役立ちます。
長々と書きましたが最もありがたいのはサイトマップなどがなくても必要なページのリンクを辿ってくれるところです。できると言えばできますが、結構webスクレイピングにおいてはここで躓きます。